Jerarquía de la ciencia de los datos

No empecemos con la ciencia de los datos esta vez. Comencemos con la psicología. Estoy lejos de tener alguna competencia en este dominio, pero recuerdo que en la escuela secundaria se presentó la La jerarquía de necesidades de Maslow . Lo mejor que puedo describir es que la etapa diferente que los humanos deben pasar a encontrar la felicidad . Para obtener una mejor comprensión de la misma, usted puede mirar aquí .

OK, espera un minuto, ¿se supone que esto es un blog sobre tecnología? Sí, tienes razón, aquí va.

Como sabrás, hace poco cambié de carrera. Me muevo a Shopify como científico de datos. Como cualquier otro cambio de carrera, trabajando en un nuevo entorno, con gente nueva, nuevo jefe, nuevo todo, descubres nueva manera de hacer las cosas, nueva manera de ver el mundo.

Como un mentor me dijo un día, "Verás, cambiando de trabajo, lo que parecía tan duro en tu antiguo trabajo no será para nada duro en el nuevo lugar. Lo que nunca supiste que podría ser un problema será un reto difícil en el nuevo lugar”. Como muchas otras veces, tenía razón.

En un papel anterior solía encontrarme un poco desconectado como un “experto” de aprendizaje automático o como quieras llamarlo. Estaría haciendo cosas geniales, pero en algún momento fue un poco difícil tener la imagen completa.

Cuando me uní a Shopify me presentaron a la Jerarquía de la ciencia de los datos Necesidades . Puedes leer el artículo completo aquí , creo que realmente vale la pena. Pero TLDR Es inútil contratar a los mejores científicos de datos si usted no tiene la base adecuada.

Me tomó un tiempo entenderlo realmente, pero tan genial como hacer loco multi-nivel-convolucional-neural-net-profundo-aleatorio-bosque-otro-cool-buzzword-tal vez-even-microservicios, no se puede saltar a esta etapa antes de ser realizado en la etapa subyacente.

No sólo en términos de habilidades individuales, quiero decir, como una compañía, incluso como un proyecto. Cuando se trabaja en un proyecto, el proyecto como para cruzar estas etapas. Lo más probable (como la pirámide del Maslow) nunca llegarás al último paso para la mayoría de tus proyectos.

Como se explica en la pirámide de Maslow. No hay absolutamente ninguna manera de que usted puede estar demasiado lejos en los pasos. Si saltas a una etapa tardía demasiado rápido, no es una pirámide sólida y tiene una alta probabilidad de fracaso. Por otra parte, para lograr correctamente cada uno de estos pasos, debe utilizar la salida del paso anterior. En la base de la pirámide, la salida es datos, procesos y bases de datos, más adelante en el proceso es más alrededor de la perspicacia, respuestas, etc.

Todos y cada uno de los componentes de la etapa anterior es crucial para el éxito de la etapa siguiente.

Mi nuevo papel en Shopify es ligeramente diferente en el pasado. Estoy involucrado en casi todas las fases de los proyectos en los que participo. Puedo decirte algo loco, la mayor parte del valor ($) proviene de una buena comprensión del problema del negocio, el producto y los datos . No por usar algoritmos funky, no por usar herramientas de súper avance.

No me malinterpretes, estos algoritmos de fantasía son útiles, las herramientas súper costosas son útiles (depende, pero este es otro tema) pero no debería ser lo primero que se haga. Nunca es una fruta que cuelga bajo, es rara vez el generador de $ alto.

A menos que hayas hecho el resto no deberías perder tiempo con esto.

La otra cosa que he descubierto con esto es el poder de poseer individualmente toda la pirámide para un proyecto (o parte de un proyecto).

Porque escribí el ETL para estos datos, porque estaba sentado con los Devs, cuando decidimos qué datos producir y cómo envolverlo, porque estaba con el director del proyecto cuando decidimos las métricas clave para el proyecto y lo que probaríamos A/B. Entiendo los datos, como nunca lo hice antes, realmente entiendo de dónde viene, cómo se transforma y cómo utilizarlos.

Esto hace que mi vida sea mucho más fácil cuando llega el momento de obtener cualquier perspicacia. No dependo de nadie más para que me explique. Si encuentro un comportamiento raro. Puedo explicarlas o hacer que las corrijan. Puedo trabajar con los datos.

Cuando saltas a una etapa más alta demasiado rápido, estás mintiendo. Mentir a ti mismo, mentir a tu equipo y mentir a la gran disciplina de la ciencia de los datos. Sé que no suena genial, pero sé humilde e invierte el esfuerzo donde debería estar. Pero los datos se lo merecen.