¿La ciencia de los datos todavía está caliente en 2022?

Esto es lo que usted debe saber antes de decidir sobre una trayectoria profesional

Hace un par de años, la ciencia de los datos se hizo muy popular. Había mucha propaganda alrededor del campo, y personas de diferentes orígenes se apresuraban a hacer la transición a la ciencia de los datos.

Los másters de Data Science comenzaron a ser cada vez más populares, y no había escasez de cursos en línea en Internet. Los estudiantes acudieron a sitios como Coursera, Datacamp y Udemy para obtener certificaciones de ciencia de datos y entrar en el mercado laboral.

Sin embargo, hoy en día la gente se ha vuelto cada vez más escéptica sobre el campo.

He leído artículos que describen el “ muerte de la ciencia de los datos.” Algunas personas creían que la ciencia de los datos era sólo una tendencia pasajera, y que el bombo moriría poco antes de que otro campo llegara a tomar su lugar.

También leí artículos que animaban a los estudiantes a seguir una carrera en ingeniería de datos o MLOps en su lugar, ya que estos campos eran “la próxima gran cosa”, y durarían más que una carrera en ciencias de datos.

Pasé mucho tiempo obsesionándome sobre si debía continuar aprendiendo ciencia de datos, o invertir mi tiempo aprendiendo una habilidad diferente que estaba ahí para quedarme.

Ahora, después de más de un año de trabajar en la industria de los datos, me gustaría compartir mi visión sobre este tema, especialmente para principiantes en el campo que a menudo reciben consejos contradictorios y dudan en seguir una carrera en la ciencia de los datos.

He aquí algunas preguntas que trataré de responder en este artículo:

¿Es la ingeniería de datos la próxima gran cosa? ¿Debería centrar mis esfuerzos en convertirme en ingeniero de datos en lugar de en científico de datos?
A medida que las herramientas ML automatizadas comienzan a ser más avanzadas, ¿reemplazarán a los científicos de datos?
¿Está el mercado de la ciencia de los datos sobresaturado, y es todavía posible conseguir un trabajo de nivel de entrada en el campo?

He leído muchos puntos de vista diferentes en línea sobre la ingeniería de datos en sustitución de la ciencia de datos como el trabajo más caliente del siglo XXI.

Después de trabajar estrechamente con equipos de ingeniería y ciencia de datos, he llegado a la conclusión de que ambos campos son igualmente valiosos.

Las empresas necesitan ingenieros de datos. Necesitan personas que sean capaces de tomar grandes cantidades de datos y hacerlos utilizables.

Los analistas de datos y los científicos de datos entonces necesitan utilizar estos datos para llegar a un valor comercial. Crean un producto final que es rentable para la organización.

La razón por la que la ingeniería de datos está tan emocionada ahora es porque las empresas no tienen suficiente de ellos.

En el pasado, estas organizaciones daban demasiado valor a los científicos de datos. Contrataron a científicos de datos para construir modelos rentables cuando no tenían una tubería de datos adecuada en su lugar.

Los científicos de datos se especializan en la construcción de modelos, y son incapaces de hacer mucho con cantidades masivas de datos no estructurados en tiempo real que fluyen. Esto significaba que no podían agregar mucho valor a la organización, ya que los datos no estaban preparados de una manera que lo requerían.

Ahora que las empresas están empezando a darse cuenta de esto, están poniendo más énfasis en la contratación de ingenieros de datos.

Esto no significa que los científicos de datos sean redundantes. Sus habilidades de construcción de modelos siguen siendo rentables para las organizaciones — esto acaba de llegar más tarde, una vez que los datos están listos para usar.

Ambas carreras están en demanda, y añaden valor a las empresas. Depende de ti elegir lo que más te guste hacer.

Herramientas como DataRobot y AutoML se han vuelto cada vez más populares. Más empresas han comenzado a invertir en estas herramientas para construir modelos predictivos.

Esto ha llevado a una nueva preocupación... ¿Hay todavía espacio para los científicos de datos dentro de la organización? ¿O reemplazarán estas herramientas el trabajo que hacen?

He usado DataRobot antes. Esta herramienta está posicionada para ayudar a los analistas empresariales a construir modelos predictivos sin conocimiento de aprendizaje automático o ciencia de datos.

Estos son algunos de mis hallazgos después de trabajar con DataRobot:

Es una herramienta muy simple de usar. Es fácil importar datos en diferentes formatos y construir modelos ML en tan solo unos pocos clics.
La afinación de parámetros se cuida. DataRobot busca a través de un rango de valores para cada hiperparametro y selecciona el valor más óptimo que es exacto a sus datos. Esto reduce la cantidad de trabajo manual que necesita hacer.

Sin embargo, a pesar de estas grandes características del aprendizaje automático automático, no serán capaces de reemplazar a los científicos de datos durante mucho tiempo.

Exploré DataRobot para una variedad de casos de uso, y todavía tenía que realizar tareas como añadir pesos de característica por mi cuenta. Además, todo el pre-procesamiento que tiene lugar hasta que el modelo está listo para ser construido necesita ser hecho manualmente.

Los datos deben adaptarse y desglosarse según el caso de uso del negocio. Los científicos de datos suelen pasar mucho más tiempo haciendo la preparación de datos de acuerdo con el requisito, y menos tiempo construyendo modelos.

Esta pesada carga aún tiene que ser realizada por el científico de datos, y el 80% de las tareas que los científicos de datos generalmente hacen no pueden ser automatizadas.

Al utilizar DataRobot, todavía tenía que cambiar los parámetros manualmente (como el valor umbral del modelo y los pesos de las características) en función del resultado que necesitaba.

Todavía se requiere discreción humana cuando se trabaja con estas herramientas.

Mientras tengas conocimientos de dominio en el campo en el que estás trabajando, junto con habilidades analíticas y de programación, no puedes ser reemplazado por una herramienta automatizada.

Estas herramientas pueden ayudar a acelerar su flujo de trabajo y reducir la cantidad de recursos informáticos que utiliza, pero están destinadas a complementar el trabajo que hace, no a reemplazarlo.

Los datos se utilizan para crear cambios masivos en muchas industrias: sanidad, finanzas, marketing, negocios, etc.

Trabajo en el campo del marketing, y trato con millones de puntos de datos que se generan diariamente. Estos puntos de datos se utilizan para observar el comportamiento de los clientes y elaborar diferentes estrategias de segmentación.

Las empresas necesitan contratar a personas que puedan obtener valor de estos puntos de datos.

Un analista de negocios por sí solo no sería capaz de hacer esto, ya que no poseen conocimientos técnicos.

Mientras pueda lidiar con cantidades masivas de datos y resolver problemas con la ayuda de estos datos, hay espacio para usted en la industria.

Sin embargo, es necesario ir más allá de la construcción de modelos. Usted necesita tener experiencia en el dominio. Usted necesita saber cómo obtener datos externos con su habilidad técnica. Usted necesita tener fuertes habilidades de comunicación y resolución de problemas.

Estas son habilidades que te diferenciarán del aspirante medio a la ciencia de los datos.

La ciencia de los datos en la práctica es muy diferente de la ciencia de los datos en teoría.

Al trabajar en la industria, no importa si usted trabaja un día entero para hacer su modelo 1% más exacto que antes. Estas cosas pueden ser importantes en una competencia de Kaggle, pero no importan a las partes interesadas.

Cosas como la relevancia de cada característica para su modelo, la explicabilidad del modelo y la aplicabilidad de su modelo a escenarios del mundo real son mucho más importantes.

Un científico de datos que posee estas habilidades es irremplazable.

La ciencia de los datos no está muriendo. El campo está experimentando un cambio, sin embargo, y las empresas están empezando a buscar personas que puedan resolver problemas con los datos.

Esto no sólo incluye la construcción de modelos. Cuando se enfrenta a un problema de negocios, la respuesta no siempre radica en la creación de un modelo de aprendizaje automático.

A veces, una simple consulta o visualización SQL puede decirle todo lo que necesita saber. Emplear técnicas de ML para abordar todos los problemas de datos es caro y requiere mucho tiempo, por lo que es necesario poseer conocimientos más allá de eso.

No hay ninguna herramienta automatizada que pueda reemplazar el conjunto de habilidades de un científico de datos, siempre y cuando aprenda y cree continuamente soluciones basadas en datos.