¿Qué codificación hace un científico de datos?

Existe una confusión crónica en cuanto a cuál es la distinción entre su ingeniero de software promedio (es decir. programador) y un científico de datos. Esto es totalmente comprensible, teniendo en cuenta el hecho de que ambos trabajos implican la programación y el término “ciencia de datos” se parece tanto al término “ciencia de la computación”. Sin embargo, ambos difieren de alguna manera significativa.

Esta semana desglosamos las diferencias clave entre las dos profesiones para aclarar lo que realmente significa ser un científico de datos.

Los ingenieros de software trabajan en el desarrollo de front-end/back-end, construyen aplicaciones web y móviles, desarrollan sistemas operativos y diseñan software para ser utilizado por las organizaciones. Los científicos de datos, por otro lado, se centran en la construcción de modelos predictivos y el desarrollo de capacidades de aprendizaje automático para analizar los datos capturados por ese software.

Los científicos de datos se especializan en encontrar métodos para resolver problemas empresariales que requieren análisis estadísticos. Toman los datos creados por los sistemas de la organización y crean ideas y recomendaciones procesables con fines de optimización en formas como la mitigación del riesgo y el análisis de la demanda. Y mientras que un ingeniero de software diseñará herramientas para el uso recurrente por el negocio (es decir. Construyen un sistema que luego se utiliza, relativamente sin cambios, durante años), un científico de datos a menudo se ocupa de análisis discretos y situacionales, que requieren constantemente herramientas y procesos adaptados para ser creados. Así, por ejemplo, el ingeniero de software podría diseñar y construir un sistema de entrada de pedidos que la empresa utiliza durante 20 años. El científico de datos, por otra parte, toma datos de ese sistema para determinar 1) si hay una correlación entre la geografía del cliente y la cantidad de ventas un mes y, en el mes siguiente, 2) para determinar el efecto de la demografía del cliente en la propensión a comprar por día de la semana y hora del día.

Los científicos de datos, sin embargo, porque están tratando con las estadísticas, no siempre pueden garantizar un resultado. Por lo tanto, el científico de datos no puede decir con certeza que, porque usted compró un palo de hockey que también va a comprar una bolsa de discos. Pero pueden decir la probabilidad de que usted y, a partir de eso, Amazon puede decidir si recomendar discos a usted cuando usted compra ese palo.

Aunque hay cierta superposición, los ingenieros de software y los científicos de datos utilizan diferentes herramientas.

Hoy en día, los programadores suelen trabajar con bases de datos SQL y lenguajes de programación como Java, Javascript y Python.

Los científicos de datos normalmente también trabajan con bases de datos SQL, así como almacenes de datos Hadoop. Es más probable que trabajen en Excel y con frecuencia programan con software estadístico como SAS y R. También hay una gran tendencia hacia Python pero con diferentes bibliotecas (Numpy, Pandas, etc.) que son utilizados por los programadores. Un interesante entorno de programación utilizado por los científicos de datos se llama Jupyter, que es una herramienta que permite al científico de datos escribir algunas líneas de código, mostrar el resultado intermedio, añadir cierta documentación, y continuar en ese modo hasta que se llegue a una conclusión. Este enfoque ayuda a que el resultado final, y cómo se alcanzó, sea más obvio para las personas que lo revisan y lo utilizan.

Es importante recordar que aunque los necesitan, los científicos de datos no son especiales debido a sus habilidades de codificación. Más bien, es su formación en matemáticas, estadísticas y ciencias sociales lo que les da una ventaja cuando se trata de resolver problemas empresariales con datos.

Un científico de datos también poseerá una fuerte perspicacia empresarial y un profundo intelecto. Necesitan un sentido agudo de la observación para hacer las preguntas correctas para guiar su proceso analítico. Tienen una pasión intelectual por obtener información de los datos, así como la competencia estratégica para integrar estos conocimientos a la perfección con la estrategia empresarial global.

Algo en lo que los científicos y programadores de datos pueden ponerse de acuerdo

Todos los científicos de datos y la mayoría de los programadores trabajan con múltiples conjuntos de datos. Estos conjuntos de datos provienen con frecuencia de múltiples lugares diferentes, como bases de datos y hojas de cálculo. El problema es que estos conjuntos de datos generalmente no incluyen claves comunes. En otras palabras, por ejemplo, no hay manera de saber si una persona en el sistema A aparece en el sistema B o la hoja de cálculo C. Para resolver este problema, Dataspace ahora ofrece un producto para encontrar estas coincidencias para que todos puedan saber cuándo se producen registros relacionados a través de estos conjuntos de datos. El producto se llama Golden Record y más información está disponible en su sitio web .

¿Necesita información científica, big data o personal de almacenamiento de datos?

En Dataspace hemos desarrollado algunos métodos realmente únicos para entender sus necesidades y entregar el personal contratado y los consultores que necesita para tener éxito. Nuestros clientes nos dicen que nuestro historial es insuperable. Por lo tanto, si necesita ayuda para hacer avanzar sus esfuerzos de ciencia de datos, vamos a hablar! Aquí está nuestro información de contacto .

Me encantaría añadir que los programadores normalmente trabajan con bases de datos SQL y lenguajes de programación como Java, Javascript y Python. Los científicos de datos normalmente también trabajan con bases de datos SQL, así como almacenes de datos Hadoop. Son más propensos a trabajar en Excel y con frecuencia programar con software estadístico como SAS y R ;)