¿Cuáles son los fundamentos y componentes de la ciencia de los datos?

De acuerdo con el Harvard Business Review, Data Scientist es “El trabajo más sexy del siglo XXI” . ¡Esto no es suficiente para saber más acerca de la ciencia de los datos!

Introducción

En el mundo del espacio de datos, la era del Big Data surgió cuando las organizaciones se ocupan de petabytes y exabytes de datos. Se volvió muy difícil para las industrias para el almacenamiento de datos hasta 2010. Ahora cuando los marcos populares como Hadoop y otros resolvieron el problema del almacenamiento, la atención se centra en el procesamiento de los datos. Y aquí Ciencia de los datos juega un papel importante . Hoy en día el crecimiento de la ciencia de los datos se ha incrementado de diversas maneras y así sucesivamente debe estar listo para el futuro mediante el aprendizaje de lo que es la ciencia de los datos y cómo podemos añadir valor a ella.

¿Qué es la ciencia de los datos?

Así que ahora surge la primera pregunta: “ ¿Qué es la ciencia de los datos? ” La ciencia de los datos significa diferentes cosas para diferentes personas, pero en su esencia, la ciencia de los datos está utilizando los datos para responder a las preguntas. Esta definición es una definición moderadamente amplia, y eso es porque hay que decir que la ciencia de los datos es un campo moderadamente amplio!

La ciencia de los datos es la ciencia de analizar datos brutos utilizando estadísticas y técnicas de aprendizaje automático con el propósito de sacar conclusiones sobre esa información.

Tan brevemente se puede decir que la ciencia de los datos implica:

Estadísticas, informática, matemáticas
Limpieza y formato de los datos
Visualización de datos

Pilares clave de la ciencia de los datos

Por lo general, los científicos de datos provienen de diversos antecedentes educativos y experiencia laboral, la mayoría debe ser competente en, o en un caso ideal ser maestros en cuatro áreas clave.

Pilar de la ciencia de los datos

Conocimiento de dominio:
La mayoría de la gente piensa que el conocimiento de dominio no es importante en la ciencia de datos, pero es esencial. El principal objetivo de la ciencia de los datos es extraer información útil de esos datos para que pueda ser rentable para el negocio de la empresa. Si usted no es consciente de la parte comercial de la empresa que cómo funciona el modelo de negocio de la empresa y cómo no se puede construir mejor de lo que son de ningún uso para esta empresa.
Usted necesita saber cómo hacer las preguntas correctas de las personas adecuadas para que pueda percibir la información apropiada que necesita para obtener la información que necesita. Hay algunas herramientas de visualización utilizadas en el extremo de negocio como Tableau que le ayudan a mostrar sus valiosos resultados o ideas en un formato no técnico adecuado, como gráficos o gráficos circulares que la gente de negocios puede entender.
Habilidades Matemáticas:
Álgebra lineal, cálculo multivariable Técnica de & optimización : Estas tres cosas son muy importantes ya que nos ayudan a entender varios algoritmos de aprendizaje automático que juegan un papel importante en la ciencia de datos.
Estadísticas y probabilidad : La comprensión de la estadística es muy significativa, ya que es parte del análisis de datos. La probabilidad también es significativa para las estadísticas y se considera un requisito previo para dominar el aprendizaje automático.
Ciencias de la computación:
Conocimientos de programación : Es necesario tener una buena comprensión de conceptos de programación tales como: Estructuras de datos y algoritmos . Los lenguajes de programación utilizados son: Python, R, Java, Scala . C++ También es útil en algunos lugares donde el rendimiento es muy importante.
Bases de datos relacionales : Es necesario conocer bases de datos tales como: SQL u Oracle para que pueda recuperar los datos necesarios de ellos siempre que sea necesario.
Bases de datos no relacionales : Hay muchos tipos de bases de datos no relacionales, pero la mayoría de los tipos utilizados son Cassandra, HBase, MongoDB, CouchDB, Redis, Dynamo.
Aprendizaje automático : Es una de las partes más vitales de la ciencia de los datos y el tema más caliente de la investigación entre los investigadores por lo que cada año se hacen nuevos avances en este. Uno al menos necesita entender algoritmos básicos de Supervisados y no supervisados Aprendizaje . Hay varias bibliotecas disponibles en Python y R para implementar estos algoritmos.
Cálculo distribuido : También es una de las habilidades más importantes para manejar una gran cantidad de datos porque no se puede procesar esta cantidad de datos en un solo sistema. Las herramientas que más se utilizan son: Apache Hadoop y Spark . Las dos partes principales de estos peajes son: HDFS(Sistema de archivos distribuido de Hadoop) que se utiliza para recopilar datos a través de un sistema de archivos distribuido. Otra parte es mapa-reducir , por el que manipulamos los datos. Uno puede escribir mapa-reducir en los programas en Java o Python . Hay varias otras herramientas como: PIG, HIVE , etc.
Habilidad de comunicación:
Incluye tanto la comunicación escrita como la verbal. Lo que sucede en un proyecto de ciencia de datos es después de sacar conclusiones del análisis, el proyecto tiene que ser comunicadas a terceros . A veces esto puede ser un informe que usted envía a su jefe o equipo en el trabajo. Otras veces puede ser un post de blog. A menudo puede ser una presentación a un grupo de colegas. Sin embargo, un proyecto de ciencia de datos siempre implica alguna forma de comunicación de los hallazgos de los proyectos. Así que es necesario tener habilidades de comunicación para convertirse en un científico de datos.

¿Quién es un científico de datos?

Así que hemos discutido lo que es la ciencia de los datos y los pilares clave de la ciencia de los datos, pero algo más que necesitamos hablar es ¿Quién es precisamente un científico de datos? Informe especial de un economista dice que un científico de datos se define como alguien:

“que integra las habilidades del programador de software, estadístico y artista de corte narrativo para extraer las pepitas de oro ocultas bajo montañas de datos”

Pero ahora surge la pregunta, ¿Qué habilidades encarna un científico de datos? Y para responder a esto, vamos a discutir el popular diagrama de Venn El diagrama Venn de Drew Conway sobre ciencia de datos en la que la ciencia de los datos es la intersección de tres sectores – Conocimientos sustantivos, habilidades de hackeo y matemáticas y estadísticas conocimientos .

Vamos a explicar un poco lo que queremos decir con este diagrama de Venn, sabemos que utilizamos la ciencia de los datos para responder a preguntas – así que primero, necesitamos tener suficiente experiencia en el área que deseamos preguntar para expresar las preguntas y entender qué tipo de datos son relevantes para responder a esa pregunta. Una vez que tenemos nuestra pregunta y datos relevantes, entendemos a partir de los tipos de datos con los que opera la ciencia de datos, a menudo necesita someterse a una limpieza y formateo significativos, y esto a menudo requiere habilidades de programación informática. Finalmente, una vez que tenemos los datos, necesitamos analizarlos, y esto a menudo requiere conocimientos de matemáticas y estadísticas.

Funciones y responsabilidades de un científico de datos:

Gestión: El Data Scientist desempeña un papel de gestión insignificante donde apoya la construcción de la base de capacidades futuristas y técnicas dentro del campo Data and Analytics con el fin de ayudar a varios proyectos de análisis de datos planificados y continuos.
Análisis: El Data Scientist representa un papel científico donde planea, implementa y evalúa modelos estadísticos de alto nivel y estrategias para su aplicación en los temas más complejos de la empresa. El Data Scientist desarrolla modelos econométricos y estadísticos para diversos problemas, incluyendo proyecciones, clasificación, agrupamiento, análisis de patrones, muestreo, simulaciones, etc.
Estrategia/Diseño: El Data Scientist desempeña un papel vital en el avance de estrategias innovadoras para entender las tendencias y la gestión del consumidor de la empresa, así como formas de resolver problemas empresariales difíciles, por ejemplo, la optimización del cumplimiento del producto y el beneficio total.
Colaboración: El papel del Data Scientist no es un papel solitario y en esta posición, colabora con científicos de datos superiores para comunicar obstáculos y hallazgos a las partes interesadas pertinentes en un esfuerzo por mejorar el rendimiento empresarial y la toma de decisiones.
Conocimientos: Data Scientist también asume el liderazgo para explorar diferentes tecnologías y herramientas con la visión de crear ideas innovadoras basadas en datos para el negocio al ritmo más ágil posible. En esta situación, el Data Scientist también utiliza la iniciativa en la evaluación y utilización de nuevos y mejorados métodos de ciencia de datos para el negocio, que entrega a la alta dirección de aprobación.
Otras funciones: Un Científico de Datos también realiza tareas y tareas relacionadas asignadas por el Científico de Datos Superior, Jefe de Ciencia de Datos, Director de Datos o el Empleador.

Diferencia entre Científico de Datos, Analista de Datos e Ingeniero de Datos:

Científico de Datos, Ingeniero de Datos y Analista de Datos son los tres más comunes carreras en ciencias de los datos . Así que vamos a entender quién es un científico de datos al compararlo con sus trabajos similares.

Científico de datos

Analista de datos

Ingeniero de datos

Algunos científicos de datos inspiradores

La variedad de áreas en las que se utiliza la ciencia de los datos está plasmada en ejemplos de científicos de datos.

Hilary Mason : Ella es la cofundadora de Rápido hacia adelante laboratorios, una empresa de aprendizaje automático recientemente propiedad de Nubería , una empresa de ciencia de datos. Es científica de datos en Accel. En general, trabaja con datos para resolver preguntas sobre la minería de la web y también aprender el método de cómo las personas se comunican entre sí a través de las redes sociales.
Nate Silver: Es uno de los más destacados científicos de datos o estadísticos del mundo actual. Es el fundador de FiveThirtyEight. FiveThirtyEight es un sitio web que aplica análisis estadísticos para contar historias convincentes sobre elecciones, política, deportes, ciencia y estilo de vida. Utiliza enormes cantidades de datos públicos para predecir una diversidad de temas; lo más prominente es que predice quién ganará las elecciones en Estados Unidos y tiene un extraordinario historial de precisión al hacerlo.
Daryl Morey: Es el gerente general de un equipo de baloncesto estadounidense, los Houston Rockets. Fue galardonado con el puesto de GM basado en su licenciatura en ciencias de la computación y su M.B.A. de M.I.T.

¿Por qué necesitamos la ciencia de los datos?

Una de las razones de la aceleración de la ciencia de los datos en los últimos años es el enorme volumen de datos actualmente disponibles y que se están generando. No sólo se están recopilando enormes cantidades de datos sobre muchos aspectos del mundo y nuestras vidas, sino que al mismo tiempo tenemos el aumento de la computación barata. Esto ha formado la tormenta perfecta en la que tenemos datos ricos y las herramientas para analizarlo. ¡Avanzando en las capacidades de memoria informática, software más mejorado, procesadores más competentes, y ahora, más numerosos científicos de datos con las habilidades para poner esto en uso y resolver preguntas usando los datos!

¿Qué es el big data?

Con frecuencia escuchamos el término Big Data . Así que merece una introducción aquí, ya que ha sido tan integral para el surgimiento de la ciencia de los datos.

¿Qué significa big data?

Big Data significa literalmente grandes cantidades de datos. Big data es el pilar detrás de la idea de que uno puede hacer inferencias útiles con un gran cuerpo de datos que no era posible antes con conjuntos de datos más pequeños. Así que los conjuntos de datos extremadamente grandes pueden ser analizados computacionalmente para revelar patrones, tendencias y asociaciones que no son transparentes o fáciles de identificar.

¿Por qué todo el mundo está interesado en Big Data?

¡Los grandes datos están en todas partes!

Cada vez que vas a la web y hacer algo que los datos se recopilan, cada vez que usted compra algo de uno de los Comercio electrónico sus datos se recopilan. Cada vez que vas a almacenar datos se recopilan en el punto de venta, cuando lo hace Transacciones bancarias que los datos están ahí, cuando vas a Redes sociales como Facebook, Twitter que los datos se recopilan. Ahora, estos son más datos sociales, pero lo mismo está empezando a suceder con las plantas de ingeniería reales. Datos en tiempo real se recoge de plantas de todo el mundo. No sólo estos si estás haciendo una simulación mucho más sofisticada, simulaciones moleculares , que genera toneladas de datos que también se recogen y almacenan.

¿Cuántos datos son Big Data?

Google procesos 20 Petabytes (PB) por día (2008)
Facebook tiene 2,5 PB de datos de usuario + 15 TB por día (2009)
eBay tiene 6.5 PB de datos de usuario + 50 TB por día (2009)
CERN’s Gran colisionador de hadrones (LHC) genera 15 PB al año

¿Por qué la ciencia de los datos?

Hablando de demanda, hay una inmensa necesidad de individuos con habilidades en ciencia de datos. De acuerdo con LinkedIn U.S. Informe sobre Empleos Emergentes, 2020 Científico de datos clasificado #3 con un crecimiento anual del 37%. Este campo ha encabezado la lista de trabajos emergentes durante tres años consecutivos.

Por otra parte, según Puerta de cristal , en la que figuran los 50 mejores trabajos más satisfactorios en América, Data Scientist es #3 trabajo en los EE.UU. en 2020, basado en la satisfacción de empleo (4.0/5), salario( $ 107.801), y la demanda.

Así que este es un gran momento para entrar en la ciencia de los datos, no solo tenemos más datos y más herramientas para recopilarlos, almacenarlos e interpretarlos, sino que la necesidad de científicos de datos está creciendo con frecuencia y se percibe como esencial en muchos sectores diversos, no sólo en los negocios y el mundo académico.

¡Ciencia de datos en acción!

Un famoso ejemplo de la ciencia de los datos en acción es el de 2009, en el que algunos investigadores Google se analizaron 50 millones de palabras comúnmente buscadas durante un período de cinco años y se compararon con CDC(Centros para el Control y la Prevención de Enfermedades) datos sobre brotes de gripe. Su objetivo era entender si algunas búsquedas particulares armonizaban con brotes de gripe.

Una de las ventajas de la ciencia de los datos y el trabajo con big data es que puede distinguir correlaciones; en este caso, distinguían 45 palabras que tenían una fuerte correlación con los datos del brote de gripe por CDC. Y utilizando estos datos, fueron capaces de predecir brotes de gripe basado sólo en las búsquedas habituales de Google! Sin esta cantidad masiva de datos, estas 45 palabras no podrían haber sido predichas de antemano.

¿Qué son los datos?

Como hemos usado algún tiempo discutiendo qué es la ciencia de los datos, es necesario pasar algún tiempo mirando qué es exactamente los datos. Wikipedia define los datos como,

Conjunto de valores de variables cualitativas o cuantitativas.

Esta definición se centra más en lo que implican los datos. Y aunque es una definición razonablemente corta. Tomemos un segundo para analizar esto y centrémonos en cada componente individualmente.

Un conjunto de valores : El primer término en el que debe concentrarse es “un conjunto de valores” – para tener datos, necesitamos un conjunto de valores para incluir. En estadística, este conjunto de valores se conoce como Población . Por ejemplo, ese conjunto de valores necesarios para responder a su pregunta podrían ser todos los sitios web o aplicaciones o podría ser el conjunto de todas las personas que reciben un medicamento en particular o el conjunto de personas que visitan un sitio web en particular. Pero en general, es un conjunto de cosas en las que vas a hacer mediciones.
Variables : Lo siguiente en lo que hay que centrarse es en “variables” – variables son mediciones o características de un elemento. Por ejemplo, usted podría estar midiendo el peso de una persona, o usted está estimando la cantidad de tiempo que una persona visita en un sitio web o aplicación. O puede ser una característica cualitativa adicional que usted está tratando de medir, como lo que una persona hace clic en un sitio web, o si usted piensa que la persona que visita es hombre o mujer.
Variables cualitativas y cuantitativas : Por último, tenemos ambos “ cualitativa y cuantitativa variables “. Las variables cualitativas son información sobre cualidades. Son cosas como el país de origen, el género, la religión, etc. Suelen estar representados por palabras, no por números, y no están indexados ni ordenados. Por otra parte, las variables cuantitativas son información relativa a las cantidades. Las mediciones cuantitativas se representan normalmente por números y se calculan en una escala ordenada constante; son algo así como el peso, la altura, la edad y la presión arterial.

El proceso de la ciencia de los datos

Las partes involucradas en un proyecto completo de ciencia de datos son,

Formando la pregunta : Cada Proyecto de Ciencia de Datos comienza con una pregunta que debe ser respondida con datos. Esto significa que « en la que se plantea la cuestión.» es un primer paso importante en el proceso. Al comenzar con un proyecto de ciencia de datos, es bueno que su pregunta esté claramente definida. Pueden surgir más preguntas a medida que realice el análisis, pero entender lo que necesita para responder con su análisis es un primer paso muy significativo.
Hallar o generar los datos : El segundo paso es “ encontrar o generar los datos ” vas a usar para responder a esa pregunta. La generación de datos se puede obtener en cualquier formato aleatorio. Por lo tanto, de acuerdo con el enfoque elegido y la salida a obtener, los datos recogidos deben ser validados. Por lo tanto, si es necesario uno puede recopilar más datos o descartar los datos irrelevantes.
A continuación se analizan los datos : Con la pregunta solidificada y los datos en la mano, el “ A continuación, se analizan los datos “. Esto se puede hacer en dos partes.
Exploración de los datos : En este paso, se estudian y procesan los datos para el modelado. Usted será capaz de realizar la limpieza de datos y la visualización. Esto ayudará a encontrar las diferencias y establecer una conexión entre los factores. Una vez que haya completado el paso es hora de realizar análisis exploratorios en él.
Modelización de los datos : En este paso, generará conjuntos de datos para fines de entrenamiento y pruebas. Usted puede interpretar varios métodos de aprendizaje como clasificación y clustering y, por fin, completar la técnica de ajuste más excelente para construir el espectáculo. En resumen, eso significa utilizar algunas técnicas estadísticas o de aprendizaje automático para analizar los datos y responder a su pregunta.
Comunicado a otros : Después de sacar conclusiones de este análisis, el proyecto tiene que ser “ comunicado a los demás” . Un componente importante de cualquier proyecto de ciencia de datos es describir adecuadamente el resultado del proyecto. A veces este es un informe que le envías a tu jefe o puede ser un post de blog.

Algunos proyectos científicos de datos frescos:

Los siguientes son algunos proyectos de ciencia de datos interesantes. En cada proyecto, el autor tenía una pregunta, y querían resolver la pregunta. Y utilizaron datos para resolver esa pregunta. Analizaron y visualizaron los datos. Luego, escribieron posts de blog para comunicar sus resultados. Echa un vistazo para saber más sobre los temas y ver cómo otros trabajan a través del proyecto de ciencia de datos y entregar sus resultados!