¿Es difícil la matemática en la ciencia de los datos?

Alguien le había dicho que para estudiar la ciencia de los datos, necesitaba aprender primero una larga lista de temas matemáticos:

Precálculo
Cálculo
Cálculo variable múltiple
Trigonometría
álgebra lineal
Ecuaciones diferenciales
Estadística

Aunque hay algunos elementos en la lista que I esperanza usted ha aprendido para el momento en que usted está fuera de la universidad, usted puede ser sorprendido sobre cuáles son realmente necesarios para empezar con la ciencia de datos.

Como principiante, no necesitas tanta matemática para la ciencia de los datos

La verdad es que la ciencia práctica de los datos no requiere mucha matemática en absoluto. Requiere algo (a lo que llegaremos en un momento), pero una gran cantidad de ciencia práctica de los datos sólo requiere habilidad en el uso de las herramientas adecuadas. La ciencia de los datos no requiere necesariamente que usted entienda los detalles matemáticos de esas herramientas.

Dicho esto, es importante entender que hay una diferencia entre la teoría que sustenta la ciencia de los datos y la ciencia de los datos tal como se practica. Esto hace toda la diferencia.

Hay una diferencia entre teoría y práctica

Cuando se habla de cuánta matemática se necesita para la ciencia de los datos, es importante distinguir entre la “teoría” de la ciencia de los datos y la “práctica” de la ciencia de los datos. Cuando digo teoría, me refiero a la ciencia de los datos como se estudia en un entorno académico con fines de investigación.

Esta ciencia teórica de los datos es a menudo muy diferente de la ciencia práctica de los datos realizada en el negocio o la industria. Son diferentes porque las prioridades son diferentes, y los resultados son diferentes. Los académicos producen principalmente artículos e investigaciones novedosas, mientras que los científicos de datos de empresas o industrias producirán informes y análisis (comúnmente en forma de presentaciones de PowerPoint); modelos; y sistemas de software. Los focos son diferentes y los entregables son diferentes, por lo que las herramientas requeridas serán diferentes.

Esto no es para menospreciar a los académicos. Lejos de eso. Las personas que investigan la ciencia de los datos en las universidades son necesarias para impulsar el campo hacia adelante. Pero usted necesita entender que hay diferencias entre la ciencia teórica de los datos y la ciencia de los datos como se practica en los negocios o la industria.

También hay una segunda distinción que tenemos que hacer que sea relevante para la cantidad de matemáticas que se necesita para la ciencia de los datos. Hay una diferencia entre los científicos de datos junior y los científicos de datos senior.

Los científicos de datos jóvenes a menudo no necesitan la misma profundidad de conocimiento que los científicos de datos senior.

Odio tener que decirte esto, pero cuando te contraten como un científico de datos junior, probablemente no estarás trabajando en los proyectos más geniales y sexys primero. Por el contrario, es probable que tenga que hacer "trabajo de gruñón" durante sus primeros 6-18 meses.

En el mejor de los casos, muchos nuevos científicos de datos se encargarán de proyectos muy sencillos. Estos proyectos pueden ser simples análisis e informes.

En el peor de los casos, obtendrá datos y datos de limpieza para los miembros más veteranos del equipo.

Pero de cualquier manera, el hecho es que como un científico de datos junior, es muy probable que usted estará haciendo trabajo gruñido, y no trabajando en proyectos avanzados. No es tan malo, pero es necesario establecer sus expectativas y también prepararse en consecuencia.

La ciencia de los datos fundacionales no requiere mucha matemática

Como científico de datos junior que trabaja en el negocio o la industria, usted necesitará principalmente trabajar con lo que yo llamo las habilidades “fundacionales” de la ciencia de datos.

Por habilidades "fundacionales", quiero decir las competencias fundamentales que usted necesitará como un practicante . Aquí en Sharp Sight, a veces llamamos a estas las habilidades “núcleo” de la ciencia de los datos, o “los cimientos.”

¿Qué son?

Manipulación de datos
Visualización de datos
Análisis de datos (AKA, análisis de datos exploratorios)

¿Por qué son estas las habilidades básicas? Porque en un entorno práctico, casi todo lo demás depende de ellos. Estas son las habilidades prácticas “básicas” para “hacer las cosas”.

Usted probablemente ha oído la regla del pulgar que 80% de su trabajo será la manipulación de datos o la limpieza de datos. Aunque podríamos discutir con la proporción exacta, definitivamente puedo decir que el 80% suena cerca. Una gran cantidad de su trabajo se gastará recolectando datos de una variedad de fuentes como archivos de texto, hojas de cálculo y bases de datos; limpiando esos datos; y realizando análisis de datos exploratorios básicos.

Este hecho va en contra de la narrativa común de que la ciencia de datos requiere mucho conocimiento matemático. La verdad es que la mayoría de estas habilidades básicas se pueden aprender sin aprender matemáticas de antemano.

¿Qué matemáticas necesita para “núcleo” habilidades de ciencia de datos

Entonces, ¿cuántas matemáticas necesitas para las “habilidades fundacionales” de la ciencia de los datos?

Creo que un estudiante inteligente de primer año de la universidad tiene suficiente conocimiento de matemáticas para realizar las habilidades de ciencia de datos “núcleo”. Oíste bien. Básicamente sólo necesitas el tipo de álgebra de nivel inferior y estadísticas simples que habrías aprendido en los grados 8 a 12.

Permítanme darles un ejemplo.

Ejemplo: obtención de datos y datos de limpieza

¿Qué tal si creamos nuevas variables? Una vez más, esto requiere casi ninguna habilidad matemática. Permítanme darles un ejemplo.

Digamos que tenemos un marco de datos con dos variables simples, x y y . Queremos crear una nueva variable que sea igual a x dividido por y . Llamaremos a esta nueva variable nuevo_var .

Esta es una operación muy simple, pero es representativo del tipo de manipulación de datos que tendrá que hacer.

¿Esto requiere cálculo? ¿Algebra lineal? No.

Cuando estás creando nuevas variables, normalmente no necesitas hacer nada complicado. Normalmente no es más complicado que dividir una variable por otra, o tal vez realizar una manipulación estadística básica como calcular una media.

¿Hay excepciones? Sí. ¿Hay casos en los que necesita hacer un cálculo complejo para crear una nueva variable? Sí. Pero son mucho más raros, especialmente para principiantes.

Para decirlo simplemente, yo estimaría que el 95% de toda la manipulación de datos sólo requiere matemáticas simples.

Ejemplo: un scatterplot no requiere matemáticas avanzadas

Aquí hay otro ejemplo.

Una tarea de datos muy común es la creación de gráficos y gráficos básicos para el análisis de datos exploratorios. Esto equivale esencialmente a utilizar técnicas simples de visualización de datos para el análisis de datos.

Pregúntate, ¿de verdad necesitas cálculo para esto? ¿Qué tal álgebra lineal?

(No. La respuesta es no.)

Para crear este scatterplot, no necesitas matemáticas de nivel universitario. Sólo necesitas matemáticas básicas. Si has tomado matemáticas de sexto grado y sabes lo que es el sistema de coordenadas cartesianas, estás a mitad de camino. Esto no es difícil... no matemáticamente.

La parte difícil de este scatterplot es la sintaxis . Para hacer ciencia de datos – para hacer realmente las cosas – es necesario sintaxis maestra , no matemáticas. Por supuesto, usted necesita ser capaz de aplicar la sintaxis y utilizar herramientas visuales de la manera correcta, pero eso todavía no requiere cálculo.

Ejemplo: un histograma no requiere matemáticas avanzadas

Una vez más, esto no requiere matemáticas avanzadas. Por supuesto, tienes que hacerlo. saber lo que es un histograma , pero una persona inteligente puede aprender y entender histogramas en unos 30 minutos. No son complicados.

En su mayor parte, si usted está empezando, entonces las habilidades básicas de la ciencia de los datos como la manipulación de datos y la visualización de datos no requerirán matemáticas avanzadas. álgebra y habilidades básicas para resolver problemas son probablemente suficientes para empezar.

El aprendizaje automático básico requiere matemáticas limitadas

Admitiré que el aprendizaje automático requiere más matemáticas que manipulación de datos y visualización de datos.

Dicho esto, el aprendizaje automático no requiere necesariamente avanzado matemáticas como cálculo y álgebra lineal.

Esto confundirá a mucha gente. Una vez más, la mayoría de la gente escucha que necesitan saber matemáticas avanzadas antes de que puedan empezar a estudiar el aprendizaje automático.

¿Qué está pasando aquí?

Hay una diferencia entre teoría y práctica

Volvamos a una de las distinciones clave que hice al principio de este post de blog:

Hay una diferencia entre teoría y práctica. Esto se aplica generalmente a la ciencia de los datos, pero también específicamente al aprendizaje automático.

En el lado teórico (es decir, en un entorno académico) el aprendizaje automático requiere mucho de matemáticas. En serio, acaba de leer algunos documentos de aprendizaje automático y es muy obvio: hay un montón de matemáticas. Cálculo, álgebra lineal, estadística, la referencia ocasional a la teoría de la información.... Los periódicos de aprendizaje automático usan muchas matemáticas.

Pero, ¿qué hay de los practicantes?

En general, los practicantes usan mucho menos matemáticas cuando hacen aprendizaje automático. Para un practicante típico, usarán un lote menos (aunque hay excepciones).

La diferencia entre teoría y práctica se vuelve aún más marcada cuando reconsideramos la otra distinción que hice al principio del artículo: la distinción entre científicos de datos jóvenes y senior. Aunque usted puede encontrar científicos de datos senior que a veces necesitan matemáticas avanzadas para resolver un problema de aprendizaje automático, los científicos de datos junior casi nunca necesitan esto.

Tenga en cuenta, es algo común que los científicos de datos junior no van a trabajar en proyectos de ML de todos modos. Recuerde cuando dije que los científicos de datos jóvenes a menudo se quedan atascados con el “trabajo de gruñido”. Si usted es el miembro junior de un equipo de ciencia de datos, es posible que no esté trabajando en un proyecto de aprendizaje automático de todos modos.

Pero si trabajas en un proyecto de aprendizaje automático, ¿cuánta matemática avanzada necesitas?

No mucho en absoluto.

Usted puede aprender muchos temas de aprendizaje automático sin matemáticas avanzadas

Para casi todos los algoritmos de aprendizaje automático, se puede aprender cómo funciona el algoritmo sin ningún conocimiento de cálculo o álgebra lineal en absoluto.

Como ejemplo, te recomiendo que encuentres una copia del conocido libro de texto de aprendizaje automático, Introducción al aprendizaje estadístico . Muchas personas, yo mismo incluido, consideran que esta es la mejor introducción al aprendizaje automático que está disponible (aunque los autores utilizan el término “aprendizaje estadístico”).

ISL (como se llama a menudo el libro), proporciona una visión general de las técnicas de aprendizaje automático. En este libro encontrarás explicaciones de casi todas las herramientas y técnicas principales:

Regresión lineal
Regresión logística
Soporte de máquinas vectoriales
Árboles de decisión
Redes neurales
Regularización (regresión del lazo y de la cresta)
Técnicas de extracción de características, como el análisis de componentes principales

De nuevo, este libro ofrece una visión general de las técnicas de aprendizaje automático más importantes.

¿Sabes cuánto cálculo y álgebra lineal que utiliza?

Casi cero.

Y utiliza muy pocos conceptos de estadística o informática.

He aquí una cita de Larry Wasserman, profesor de aprendizaje automático en Carnegie Mellon (una de las mejores universidades para el aprendizaje automático):

Este libro proporciona una guía clara e intuitiva sobre cómo implementar métodos de aprendizaje automático y estadístico de vanguardia. ISL hace que los métodos modernos sean accesibles a una amplia audiencia sin requerir una formación en Estadística o Ciencias de la Computación.

Introducción al aprendizaje estadístico – que se considera como uno de los mejores libros introductorios sobre el aprendizaje automático – no requiere una formación en estadística o ciencias de la computación.

Y puedo decirles por mi propia experiencia que el cálculo tampoco es necesario. La única referencia a cálculo que he encontrado fue en la sección relativa a suavizar splines. (Hay una integral utilizada en la ecuación de alisado spline.) Este libro tiene varios cientos de páginas de largo, y sólo hay uno menor referencia al cálculo. Eso es todo.

Lo diré de nuevo: no necesitas matemáticas avanzadas para empezar con el aprendizaje automático. Usted no necesita matemáticas avanzadas para empezar con la ciencia de los datos. Usted no necesita cálculo o álgebra lineal. Usted puede aprender lo esencial del aprendizaje automático con conocimientos de matemáticas bastante limitados.

Usted puede ser un excelente practicante de aprendizaje automático sin mucho conocimiento de matemáticas

De hecho, voy a hacer una afirmación audaz: usted puede convertirse en un muy fuerte practicante de aprendizaje automático sin saber matemáticas muy avanzadas.

Personalmente, conozco a algunos excelentes profesionales del aprendizaje automático que no tienen una formación avanzada en matemáticas. Uno trabaja en Apple. Otro trabajo en Bank of America. Es cierto que ambos son muy inteligentes, pero tampoco lo es un genio de las matemáticas. Sólo saben cómo aplicar las técnicas (y se les paga bien en 6 cifras para hacerlo).

Esto debería ser muy alentador para usted. Hay muchos profesionales de aprendizaje automático muy exitosos que saben muy poco matemáticas avanzadas. Si trabajas duro, puedes ser uno de ellos.

Las habilidades matemáticas que realmente necesitas para empezar a aprender ciencias de datos

Si quieres aprender ciencias de datos, deja de preocuparte por las matemáticas. Necesitas mucho menos matemáticas de lo que probablemente esperas.

Si acaba de empezar con la ciencia de los datos, esto es lo que necesita saber:

Gráficos y gráficos básicos

Tienes que entender la trama cartesiana básica. Si has dibujado gráficos en papel gráfico en una clase elemental de matemáticas, probablemente sabes lo suficiente para empezar.

Funciones

Usted necesita saber lo que es una función y cómo trazarlos. En este caso, cuando digo “cómo trazar” sólo quiero decir que usted necesita saber generalmente cómo trazar una función... lo que es el proceso. Sin embargo, usted no necesita necesariamente ser capaz de trazar una función en R o Python. Si cada uno ha trazado una función a mano en papel gráfico, probablemente sabe lo suficiente.

álgebra básica

Usted necesita saber lo que es una variable. Necesitas saber lo que es un exponente. Usted tendrá que estar cómodo en un nivel básico de lectura de ecuaciones matemáticas.

Estadísticas básicas

Para ser honesto, usted no necesita saber que muchas estadísticas. Definitivamente necesita estar familiarizado con cálculos estadísticos básicos como media, mediana, desviación estándar y varianza.

Notación matemática básica

También necesita estar familiarizado con la notación matemática estándar. Usted necesita saber acerca de variables, exponentes, subíndices, y otros elementos menores como paréntesis. Usted también debe estar familiarizado con anotación de la suma . La notación de sumación (AKA, notación de sigma) aparece bastante en el aprendizaje automático.

¿Todavía tienes preguntas? Deja un comentario a continuación.

Esto es sobre todo todo lo que necesitas para empezar a aprender ciencia de datos.

Si eres inteligente y motivado, puedes aprender casi todo lo demás si conoces esos simples fundamentos matemáticos.

Creo que tienes razón. Me ayudó a tomar una decisión con respecto a la búsqueda de un independiente en matemáticas. Acabo de ser contratado como consultor de inteligencia artificial. El fondo es de 3 grados a través de Econ y CS. En el papel, me veo cuantitativa. En realidad, puedo leer matemáticas aplicadas y seguirlas, pero estoy muy oxidado. Además, nunca hicieron cursos de análisis discreto/real/matemática pura lo que me hace sentir como un impostor.

De todos modos, va a centrarse en los servicios de Python y Azure ML y repasar el aplicado como usted dice en el artículo.

Atención. Me contrataron porque escribí una investigación de postgrado de CS en AI, sin miedo a la programación y sé cómo comunicarme.

Estás haciendo un gran trabajo. Hay muchas personas que quieren entrar en la ciencia de los datos / ML, pero sólo tienen miedo de las matemáticas. Y pocas personas también tienen miedo de codificar/programar. PLS mantener su gran trabajo.

No estoy de acuerdo con esto. Mientras que usted está hablando de los científicos de datos Junior, ¿no es una entrada rápida?¿Qué pasará cuando se convierten en científicos de datos senior? Actualmente, como usted dijo, basado en esta idea la gente se mete en ella, pero luego luchan mucho para entender la diferencia entre los modelos y lo que es valor p, significado, sesgo, varianza, etc.

La confianza está muy relacionada con la profundidad del conocimiento en mi punto de vista y los científicos de datos con fundamentos fuertes son fácilmente distinguibles del resto.

Usted está haciendo algunas suposiciones sobre cosas que en su mayoría no son exactas.

En primer lugar, toma varios años para que un científico de datos junior alcance los niveles superiores. 5 a 8 años en un negocio de tamaño razonable con una jerarquía clara (aunque posiblemente más rápido en un negocio más pequeño con menos niveles, etc.). 5 a 8 años es mucho tiempo para “recuperar” cualquier conocimiento matemático que usted podría haber perdido.

En segundo lugar, incluso en los niveles superiores, muchos científicos de datos todavía no usan muchas matemáticas. En su mayor parte, usted no necesita saber cálculo o álgebra lineal para construir un modelo de aprendizaje automático. Eso sigue siendo cierto incluso para la mayoría de los científicos de datos intermedios y senior.

Dicho esto, hay una pequeña minoría de científicos de datos de alto nivel que están creando modelos hechos a medida desde cero, o están modificando herramientas preexistentes. Para esas tareas, una persona probablemente will necesidad de saber cálculo y álgebra lineal. Pero esas personas son una minoría de científicos de datos de alto nivel que trabajan en empresas especiales o en proyectos especiales. Repito: si usted no es una de esas personas que trabajan en modelos especiales o proyectos especiales, es casi seguro que puede utilizar herramientas preconstruidas, off-the-shelf... que no requieren mucho conocimiento matemático.

Respecto a la selección de modelos y afinación: Realmente no necesitas saber tanta matemática para entender las diferencias entre los tipos de modelos. Muchas personas jóvenes pueden aprender estas diferencias como heurística y reglas del pulgar. Lo mismo se puede decir sobre el sesgo/varianza. Usted no necesita cálculo o álgebra lineal para aprender conceptos de sesgo/varianza.

Como señalé en el artículo, conocer la notación de sumación puede mejorar la comprensión conceptual, pero la notación de sumación es relativamente fácil de aprender una excepción relativamente pequeña a la tesis general del artículo.

Voy a repetir: usted no necesita cálculo, álgebra lineal, y matemáticas avanzadas para empezar a aprender ciencia de datos.

Su sitio es simplemente invaluable y creo que usted debe optimizar su sitio para que miles de científicos de datos se adhieren a su sitio de por vida. Además, una sugerencia es que por favor intente rediseñar el sitio para que los artículos de Python y R estén segregados de una manera mejor y sean más intuitivos.

Tengo que ser honesto... Creo que la mayoría de los másteres son malas inversiones. La mayoría cuesta de 30K a 50K y usted podría aprender todo por su cuenta, o con cursos en línea mucho más baratos.

La única razón por la que conseguiría una maestría como esta es si es de una universidad verdaderamente de élite como Harvard o MIT (ni siquiera sé si tienen maestría DS). 50K sólo vale la pena si consigues una marca de élite en tu currículum.

... De lo contrario, gastar unos pocos miles en buenos libros y cursos en línea y aprenderlo por 1/10o el costo.

El único problema real es que usted realmente necesita ser disciplinado para aprender por su cuenta.

¡¡Gracias una tonelada!! Leer tu blog ha dejado mi mente clara, yo siendo un profesional de trabajo persiguiendo un PG en IA en una firma de renombre, me estaba golpeando la cabeza por recordar todo lo que Math. A menudo me preguntaba si realmente se hacían en la práctica con escenarios de la vida real. Has respondido a todas mis dudas... ¡Felicidades querida, acabas de conseguir otra para seguir tus blogs!

Su artículo es muy bueno y completo. Sin embargo, tengo la pregunta opuesta. Permítanme describir mis antecedentes un poco, pero para un panorama más amplio. Soy un bachiller en Ciencias de la Computación que actualmente está trabajando en una gran compañía de tecnología. En la escuela secundaria y en la universidad siempre me sentí más atraída por la algorítmica y la materia más teórica (también estaba haciendo programación competitiva). Ahora, en el trabajo, encuentro mi trabajo aburrido porque no requiere suficiente resolución de problemas y algoritmos. Siento que no estoy usando mucho mi cerebro, pero sobre todo haciendo un trabajo monótono. Así que ahora estaba pensando en la transición al aprendizaje automático, que es un tema más teórico. Sin embargo, temo (y su artículo amplificó mi miedo) que una vez que trabaje en la producción como científico de datos, el trabajo también será trabajo monótono. Algo que no requerirá una comprensión profunda de los conceptos matemáticos y habilidades para resolver problemas, pero como usted dijo, más como datos de limpieza y así sucesivamente. Así que ahora mi pregunta es: ¿Hay esperanza para mí de encontrar alguna posición en el aprendizaje automático que realmente requiere conocimiento profundo y comprensión de la matemática subyacente? ¿Alguna función en la que el trabajo diario es hacer un análisis profundo y resolver problemas? Y si hay tales roles, ¿cuántos y qué tan accesible? ¿Necesitan un doctorado?

Si usted está más interesado en el trabajo difícil o teórico, entonces el aprendizaje automático probablemente será más interesante.

Entrar en el ML será más difícil sin un doctorado, pero no imposible. El mejor camino es probablemente comenzar como un científico de datos de nivel inferior haciendo un trabajo más simple, y luego conectar su camino en un papel más avanzado durante 3 a 5 años.

Este es un gran artículo. Tengo un doctorado en Economía de Negocios y he trabajado con un montón de diferentes tipos de estadísticas a lo largo de los años en un negocio. Rara vez tengo que volver a las cosas que hice en la escuela de posgrado (Tomé econometría de Juez y tenía un econométrico llamado Newbold en mi comité – escribió un artículo con Granger camino de regreso) – la habilidad más importante que tengo ahora es entender las cosas en un contexto de negocios. Creo que los niños en los Estados Unidos se sienten intimidados por las matemáticas y las estadísticas y algunos de los profesores no son de mucha ayuda, pero los estudiantes necesitan aprender algunas de estas habilidades prácticamente – con aplicaciones. Si bien puedo ver escollos en la ejecución de ML sin saber lo que estás haciendo, el ‘saber lo que estás haciendo parte’ generalmente se relaciona con la comprensión de los datos y el problema en cuestión, no con las matemáticas de fantasía. Así que la ciencia de los datos podría ser un paso positivo para muchas personas que han estado convencidas de que no son buenas en matemáticas, a pesar de que tienen suficientes conocimientos matemáticos para hacer contribuciones prácticas.

“Entender” ML casi siempre significa entender el problema de negocio o tarea que usted está tratando de resolver; entender los datos; y entender la heurística para cuándo aplicar ciertas técnicas, regularización, etc.