¿Cuáles son los tres niveles de la ciencia de los datos?

Si tuviera un centavo por cada vez que vi eso Jerarquía de las necesidades de la ciencia de los datos visual en una presentación en una conferencia, sería un multimillonario (término técnico). La pirámide, un guiño a la Jerarquía de las Necesidades de Maslow, establece que la ciencia de los datos, en sus formas de aprendizaje automático o inteligencia artificial, tiene una serie de "necesidades" o requisitos que deben cumplirse para En realidad IA de salida.

Esta visual es genial, pero he pasado los últimos dos años trabajando en datos, y esta visual no capta lo que hago. ML y AI son temas atractivos de los que hablar, pero la realidad para la mayoría de las organizaciones es que sus equipos de datos son increíblemente inmaduros y pasan la mayor parte de su tiempo trabajando en análisis. La madurez de la organización de los datos se compone de muchos factores; no son sólo los detalles de sus modelos de aprendizaje automático, el pedigrí de los miembros de su equipo, o el número de cabezas de su función. La madurez de su organización de datos no es algo que se puede resolver lanzando a la gente al problema.

Una organización de datos madura, ante todo, es una organización de análisis madura.

Entonces, ¿cómo sabes si eres una organización de análisis madura?

Hay tres niveles de análisis de datos: informes, ideas y predicciones. A medida que una organización madura en sus análisis de datos, se mueven a través de los niveles. Este marco de análisis de datos no se centra en todas las cosas que su equipo de datos producirá, ni se aplica a nada fuera del análisis de datos. Cosas como motores de recomendación y análisis predictivo no son análisis de datos; Son una aplicación diferente de los datos por completo.

Una organización de análisis madura es una parte de una función de datos, pero es fundamental para una función de datos maduros. Gastar una inversión en haciendo análisis correctamente pagará dividendos a su función de datos en el camino.

La historia más breve de los datos

Antes de evaluar dónde está el análisis de datos hoy en día, es importante considerar cómo llegaron los datos aquí. Érase una vez, los datos eran imposibles de obtener.

Hace años, SQL era el prerrequisito para responder a preguntas de datos, y aquellos con la suerte de trabajar en una organización que mantenía un almacén de datos centralizado todavía tenían que navegar bases de datos delicadas fácilmente transitadas por una mala consulta.

Los analistas de datos eran los guardianes de los datos. Todo lo que se necesitaba —de un bonito gráfico para una reunión de partes interesadas o una hoja de cálculo producida para que los analistas de negocios o financieros pudieran profundizar en los datos— tenía que pasar por un analista de datos.

Presentación de informes

La presentación de informes es la pregunta y la respuesta sencillas y simplistas de las preguntas. Las respuestas a estas preguntas sencillas dan una idea de qué datos se necesitan, pero no permiten la estandarización, recopilación o seguimiento de los datos.

Cuando no tienes respuestas, nunca vas más allá de buscar hechos. Ejemplo de preguntas para la presentación de informes son:

¿Cuántos nuevos usuarios visitaron nuestro sitio de comercio electrónico la semana pasada?
¿Cuántas pistas capturamos este mes?
¿Cuántos MR se fusionaron esta semana?

A veces, no hay datos para responder a estas preguntas. Esto puede ayudar a identificar lagunas e impulsar conversaciones alrededor de los datos que se recopilan. Cuando obtener datos es difícil, nunca pasas de informar.

Hoy en día, obtener datos es fácil, al menos en comparación. Con el aumento de los almacenes de datos analíticos ( en GitLab, usamos Snowflake ) optimizado para análisis columnares y almacenamiento increíblemente barato, las barreras a los análisis están cambiando, al igual que el tipo de preguntas que queremos responder.

La mayoría de las preguntas son posibles de responder en su sistema de registro de la verdad:

Puede construir un tablero de Salesforce para mostrarle su tubería para el próximo trimestre.

Los analistas de datos que pasan su tiempo construyendo análisis que están disponibles en el sistema de registro no están agregando valor, están pagando peajes: están verificando datos y consiguiendo la participación de las partes interesadas de las empresas.

En la actualidad, el valor de los análisis de datos reside en la obtención de conocimientos.

Perspectivas

Mientras que los análisis de los informes son recopilación de hechos para informar sobre ellos, los puntos de vista son sobre entender las relaciones entre los hechos. Derivar información es el resultado de combinar sistemas de registros, centrándose en la búsqueda de relaciones en los datos. Esto es diferente de los sistemas que informan a los sistemas, como la información de la cuenta de tuberías de Salesforce en Zendesk para ver si usted está cumpliendo con su Apoyo a los SLA ; En su lugar, se trata de producir insights que sólo se pueden reunir combinando dos fuentes de datos en algo nuevo.

El equipo de GitLab Data Análisis de la retención neta y bruta son un gran ejemplo de perspicacia. Mientras que la información de suscripción proviene de Zuora, nuestras cuentas de clientes —y cómo lo hacen o no lo hacen en cuentas matrices— todas vienen de Salesforce. Integrar estas dos fuentes de datos para desarrollar nuestro análisis de retención ayuda a informar a nuestros equipos de ventas y productos.

Un gerente de productos que conoce la velocidad de su equipo de ingeniería puede estimar mejor qué características harán la próxima versión. Un equipo de ventas que entiende lo que su tubería de comercialización entrante está buscando para el próximo trimestre está facultado para planificar mejor su trabajo. No es suficiente saber que un indicador de desempeño en particular está arriba o abajo en comparación con su objetivo; los conocimientos le ayudan a entender el porqué detrás del hecho.

Responder a preguntas como estas mostrará el mayor impacto y valor para su negocio:

¿Qué landing pages tienen el CAC más bajo?
¿Cuál es el número promedio de visitas al sitio antes de que un usuario se convierta?
¿Cuál es la retención del usuario del MoM en nuestra aplicación web?

Las insights son donde sus analistas de datos necesitan pasar su tiempo porque las insights son donde los equipos de datos pueden empezar a proporcionar valor. Los analistas sólo pueden pasar a proporcionar información si no están gastando todo su tiempo construyendo informes, sino informes precisos es un prerrequisito para la comprensión.

Un equipo de datos que dedica todo su tiempo a producir números que ya existen con el único propósito de conseguir que las partes interesadas compren o adopten herramientas de datos rápidamente encontrará a la organización frustrada, ya que no habrán añadido nuevo valor al negocio. Ser impulsado por datos significa que has cruzado en un lugar donde las decisiones están influenciadas por los datos, no simplemente encontrar datos que coincidan con un objetivo.

Predicciones

Análisis de datos maduros están utilizando predicciones para ayudar a impulsar el negocio hacia adelante.

Un gerente de producto que puede estimar el impacto financiero, tanto en el costo como en el rendimiento potencial, del desarrollo de una nueva característica puede hacer un caso mucho más fuerte para priorizar que un gerente de producto que tiene una sensación intestinal y cruzado los dedos. Lo mismo es cierto en toda la organización. Si el equipo de Planificación y Análisis Financieros puede predecir los ingresos, el equipo de soporte puede predecir los requisitos de contratación para apoyar a todos los clientes, y el equipo de reclutamiento puede predecir cómo son los plazos de contratación y incorporación para esos ingenieros de soporte.

Una organización que está capacitada para predecir el desempeño mediante análisis avanzados es una organización impulsada por los datos; y, debido a que cuentan con informes para hacer un seguimiento de esas predicciones, tienen los mecanismos para reaccionar cuando la realidad difiere de esas predicciones y puede ajustarse adecuadamente.

¿Cómo maduramos los equipos de datos?

Veo que asiente con la cabeza de acuerdo. Con suerte, por ahora, has estimado dónde está tu equipo en este marco, y te estás preguntando cómo puedes ayudarles a pasar al siguiente nivel.

Invertir en su equipo

Equipos de datos tienden a ser 2-8% de su organización , y los equipos de datos hacen escala con el número de cabeza de la organización. Su equipo de datos fallará si usted los configura para el fracaso a través de falta de personal. La empresa se sentirá frustrada con el equipo y por defecto a las herramientas que siempre han conocido y amado (spreadsheets - y Odio las hojas de cálculo. ).

Empoderar a todos en su organización con datos

Permita que todos los miembros del equipo encuentren y construyan los informes que necesitan para hacer su trabajo. Al empoderarlos para servirse a sí mismos con los informes que necesitan, pueden recopilar sus propios datos y liberar al equipo de datos para pasar al siguiente nivel de análisis. Permitir que tu equipo de datos crezca y madure significa poner a otras personas en posiciones para acceder y analizar los datos que necesitan diariamente.

Aceptar que el margen de error es mayor en la presentación de informes cuando no es producido por un miembro del equipo de datos. Es más importante que los datos sean direccionalmente correctos y accesibles que perfectos y con cuello de botella.

Para ello es necesario confiar en que la presentación de informes es un hecho. Los datos no están basados en la opinión. Informar le proporciona las respuestas y la persona o personas que analizan pueden formular opiniones, pero informar en sí mismo no es perspicaz.

Velocidad al valor

Cuanto antes haya confianza en los datos y en su organización de datos a través de los informes, antes su equipo podrá empezar a proporcionar valor a través de información. Parte de cómo podemos implementar esa velocidad es apalancar Análisis de código abierto . Muchos equipos de datos están trabajando a través de las mismas o similares preguntas y fuentes abiertas y aprovechando cosas como Paquetes dbt puede ayudar a minimizar el tiempo dedicado a reinventar la rueda de notificación.

Las mejores prácticas del software pueden ayudar a asegurar que un equipo mantenga su velocidad. A través de pruebas de calidad y frescura de los datos, alertas y documentación a través de una herramienta como dbt , los equipos de datos pueden ser proactivos en lugar de reactivos, preparándolos para un mejor éxito.

Los datos son una herramienta increíble, pero el camino hacia la madurez puede ser accidentado. Con un equipo fuerte, puedes crear una organización basada en datos y encontrarte rápidamente viendo el valor del equipo.