Hoy todo mundo habla de Big Data, y más dentro de las organizaciones, pero comencemos con las preguntas más simples, ¿qué significa?, ¿cómo surge el concepto?, ¿cómo me impacta a nivel individual y/o a la organización donde me desempeño?. Pues bien, como muchos conceptos que cambian nuestra forma de percibir el mundo, Big Data surge como respuesta a una necesidad humana, el manejo de grandes volúmenes de información. Antes de ahondar en el concepto, me gustaría ir un paso más atrás, o, mejor dicho, muchos años atrás en la historia y contarles cómo nació la Estadística, la cual engloba dos grandes funciones: descripción de datos y desarrollo de inferencias o deducciones, lo que refleja incluso la propia historia de esta ciencia.
Etimológicamente la palabra Estadística proviene de la palabra Estado, porque justo nace de la necesidad de los romanos y egipcios en la antigüedad de conocer de forma precisa el número de habitantes y de sus posesiones, es decir de conocer el estado de sus naciones. Para lograr el objetivo, tuvieron que iniciar con la recolección de la información de su población y posteriormente organizarla y resumirla de forma clara para poder proporcionar información útil, estas actividades se englobaron en lo que hoy conocemos como Estadística Descriptiva cuyo objetivo es describir situaciones y procesos, para lo cual utiliza tablas, representaciones gráficas, proporciones, número índices, entre otras medidas.
La necesidad inicial fue resuelta, y dio paso a nuevas preguntas sobre cómo podíamos sacar conclusiones respecto a grandes cantidades de datos sin realmente contar con ellos, esto dio paso al desarrollo de un conjunto de metodologías que permitieron hacer inferencias acerca de grandes conjuntos de datos, a partir de un conjunto más pequeño de observaciones reales. Así surge la Estadística Analítica o inferencial, la cual basada en la teoría de probabilidades trata de inferir lo que pasa en las poblaciones partiendo de un subconjunto de datos. Precisamente el fundamento probabilístico condiciona que los resultados siempre estén sujetos a cierto margen de error, el cual siempre se tratará de minimizar, pero nunca se elimina del todo.
Conocer la historia nos permite entender la definición de Estadística e incluso formular una propia, por ejemplo, “Estadística es la ciencia que se ocupa de la ordenación y análisis de datos procedentes de muestras, y de la realización de inferencias acerca de las poblaciones de las que éstas proceden”.
La historia del nacimiento de la Estadística aplica perfectamente a muchas de las problemáticas actuales de las organizaciones, y como en la antigüedad lo primero que se necesita es conocer el estado de las naciones, en este caso el estado de las organizaciones, en este punto aplicaremos Estadística descriptiva, seguro que este término no lo escuchan muy seguido, pero apuesto a que el término Business Intelligence les resulta muy familiar, pues les tengo noticias, el objetivo es el mismo que el de la Estadística Descriptiva, resumir estratégicamente la información del área o de la empresa en su conjunto para poder saber el estado de la misma y comenzar a tomar acciones al respecto, esto nos llevará a la implementación de Bussiness Analytics que también comparte el objetivo de la Estadística Inferencial, hacer deducciones partiendo de una muestra y de lo observado con la Estadística Descriptiva.
Te estarás preguntando ¿no íbamos a hablar de Big Data?, pues bien, comencé contando como la Estadística surge como respuesta a una necesidad del ser humano, porque también el concepto Big Data surge de una gran necesidad, poder organizar grandes volúmenes de información, que, dicho sea de paso, todos generamos constantemente, y poder obtener conclusiones que nos permitan tomar decisiones partiendo de esa información.
Ahora abordaré cómo llegamos a tener esa necesidad, todo se remonta al nacimiento de la era digital, la cual transformó profundamente nuestra concepción del mundo y de lo que nos rodea. Hoy se imaginan ir en el transporte público o estar sentados en un café haciendo “nada”, la realidad es que actualmente mientras esperamos estamos constantemente viendo nuestro celular o algún otro dispositivo digital, en otras palabras estamos consumiendo contenido, el cual puede estar en diversos formatos, entre los principales tenemos texto, imágenes y video, ¿se han preguntado cuánta información generamos y consumimos? Exacto… demasiada, y además de ser mucha información, se genera constantemente, por ellos es que muchas veces se define Big Data a partir de las palabras: Volúmen, Velocidad, Variedad, Veracidad y Valor.
Haciendo una analogía algo disparatada, podríamos ver el Big Data como una versión de la Estadística con esteroides, muchos esteroides, pero el objetivo es el mismo, tomar decisiones con base en la información, sólo que ahora el Big Data no sólo nos permite conocer a las poblaciones, va mucho más allá, permitiéndonos conocer a la persona, éste es una de las grandes transformaciones que se logran con Big Data, los targets genéricos están pasando de moda, y el gran referente es Netflix, cuántos de ustedes recuerdan cuando las películas eran clasificadas con estrellas, y en función de esa calificación decidíamos si las veríamos o no, pues eso cambio completamente cuando Netflix dejo de preguntarnos o preguntarle a “expertos” sobre la calificación de las películas y comenzó a procesar toda la información que generábamos, y así diseñó un nuevo algoritmo de recomendación, casi perfecto, que implicó un enorme esfuerzo técnico ya que se alimenta de toda la información que facilitas en tu perfil y tu comportamiento en la plataforma, a qué hora te conectas, cuánto tiempo pasas en la plataforma, qué has visto, qué películas tienes marcadas como pendientes, dónde las has visto (ordenador o dispositivo móvil), tiene mucha información, pero no sólo eso, están obteniendo valor de ella y nos están dando valor también como consumidores.
