Big Data y analítica en tiempo real: caso empresarial  

Crecimiento del mercado de Big Data

Para el año 2020, según Bernard Marr- autor best-seller internacional y consultor de gran renombre en negocios y tecnología- se generará un estimado de 1.7 megabytes de nueva información a cada segundo por cada ser humano del planeta[1].

Actualmente vivimos una explosión en la cantidad de datos generados por las personas y las industrias. En el año 2018, en promedio, por minuto había un total de 3.7 millones de búsquedas, se enviaban 18 millones de mensajes de texto, y había 973 mil ingresos a Facebook. Dicha tendencia, comparativamente con el año 2017 se incrementó para las principales redes sociales.

El mercado de soluciones de Big Data ha experimentado un acelerado crecimiento en los últimos años. Por ejemplo, se estima que las ganancias globales derivadas de los servicios y softwares de Big Data se incrementarán desde USD 42mil millones de dólares en el 2018 a USD 103 mil millones en el 2027, experimentando una tasa de crecimiento compuesto anual (CAGR por sus siglas en inglés) de 10.48% de acuerdo con Wikibon.

A nivel empresarial, una encuesta elaborada por la consultora Accenture presentada en el año 2017, estimaba que cerca del 79% de los ejecutivos de empresa estaban de acuerdo con que las compañías que no adopten proyectos de Big Data perderán competitividad en el mediano plazo[2].

En este escenario, numerosas organizaciones tienen interés en aprovechar dicha explosión de los datos. Puntualmente, algunos de los usos de Big Data a tiempo real y sus aplicaciones de negocio incluyen[3]:

• Reducción de pérdidas prevenibles: la analítica a tiempo real tiene el potencial de reducir o eliminar pérdidas por incidentes no previstos.
• Análisis de la rutina de las operaciones de negocio: haciendo uso de Big Data, es posible monitorear todos los procesos a tiempo real.
• Encontrar oportunidades de negocio perdidas: el análisis en vivo de datos permite conocer a los clientes de forma inmediata, conociendo sus preferencias y hábitos
• Crear nuevas oportunidades: a partir del análisis de Big Data se ha generado nuevos modelos de negocio.

De acuerdo con una encuesta elaborada por la firma NewVantage Venture Partners en el 2017, de todas las aplicaciones anteriormente mencionadas, el mayor valor que genera Big Data en las empresas se corresponde con el decrecimiento de los costos (44.6%) y crear nuevas oportunidades de negocio (44.3%).

Con el objeto de generar valor en el negocio, distintas compañías hacen uso de técnicas computacionales, matemáticas y estadísticas con el objetivo producir aportes que contribuyan a la mejora en la toma de decisiones. A lo anterior, se le suele denominar “inteligencia de negocios” o “analítica de negocios”.

En la actualidad, un número creciente de negocios generan gigabytes de información por minuto. No obstante, el nivel de creación de valor a partir de la data no va a la par de la velocidad de generación de información. El modelo de analítica de negocios a tiempo real, a diferencia de los métodos tradicionales de análisis histórico, se enfoca en el análisis de la información tan pronto como el evento es generado, con el objetivo de tomar mejores decisiones basadas en datos.

 

Definición de “a tiempo real”

Un concepto importante dentro de la analítica a tiempo real es la latencia, que es el tiempo que transcurre entre la ocurrencia de un evento y la disponibilidad de hacer uso de éste. Todos los sistemas de manejo de información tienen algún tipo de latencia. No obstante, aquellos destinados a la analítica a tiempo real buscan minimizar el tiempo entre que un evento ocurre y cuando se empieza a tomar algún tipo de acción al respecto.

Según Richard Hackathorn, en su libro Web Farming for the Data Warehouse, existe tres tipos de latencia[4]:

• Latencia de la data que es el tiempo transcurrido entre la colección y el almacenamiento de la data.
• Latencia del análisis: tiempo requerido para analizar a la data y volverla información sobre la cual tomar decisiones.
• Latencia de acción: tiempo requerido para reaccionar a la información y tomar una decisión.

Lo anterior implica que los datos son procesados tan pronto son recibidos y que el usuario del negocio puede generar conclusiones sin exceder el periodo de tiempo destinado para la toma de decisiones[5].

No obstante, el concepto de “tiempo real” reviste dificultades que van más allá de la semántica. Regularmente cuando se hace uso de “tiempo real”, no siempre se hace referencia a un mismo periodo de tiempo para cada industria.

Por ejemplo, la respuesta de un carro que implementa manejo con inteligencia artificial requiere una respuesta muy rápida (milisegundos) comparativamente con los sensores que monitorean equipos electrónicos (segundos) o el análisis de mercado de una empresa puede tomar unos minutos. En todos los casos se suele hablar de analítica a tiempo real, aunque los periodos difieran.

Algunos autores[6] clasifican al análisis en tiempo real de dos formas:

• “On-demand” o “bajo demanda” que consiste en que los usuarios, o el sistema envía solicitudes de nueva información cada cierto tiempo, a través de consultas (queries).
• “Streaming” o “transmisión de datos” que consiste en un flujo continuo, de alto volumen y de alta velocidad, de los datos a partir de un “push” o una descarga. En la mayoría de los casos, cuando se hace mención a data a tiempo real, se suele hacer referencia al streaming de datos.

 

¿Data warehouse o análisis a tiempo real?

Tradicionalmente, cuando los autores hacen mencion a las grandes bases de datos, se ha hecho referencia la data contenida en los almacenes de datos (data warehouses). Dichas bases de datos habían sido cargadas a través de un proceso de “Extracción, Transformación y Carga” (ETL por sus siglas en inglés). En otras palabras, este modelo requiere un proceso de almacenamiento de los datos para su posterior análisis.

Por ejemplo, la data almacenada en los data warehouses suele ser utilizada en las siguientes necesidades:

• Decisiones operacionales, estratégicas o de largo plazo.
• Construcción de modelos predictivos o prescriptivos.
• Construcción de reportes.
• Construcción de indicadores OLAP (online analytical processing o de procesamiento analítico en línea).

Puntualmente, los modelos que pueden ser aplicados haciendo uso del modelo tradicional de análisis de datos se pueden clasificar en:

• Análisis descriptivo: permite conocer grandes tendencias históricas en los datos haciendo uso de técnicas estadísticas sencillas y/o gráficas.
• Análisis predictivo: consiste en la implementación de técnicas computacionales, estadísticas y matemáticas aplicadas a los datos históricos con el objetivo de realizar predicciones o inferencia.
• Análisis prescriptivo: facilita la toma de decisiones en el mundo real a partir del procesamiento de la data histórica, en decisiones del momento.

El análisis de los datos a tiempo real busca minimizar los tres tipos de latencia anteriormente mencionados. Por su parte el modelo tradicional de análisis de datos solo buscaba reducir la latencia de la data, aunque no necesariamente la del análisis o la acción[7].

Por su parte, en cuanto al análisis de datos a tiempo real, suele ser implementado cuando existen las siguientes necesidades[8]:

• Detección y respuesta en tiempo real de eventos.
• Acceso inmediato a las fuentes de datos empresariales a tiempo real, incluidos datos no estructurados y redes sociales.
• Analizar data a la luz de modelos predictivos o prescriptivos existentes.
• Permitir la generación de alertas basados en indicadores de alto desempeño (KPI por sus siglas en inglés).
• Visualización de indicadores de alto desempeño a partir de tableros (dashboards) orientado hacia la toma de decisiones.

No obstante, adicionalmente al análisis en los almacenes de datos, se ha popularizado en los últimos años el análisis a tiempo real. En la analítica a tiempo real se analiza y visualiza data a tiempo real, a diferencia de los análisis históricos de datos que se encargan de exportar un conjunto de datos para someter a análisis. Un aspecto relevante para mencionar es que ambos modelos no tienen por qué ser excluyentes necesariamente, sino que responden a distintas necesidades que los usuarios requieran.

La analítica a tiempo real puede recurrir a distintas fuentes de datos, no solo a los generados por la empresa, y permite un flujo continuo de data que permite la integración en aplicaciones. Algunas de las posibles aplicaciones de la analítica a tiempo real son[9]:

• Extraer aportes de la data para tomar decisiones operacionales y aplicarlas a procesos de negocio a tiempo real.
• Aplicar modelos predictivos o prescriptivos previamente entrenados.
• Comparar información histórica con información corriente.
• Recibir alertas basados en parámetros predefinidos.
• Visualizar a tiempo real tableros (dashboards) para mejorar la eficiencia del negocio.

 

Aplicaciones de la analítica a tiempo real

Existe distintas industrias, sectores y campos que pueden beneficiarse del uso de analítica a tiempo real. A continuación, se presentan algunos[10]:

• Ventas y mercadeo: según un estudio de la consultora Mckinsey en el año 2017, cerca del 50% de los ejecutivos de compañías afirman que Big Data ha cambiado fundamentalmente sus prácticas de ventas y mercadeo, en especial la data percibida a tiempo real[11].
• Relaciones con clientes: pueden hacer uso de data a tiempo real para proveer un mejor servicio para los consumidores, abarcando programas de fidelización y monitoreo del sentimiento de clientes.
• Procesos logísticos y operativos: facilita el seguimiento y monitoreo de procesos de la cadena de valor a tiempo real. Esto permite solucionar imprevistos o simplemente mejorar la eficiencia.
• Manejo de inventario: facilita el seguimiento de los inventarios ganando mayor eficiencia en el envío y recepción de mercancía. También es posible automatizar modelos para predecir el comportamiento de los inventarios en el tiempo.
• Monitoreo del Internet de las Cosas (IoT): permite monitorear los dispositivos informáticos dentro de una infraestructura del internet, entre los que se clasifican sensores, sistemas, protocolos, dominios y aplicaciones.
• Banca y seguros: el análisis a tiempo real es utilizado para monitorear el comportamiento de los medios de pago y el uso de instrumentos y aplicaciones por parte de los clientes. Adicionalmente, el análisis a tiempo real es utilizado de forma extensiva para la construcción y evaluación de modelos de riesgo para optimizar las operaciones de seguros, préstamos, entre otros.

 

Conclusión

El mercado de productos y servicios de Big Data no parece evidenciar una ralentización en ningún momento próximo. Por el contrario, los próximos años se experimentarán tasas de crecimiento aceleradas en las ganancias de las compañías desarrolladoras de servicios y softwares asociados a Big Data, así como una ganancia en competitividad por parte de las empresas que demandan dichos servicios. Es posible conocer mas de cómo implementar soluciones de Big Data en tiempo real en el siguiente link de Gecko.

En cuanto al análisis a tiempo real, es posible constatar que en las últimas décadas, un creciente número de industrias y sectores han adoptado infraestructuras con el objetivo de capturar y analizar data a tiempo real. Con base en esto, se espera la aparición de nuevas oportunidades de negocio o la reducción de gastos e ineficiencias actualmente existentes en su cadena de negocio.