Soft Solutions

ibs Analytics

DEFINICIÓN Y ANÁLISIS DE LA INFORMACIÓN

La primera etapa de cualquier extracción y análisis de la información consiste en verificar la coherencia de los datos, poniendo de relieve los datos erróneos y corrigiéndolos.

“EL MEJOR MÉTODO CIENTÍFICO NO PUEDE ENTREGAR RESULTADOS EXACTOS SI LOS DATOS DE ENTRADA NO LO SON”

ibs Analytics incluye, además de los procesos clásicos de integración de datos (formato, tipos de datos, normas), un módulo dedicado al análisis de la información, concentrado en la detección y corrección de los datos atípicos.

Esta etapa del proceso de extracción de la información, a veces es subestimada, sin embargo es esencial ya que la integridad de la información es el requisito previo más importante para un análisis eficaz. La Analytics Business Suite y el motor de ibs Analytics proponen un motor de limpieza desarrollado por el laboratorio de investigación Analítica de Soft Solutions, basado en técnicas avanzadas de extracción de datos para detectar y corregir los datos erróneos y así asegurar la coherencia de los datos para las etapas posteriores del proceso de extracción de la información (previsión, optimización).

EL IMPACTO DE LOS DATOS ATÍPICOS

Los datos atípicos representan información considerablemente diferente de las otras. Esta noción fue ampliamente discutida en el sector de la gran distribución desde el lanzamiento de la minería de datos En efecto, esta definición es totalmente subjetiva pero el impacto de un dato excepcional dentro de un conjunto de datos puede influir completamente el análisis. Es un dato considerablemente diferente de los otros, que merece un procesamiento específico. En este ejemplo arriba que muestra el nivel semanal de las ventas de un artículo en una tienda, el impacto de un dato excepcional único falsea completamente el modelo de tendencia de las ventas.

Desde una “evolución lógica” (el dato excepcional excluido) de un aumento de 22% durante el periodo, los cambios de modelo acarrean una reducción de 15% cuando se considera al dato excepcional.

El impacto de tal efecto puede cambiar ampliamente el análisis y la necesidad de identificar los datos excepcionales es evidente .

DETECTAR Y CORREGIR LOS DATOS ATÍPICOS

Para identificar los datos atípicos de manera eficaz, el motor de ibs Analytics pone en marcha un enfoque especial. En efecto, las técnicas estadísticas no permiten una detección eficaz, ya que no pueden adaptarse a todas las situaciones (un artículo puede tener un cambio importante del perfil de ventas durante el periodo histórico). Un enfoque dinámico es entonces obligatorio para realizar una identificación eficaz. ibs Analytics se basa en la densidad de las observaciones de proximidad, inspirada por [LOF - Breuning & al. 2000].

La solución fue adaptada a las especificaciones de la información de ventas y permite un proceso de detección optimizado, con la capacidad de adaptarse a la situación con los cambios en los perfiles de ventas de los artículos.

Basada en esta detección, la corrección permite aumentar la calidad de los datos de entrada. El cuadro al lado muestra la calidad de las correcciones en condiciones reales.

REFERENCIAS

Los documentos abajo son referencias muy conocidas en el sector de la gran distribución que llevaron la concepción de las soluciones de limpieza de datos de Soft Solutions: LOF: Identifying Density-Based Local Outliers. Breunig & al. 2000 LOCI: Fast Outlier Detection Using the Local Correlation Integral. Papadimitriou & al. 2002

• LOADED: Link-based Outlier and Anomaly Detection in Evolving Data Sets. Ghoting & al. 2004
• A Comparison of Outlier Detection Algorithms for Machine Learning. . Escalante & al. 2005
• A Review of Statistical Outlier Methods. . Walfish. 2007