Browse by Solutions
Framework

ibs Analytics

Определение И Анализ Информации

Первым шагом любого поиска и анализа информации является проверка целостности данных, выявление удаленных (периферийных) данных и их исправление.

“В МИРЕ НАУКИ НИ ОДИН САМЫЙ ЛУЧШИЙ МЕТОД НЕ ПОЗВОЛИТ ПОЛУЧИТЬ ТОЧНЫЕ РЕЗУЛЬТАТЫ, ЕСЛИ ВВОДИМЫЕ ДАННЫЕ НЕ БЫЛИ ТОЧНЫ”

ibs Analytics включает, в дополнение к классическому процессу интеграции данных (формат, тип данных, бизнес правила), специализированный модуль по анализу данных, фокусирующийся на выявлении отклоняющихся значений и их исправлении.

Процесс поиска информации иногда недооценивают, однако он является крайне важным, так как целостность информации является наиболее важным предварительным условием для эффективного анализа. Analytics Business Suite и инструмент ibs Analytics вводят в действие инструмент очистки, разработанный исследовательской лабораторией Soft Solutions Analytics на основе современных методов интеллектуального анализа данных для выявления отклоняющихся данных и на основе локального вывода для их исправления и, следовательно, обеспечения целостности данных для дальнейших шагов процессов поиска информации (прогноз, оптимизация…).

ВЛИЯНИЕ ОТКЛОНЯЮЩЕЙСЯ ИНФОРМАЦИИ

Отклоняющиеся данные (определённые как отклонения) является такой информацией, которая значительно отличается от других данных.
Это понятие широко обсуждается в литературе с ростом интеллектуального анализа данных. В самом деле, это определение является весьма субъективным, но выявление влияния отклонения в наборе данных может полностью исказить полученный анализ. Отклонение не является ошибкой в данных.


Смысл только в том, что эти данные значительно

ibs Analytics - Definition & Analysis of the Information ibs Analytics - Definition & Analysis of the Information

отличаются от других, и требуют особой интерпретации. В приведенном выше примере показан еженедельный уровень продаж товара в магазине, влияние относящегося к нему отклонения полностью смещает модель тренда продаж.
Из "логического развития" (без учета отклонения) рост составил на 22% больше по сравнению с предыдущим периодом, при рассмотрении модели без учета отклонения, наблюдается снижение в размере 15%.

Воздействие такого смещения может сильно изменить анализ, проведенный на его основе, а также становится очевидной необходимость определения отклонений.

ВЫЯВЛЕНИЕ И УСТРАНЕНИЕ ОТКЛОНЕНИЙ

Для того чтобы эффективно выявлять отклонения, инструмент ibs Analytics использует особый подход. В действительности, статистические методы не позволяют осуществлять эффективное обнаружение, поскольку они не могут учитывать "масштаба" всех ситуаций (товар может иметь широкие изменения в профиле продаж в рамках исторического периода). Таким образом, динамический подход является обязательным для достижения эффективной идентификации.

Модель, внедряемая ibs Analytics, основана

ibs Analytics - Definition & Analysis of the Information ibs Analytics - Definition & Analysis of the Information


на плотности приближенных («соседних») наблюдений. Она была адаптирована к специфике информации о продажах и позволяет оптимизировать процесс обнаружения отклонений, с возможностью учитывать ситуацию с изменениями в продажах товаров.

На основании этого заключения, поправки позволяют повысить качество входных данных. Таблица показывает качество поправок в реальных условиях.

ССЫЛКИ

Ниже представлены ссылки на литературу, которая использовалась Soft Solutions при разработке решений по очистке данных:



  • LOF: Identifying Density-Based Local Outliers. Breunig & al. 2000
  • LOCI: Fast Outlier Detection Using the Local Correlation Integral. Papadimitriou & al. 2002
ibs Analytics - Definition & Analysis of the Information
ibs Analytics - Definition & Analysis of the Information ibs Analytics - Definition & Analysis of the Information
  • LOADED: Link-based Outlier and Anomaly Detection in Evolving Data Sets. Ghoting & al. 2004
  • A Comparison of Outlier Detection Algorithms for Machine Learning. Escalante & al. 2005
  • A Review of Statistical Outlier Methods. Walfish. 2007


Наше видение
Наши Pешения
Сервис и поддержка
Клиенты и Партнеры
HR и карьера
Наша компания
Наше видение
Наши Pешения
Сервис и поддержка
Клиенты и Партнеры
HR и карьера
Наша компания