СОДЕРЖАНИЕ
Список сокращений
Введение
1 Теоретические аспекты интеллектуального анализа данных
1.1 Основные понятия Data Mining
1.2 Анализ методов Data Mining
1.3 Обзор инструментальных средств интеллектуального анализа данных
1.3.1 QlikView
1.3.2 Power BI
1.3.3 Tableau
2 Применение неиерархического метода кластеризации и методов визуализации для интеллектуального анализа данных средствами Tableau
2.1 Сущность алгоритмов кластеризации и методов визуализации в анализе данных
2.2 Процесс кластеризации в среде Tableau
2.3 Процесс визуализации в среде Tableau
3 Интеллектуальный анализ продаж в среде Tableau
3.1 Подключение источника данных
3.2 Кластерный анализ продаж
3.3 Анализ динамики продаж
3.4 Прогнозирование
3.5 Комплексный анализ продаж
Заключение
Список использованных источников
Список сокращений
SAS Statistical Analysis System
IBM International Business Machines
SQL Structured Query Language
SAP Systems, Applications and Products
ETL Extract, Transform, Load
BI Business intelligence
ПО Программное обеспечение
ОС Операционная система
Введение
За последние пару десятилетий мы стали свидетелями повсеместного распространения новейших информационных технологий и их внедрения в различные области социальной и экономической сфер. Всё это вкупе с наличием свободного доступа к сети Интернет привело к огромному росту объёма информации, производимой человеком.
Только за пару дней человечество сегодня производит столько информации, сколько было создано за всё время существования Земли вплоть до нынешнего тысячелетия. По утверждениям исследовательских компаний, сейчас объём данных на планете удваивается каждые пару лет.
Из-за огромного количества существующей информации, лишь малая её часть будет увидена человеческим глазом, и, как следствие, значительные объёмы практичной и полезной информации просто пройдут мимо. Это приводит нас к пониманию важности проблем, сопряжённых с анализом накопленных данных для извлечения новых знаний.
Наша единственная возможность понять и найти что-то полезное в таком многообразии данных – это широкое применение методов интеллектуального анализа данных. Интеллектуальный анализ данных широко используется во многих областях с большим объёмом данных. В науке – биологии, медицине, астрономии и других сферах деятельности. В бизнесе – в первую очередь в торговле, телекоммуникации, промышленном производстве и других.
Актуальность использования интеллектуального анализа данных в бизнесе связана с жесткой конкуренцией, возникшей вследствие перехода от «рынка производителя» к «рынку потребителя». В этих условиях особенно важно качество и обоснование принимаемых решений, что требует строгого количественного анализа имеющихся данных. При работе с большими объемами накапливаемой информации необходимо постоянно оперативно отслеживать динамику рынка, а это практически невозможно без автоматизации аналитической деятельности.
В настоящее время проблема контроля финансов на промышленном предприятии является очень серьезной. Можно сказать, что современные системы управления финансами необходимо постоянно обновлять после стадии разработки, начиная с простейшего расчета резервов и производственных мощностей вручную и заканчивая новейшими компьютерными методами автоматизации. Поскольку современная экономика выступает за совершенно иную идею управления промышленными предприятиями, необходимо пересмотреть научные и практические стратегические вопросы повышения эффективности управления финансовой стабильностью.
Объектом исследования: методы и инструментальные средства интеллектуального анализа данных.
Предметом исследования является методы кластеризации и визуализации в анализе продаж.
Целью выпускной квалификационной работы является реализация применения методов кластеризации и визуализации для интеллектуального анализа продаж на производственном предприятии.
Для реализации указанной цели следует решить ряд задач:
- рассмотреть технологию интеллектуального анализа и его методы;
- изучить и выбрать инструментальные средства;
- рассмотреть использование методов, в выбранном инструментальном средстве;
- провести анализ продаж на производственном предприятии, используя методы интеллектуального анализа.
Выпускная квалификационная работа состоит из введения, трёх глав, заключения и списка использованных источников. Включает в себя 68 рисунков.
Информационную базу выпускной квалификационной работы составляет выборка из переработанных данных продаж предприятия «Coca-Cola HBC Eurasia».
Выпускная квалификационная работа состоит из введения, трёх глав, заключения и списка использованных источников.
Во введении обоснована актуальность темы, определены: объект, предмет, цель и задачи исследования.
В первой главе рассматриваются теоретические основы интеллектуального анализа, методы и алгоритмы, и инструментальные средства.
Во второй главе рассмотрена сущность алгоритмов кластеризации и методов визуализации, а также их использование в среде Tableau.
В третьей главе проведён интеллектуальный анализ продаж на производственном предприятии в среде Tableau.
Теоретические аспекты интеллектуального анализа данных
Основные понятия Data Mining
Data Mining имеет множество понятий, часть из которых мы рассмотрим ниже.
Data Mining — мультидисциплинарная область, возникшая и развивающаяся на базе таких наук как прикладная статистика, распознавание образов, искусственный интеллект, теория баз данных, алгоритмизация, визуализация и других.
Data Mining — это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей.
Data Mining — это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности (Григорий Пиатецкий-Шапиро) [7].
Суть и цель технологии Data Mining можно охарактеризовать так: это технология, которая предназначена для поиска в больших объемах данных неочевидных, объективных и полезных на практике закономерностей [1].
Неочевидных – от того, что стандартные пути в выявлении закономерности бесполезны.
Объективных – это означает, что обнаруженные закономерности будут соответствовать действительности и при этом не будут субъективными как это, было бы, будь они экспертными [3].
Практически полезных – что означает применимость последующего результата в реальной жизни на практике.
Знания – это определенный набор данных о том или ином предмете или области, знания могут быть ложными и истинными. Ложные знания подразумевают под собой недостоверные сведенья, а истинные напротив является достоверными. Знания должны описывать новые связи между свойствами, предсказывать значения одних признаков на основе других.
Существуют и другие определения понятия Data Mining.
Data Mining — это процесс выделения, исследования и моделирования больших объемов данных для обнаружения неизвестных до этих структур с целью достижения преимуществ в бизнесе (определение SAS Institute) [8
Data Mining – это поиск скрытых закономерностей, выявление причинно-следственных связей, анализ рисков.
Data Mining – объединение различных механизмов, ориентированных на решение 5 классов задач: регрессия, классификация, кластеризация, ассоциация, последовательность.
- регрессия – установление зависимости непрерывных выходных переменных от входных значений.
- классификация – это отнесение объектов к одному из заранее известных классов.
- кластеризация – объекты внутри кластера должны быть «похожими» друг на друга и отличаться от объектов, вошедших в другие кластеры.
- ассоциация – нахождение зависимости, что из события X следует событие Y.
- последовательность – установление зависимостей между связанными во времени событиями [8].
Data Mining – один из немногих способов, с помощью которых можно прогнозировать и моделировать различные процессы, что позволяет нам проводить эксперименты с различными бизнес-процессами в компании без рисков потерять средства. Обычно в компаниях накапливаются огромные массивы данных, на которые при ручном расчете хотя бы одной ситуации уйдут годы или даже десятилетия [2].
В данный момент Data Mining используются практически во всех сферах деятельности человека из-за его огромных преимуществ.
Рисунок 1 иллюстрирует некоторые популярные бизнес-задачи, которые решаются алгоритмами Data Mining.
Рисунок 1 – бизнес-задачи, решаемые алгоритмами Data Mining
Анализ методов Data Mining
Новый взгляд на бизнес-процессы – следствие использования методов интеллектуального анализа, который позволяет увидеть не обнаруженные вручную скрытые закономерности и свойства у исследуемых процессов и объектов.
Метод представляет собой норму или правило, определенный путь, способ, прием решений задачи теоретического, практического, познавательного, управленческого характера [1].
Алгоритм – описание последовательных действий, направленных на получение искомого результата.
Методы Data Mining можно классифицировать на статистические и кибернетические [5].
Статистические методы Data Mining можно классифицировать на 4 группы:
- дескриптивный анализ и описание исходных данных;
- анализ связей (корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ);
- многомерный статистический анализ (компонентный анализ, дискриминантный анализ, многомерный регрессионный анализ, канонические корреляции и др.);
- анализ временных рядов (динамические модели и прогнозирование).
Кибернетические методы Data Mining
Второе направление Data Mining – это множество подходов, объединенных идеей искусственных компьютерных сетей.
К этой группе относятся такие методы:
- искусственные нейронные сети (распознавание, кластеризация, прогноз);
- эволюционное программирование (в том числе алгоритмы метода группового учета аргументов);
- генетические алгоритмы (оптимизация);
- ассоциативная память (поиск аналогов, прототипов);
- нечеткая логика;
- деревья решений;
- системы обработки экспертных знаний [5].
Нейронные сети являются самообучающимся алгоритмом, учитывающим взаимное влияние вклада каждого фактора в финальный результат, который определяется автоматически.
Нейронные сети основаны на имитации человеческого мозга. Они способны не только выполнять однажды запрограммированную последовательность действий над заранее определенными данными, но и сами анализировать вновь поступающую информацию. Эффективная постройка нелинейных зависимостей, которые более точно описывают наборы данных по сравнению с линейными методами постройки, являются основным достоинством нейронных систем [13].
Основными направлениями использования нейронных сетей являются: распознавания образов, прогнозирование, адаптивное управление, создание экспертных систем, организация ассоциативной памяти, обработка аналоговых и цифровых сигналов.
Деревья решений – это древовидная иерархическая модель, где в каждом узле производится проверка определенного атрибута (признака) с помощью правила. Отображена на рисунке 2.
Рисунок 2 – дерево решений
По результатам проверки формируются два или более дочерних узла, в которые попадают объекты, для которых значения данного атрибута удовлетворяют (или не удовлетворяют) правилу в родительском узле.
Под правилом понимается логическая конструкция, представленная в виде «если …, то …» [10].
Достоинствами алгоритма является простота интерпретации полученных результатов и автоматический выбор алгоритмом наиболее значимых факторов.
Недостатком является низкая точность данных.
С помощью метода дерево решений решаются задачи классификации и прогнозирования.
Если зависимая, т.е. целевая переменная принимает дискретные значения, при помощи метода дерева решений решается задача классификации.
Если же зависимая переменная принимает непрерывные значения, то дерево решений устанавливает зависимость этой переменной от независимых переменных, т.е. решает задачу численного прогнозирования.
Логистическая регрессия – разновидность множественной регрессии, предназначенная для классификации записей на основании значений входных полей. При этом выходная переменная является категориальной или бинарной.
В бинарной классификации каждый объект или наблюдение должны быть отнесены к одному из двух классов (например, А и Б). Тогда с каждым исходом связано событие: объект принадлежит к классу А и объект принадлежит к классу Б. Результатом будет оценка вероятности соответствующего исхода. Если в процессе анализа будет установлено, что вероятность принадлежности объекта с заданным набором значений признаков (входных переменных) к классу А больше, чем вероятность его принадлежности к классу Б, то он будет классифицирован, как объект класса А.
Логистическую регрессию и ROC-анализ почти всегда можно увидеть в наборе Data Mining алгоритмов, поскольку является эффективным инструментом оценки качества моделей [11].
Обзор инструментальных средств интеллектуального анализа данных
На рынке программного обеспечения Data Mining существует огромное разнообразие продуктов, относящихся к этой категории. И не растеряться в нем достаточно сложно. Для выбора продукта следует тщательно изучить задачи, поставленные перед аналитиком, и обозначить те результаты, которые необходимо получить [14].
На рисунке 3 представлены основные сегменты рынка программного обеспечения в области интеллектуального анализа данных.
Рисунок 3 – рынок программного обеспечения в области интеллектуального анализа данных
Статистические пакеты с возможностями Data Mining и настольные Data Mining пакеты ориентированы в основном на профессиональных пользователей. Их отличительные особенности [8]:
- слабая интеграция с промышленными источниками данных;
- бедные средства очистки, предобработки и трансформации данных;
- отсутствие гибких возможностей консолидации информации, например, в специализированном хранилище данных;
- конвейерная, поточная обработка новых данных затруднительна или реализуется встроенными языками программирования и требует высокой квалификации;
- из-за использования пакетов на локальных рабочих станциях обработка больших объемов данных затруднена.
Статистические пакеты широко распространены. В зависимости от постановки задачи настольные пакеты интеллектуального анализа могут быть направлены как на решение одной задачи, например кластеризация, так и всех классов задач. Обширные возможности алгоритмов, предоставляемые данными пакетами, достаточны для решения исследовательских задач. Существует немало свободно распространяемых настольных пакетов Data Mining с открытыми исходными кодами.
В качестве примеров распространенных статистических пакетов можно назвать: SAS от компании SAS Institute, IBM SPSS STATISTICS компании IBM и STATISTICA компании Statsoft. Сегмент настольных пакетов Data Mining представлен такими программами как пакет R, WEKA, KNIME, RapidMiner.
Для прикладных решений промышленного уровня используют аналитические платформы, совместно с СУБД, в которой есть возможности применения методов data mining. Такое решение эффективнее, нежели использование статистических пакетов, поскольку последние в данном случае неэффективны. На сегодняшний день все крупные производители СУБД включают в состав своих продуктов поддержку хранилищ данных вместе с средствами анализа данных. Это позволяет максимально эффективно использовать алгоритмы анализа данных и держать производительность на высоком уровне. Однако при таком решении появляется жёсткая привязка всех технологий анализа к одной СУБД, а также добавляет сложность в создании прикладных решений из-за ориентированности СУБД на программистов и администраторов баз данных.
Представителями данного класса систем являются Microsoft SQL Server Analysis Services от Microsoft Corporation, Oracle Business Intelligence компании Oracle Corporation, IBM DB2 Intelligent Miner компании IBM.
Аналитические платформы напротив, сразу направлены на анализ данных и предназначены для создания готовых решений. В аналитической платформе, как правило, всегда присутствуют гибкие и развитые средства консолидации, включающие богатые механизмы интеграции с промышленными источниками данных, инструменты очистки и преобразования структурированных данных и их последующее хранение в едином источнике в многомерном виде — в хранилище данных. Модели, описывающие выявленные закономерности, правила и прогнозы, также хранятся в специальном источнике данных — репозитарии моделей.
Сегодня аналитические платформы — это самый быстрорастущий и привлекательный сегмент рынка программного обеспечения интеллектуального анализа данных. Лидерами являются компании: SAS, SAP, IBM, Oracle, Microstrategy, Microsoft, Information Builders.
Средства графического отображения данных, специализирующиеся на функции визуализации, занимают значительную долю рынка. Примером могут служить следующие компоненты и продукты: Qlik Sense, Power BI, Tableau.
В данных системах преобладает удобство и простота использования интерфейса, с помощью которого возможно быстро составлять нужные графики, ассоциируя с анализируемыми показателями различные параметры диаграммы. К таким параметрам относятся цвет, форма, ориентация относительно собственной оси, размеры и другие свойства графических элементов изображения. Дополнительно средства визуализации данных снабжены удобными средствами для масштабирования и вращения изображений, в том числе на различные мобильные программные платформы.
Инструментальное средство будет выбираться из группы аналитической платформы, специализирующееся на графическом отображении данных.
QlikView
QlikView — платформа, которая концентрируется на пользователе, как на получателе данных. Она позволяет ему исследовать свои данные по тем же принципам, что и разработчик, который занимается их обработкой. При этом, чтобы поддерживать гибкость в своем подходе к изучению и визуализации данных, система сохраняет связи между данными. Это позволяет пользователю вместе с куском данных, который он хотел найти, достать и другую релевантную информацию, которая также будет полезна [21].
QlikView есть возможность тонкой настройки любого объекта, благодаря чему можно настроить графики и дашборды так, как нужно пользователю.
Собственная разработка – ассоциативная модель данных, позволяет сохранять таблицы в оперативной память, благодаря чему данные обрабатываются с высокой скоростью, а любое значение из одной таблицы со всеми значениями из других таблиц. Внутрь QlikView встроен ETL, позволяющий обрабатывать и очищать данные.
С помощью большого количества функций, при правильной настройке, возможно создать продвинутые дашборды на основе данных из разных источников. Например, есть такая функция, ускоряющая процесс создания дашбордов и отчётов, за счёт исключения человеческого вмешательства, а именно самостоятельного автоматического распознавания связей между данными.
Также присутствует техника сжатия данных до десяти процентов от изначального размера, что позволяет увеличить скорость обработки и анализа данных и сократить количество места, требуемого оперативной памятью [20].
Для уверенной работы в QlikView, необходимо изучение собственного языка данной программы, и продвинутое умение писать SQL запросы, поскольку отчёты и графики создаются не просто.
Стоимость подписки у данного продукта одна из самых высоких и запутанных, в отличие от конкурентов.
Плюсы и минусы QlikView отображены на рисунке 4:
Рисунок 4 – плюсы и минусы QlikView
Power BI
Power BI — это онлайн-сервис, разработанный Microsoft для бизнес-аналитики с возможностью подключения различных источников данных и сторонних приложений. Платформа обладает веб-интерфейсом, позволяющим создавать кастомизированные визуализации, а с помощью настольного приложения можно проводить стандартизацию и очистку данных. Также существует мобильная версия Power BI, доступная на различных ОС, чтобы принимать решения на ходу [19].
Из особенностей Power BI отметим стилизованный под Excel интерфейс со своими доработками, который изначально планировался расширить функциональность MS Excel. Тесная связь с главными продуктами компании обусловлена принадлежностью к Microsoft [9].
Бесплатная базовая версия присутствует, срок использования которой составляет 60 дней. Присутствует поддержка большого количества способов импорта данных, простое API для интеграции в другие приложения, возможность наблюдать в реальном времени за изменением данных на интерактивных дашбордах м возможностью делиться ими разными способами. Из приятных особенностей – присутствие кроссплатформенности.
Удобство использования обусловлено простотой создания визуализаций, где нужно лишь переместить необходимый элемент на пустое место в отчёте или дашборде. Аналогично и с данными. Такой метод работы с данными называется drag-and-drop, что в переводе на русский язык означает перетащи и брось.
Присутствует бесплатная версия с ограничениями на лимит памяти в 1 гигабайт и скоростью обработки потоковых данных до 10 тыс. строк в час. Обновление и совместная работа над отчётами отсутствуют.
Коммерческая версия Power BI Pro стоит 9,99$ за одного пользователя в месяц. Лимиты поднимаются до 10 Гб на человека и скоростью в 1 млн строк/час. Включаются все несколько дополнительных функций, например каталог данных и продвинутые инструменты совместной работы.
Плюсы и минусы Power BI показаны на рисунке 5:
Рисунок 5 – плюсы и минусы Power BI
Tableau
Tableau специализируется на анализе данных через их визуализацию. В нем легко создавать интерактивные дашборды, которые позволяют изучить динамику, тренды и структуру данных, с помощью удобных и простых, но не менее эффективных графиков [22].
Средства доступные для подключения к Tableau изображены на рисунке 6:
Рисунок 6 – средства доступные для подключения к Tableau
Особенность Tableau заключается в комбинировании данных из разных баз данных и источников, вкупе с высоким многообразием визуализации, позволяющей достигнуть высокого уровня понимания данных [23].
Одновременная работа нескольких пользователей над отчётом в реальном времени – удобная функция, позволяющая повысить эффективность работы.
Делиться отчётами можно с помощью трёх способов: по ссылке, через встроенный e-mail Tablue Reader или же публикуя на сервере этого приложения.
Данная платформа легка в использовании за счёт интуитивного восприятия интерфейса и многочисленным видеоурокам выкладываемых на просторах сети интернет.
За счёт интеграций с: R, Python и MATLAB, возможности Tableau возрастают многократно, устраняя недостатки данной платформы.
В связи с недавними изменениями приобрести Tableau Desktop для себя не выйдет, однако теперь можно приобрести подписку Tableau Creator, которая включает Tableau Desktop, Tableau Prep и лицензию Creator на Tableau Online или Tableau Server. Для физических лиц цена подписки составляет 70 долларов в месяц, оплачивается ежегодно (840 долларов). Виды подписок для команд и организаций можно наблюдать на рисунке 7:
Рисунок 7 – виды подписок для команд и организаций
Плюсы и минусы Tableau отображены на рисунке 8:
Рисунок 8 – плюсы и минусы Tableau