Заявка на расчет
Меню Услуги

Практическое задание

Вид работы:
Тема:

Цель работы: научиться пользоваться инструментальными средствами анализа данных

Задача: Произвести кластеризацию документов на web ресурсе (в качестве web ресурса может выступать любой сайт)

или напишите нам прямо сейчас:

Написать в WhatsApp Написать в Telegram

ОГЛАВЛЕНИЕ

  1. Установка RapidMiner и обновление его до последней версии. 3
  2. Установка компонентов textMining и WebMining. 5
  3. Использование оператора CrawlWeb для сохранения документов на рабочий компьютер. 7
  4. Использование компонента — Process Dociment from files и различных фильтров 9
  5. Проведение кластеризации документов. 12

Цель работы: научиться пользоваться инструментальными средствами анализа данных RapidMiner

Задача: Произвести кластеризацию документов на web ресурсе

  1. Установка RapidMiner

Зайдем на веб-сайт программного продукта и скачаем установочный файл (рис.1). Окно запуска установленной версии приведено на рис.2.

Рис.1 Установка RapidMiner

Рис.2 Запуск RapidMiner

Рис.3 Интерфейс RapidMiner

  1. Установка компонентов textMining и WebMining

Зайдем в меню установки плагинов и выберем соответствующие компоненты для установки (рис.4).

Рис.4 Переход в интерфейс управления компонентами RapidMiner Studio 7.4

Установив необходимые компоненты, они будут отображаться в перечне (package is up to date). Результаты приведены на рис.5 и рис.6.

Рис.5 Результат установки компонентов в RapidMiner Studio 7.4

Рис.6 Окно просмотра установленных компонентов в RapidMiner

  1. Использование CrawlWeb для сохранения документов

В окне Operations выберем каталог Extensions-Web Mining и перетащим компонент Crawl Web в поле Process (рис.7). Установим ограничение анализа и скачивания не более 50 страниц (рис.8). В соответствующее поле введем выбранный сайт для сохранения.

Рис.7 Выбор компонента  Crawl Web

Рис.8 Конфигурация компонента  Crawl Web

Подадим выходной сигнал компонента на результирующий вход и запустим процесс (рис.9,10).

Рис.9 Соединение компонента  Crawl Web с выходом для обработки

Рис.10 Результат анализа заданного сайта с помощью компонента  Crawl Web

  1. Использование Process Dociment from files

Выберем из палитры компонентов с помощью поиска Process Documents from Files (рис.11). Зададим каталог, куда были сохранены результаты работы компонента Crawl Web (рис.12) для обработки.

Рис.11 Окно выбора компонента Process Documents from Files

Рис.12 Окно задания  пути к данным для работы компонента Process Documents from Files

Применим компонент Tokenize в составе Process Documents from Files для анализа текста (рис.13) в режиме «non letters». Добавим компонент фильтрации по длине символов (от 4 до 15), результат приведен на рис.14.

Рис.13 Применение компонента Tokenize в составе Process Documents from Files для анализа текста

Рис.14 Применение компонента фильтрации  Filter Tokens (by Length) в составе Process Documents from Files для анализа текста

Итоговый состав сконфигурированных компонентов фильтрации  в Process Documents from Files для анализа текста (фильтр по количеству символов, стоп-слов и преобразования регистра символов) приведен на рис.15.

Рис.15 Итоговый состав компонентов фильтрации  в Process Documents from Files для анализа текста

  1. Проведение кластеризации

На базе работы компонента Process Documents from Files необходимо обеспечить кластеризацию документов. Для этого найдем и подключим компонент K-means (каталог Modelling-Segmentation) (рис.16 и 17).

Рис.16 Поиск компонента кластеризации K-means

Рис.17 Результат размещение компонента кластеризации K-means

После подключения компонента запустим созданную модель, результаты отображаются в окне результатов во вкладках ExampleSet и Cluster Model (рис.18-20).

Рис.18 Вкладка просмотра информации о результатах обработки данных

Рис.19 Вкладка просмотра результатов по статистике полученной модели (часть 1)

Рис.20 Вкладка просмотра результатов по статистике полученной модели (часть 2)

Описание результатов модели кластеризации (количества документов по каждому кластеру и общего количество проанализированных материалов и другие статистические данные) приведено на рис.21-24.

Рис.21 Вкладка описания результатов модели кластеризации

Рис.22 Вкладка просмотра результатов кластеризации текстовых файлов по 2-м категориям cluster_0 и cluster_1 (часть 1)

Рис.23 Вкладка просмотра результатов кластеризации текстовых файлов по 2-м категориям cluster_0 и cluster_1 (часть 2)

Рис.24 Графическая визуализация результатов кластеризации по обработанным словам в текстовых документах

Как можно заметить, количество текста, отнесенного к 1-му кластеру (красный цвет), превышает значение 2-го кластера (синий цвет), что свидетельствует о большей степени корреляции проанализированных данных в 1-м кластере.

Это свидетельствует о том, что на анализируемом веб-ресурсе информация не является в полной степени однородной и узко-тематичной, семантика разнообразна, в чем можно удостовериться умозрительно изучив данный веб-сайт. На основании этого можно утверждать, что поставленная задача и цель работы выполнены, проведена кластеризация данных веб-сайта на базе  использования программного продукта Rapid Miner.

Прикрепленные файлы:

prakticheskoe_zadanie

rezultat_RapidMiner

или напишите нам прямо сейчас:

Написать в WhatsApp Написать в Telegram

Прикрепленные файлы:

Администрация сайта не рекомендует использовать бесплатные работы для сдачи преподавателю. Эти работы могут не пройти проверку на уникальность. Узнайте стоимость уникальной работы, заполните форму ниже: Узнать стоимость
Скачать файлы:

Комментарии

Оставить комментарий

 

Ваше имя:

Ваш E-mail:

Ваш комментарий

Валера 14 минут назад

добрый день. Необходимо закрыть долги за 2 и 3 курсы. Заранее спасибо.

Иван, помощь с обучением 21 минут назад

Валерий, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Fedor 2 часа назад

Здравствуйте, сколько будет стоить данная работа и как заказать?

Иван, помощь с обучением 2 часа назад

Fedor, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Алина 4 часа назад

Сделать презентацию и защитную речь к дипломной работе по теме: Источники права социального обеспечения

Иван, помощь с обучением 4 часа назад

Алина, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Алена 7 часов назад

Добрый день! Учусь в синергии, факультет экономики, нужно закрыт 2 семестр, общ получается 7 предметов! 1.Иностранный язык 2.Цифровая экономика 3.Управление проектами 4.Микроэкономика 5.Экономика и финансы организации 6.Статистика 7.Информационно-комуникационные технологии для профессиональной деятельности.

Иван, помощь с обучением 8 часов назад

Алена, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Игорь Петрович 10 часов назад

К утру необходимы материалы для защиты диплома - речь и презентация (слайды). Сам диплом готов, пришлю его Вам по запросу!

Иван, помощь с обучением 10 часов назад

Игорь Петрович, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Инкогнито 1 день назад

У меня есть скорректированный и согласованный руководителем, план ВКР. Напишите, пожалуйста, порядок оплаты и реквизиты.

Иван, помощь с обучением 1 день назад

Инкогнито, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Илья 1 день назад

Здравствуйте) нужен отчет по практике. Практику прохожу в доме-интернате для престарелых и инвалидов. Все четыре задания объединены одним отчетом о проведенных исследованиях. Каждое задание направлено на выполнение одной из его частей. Помогите!

Иван, помощь с обучением 1 день назад

Илья, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Alina 2 дня назад

Педагогическая практика, 4 семестр, Направление: ППО Во время прохождения практики Вы: получите представления об основных видах профессиональной психолого-педагогической деятельности; разовьёте навыки использования современных методов и технологий организации образовательной работы с детьми младшего школьного возраста; научитесь выстраивать взаимодействие со всеми участниками образовательного процесса.

Иван, помощь с обучением 2 дня назад

Alina, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Влад 3 дня назад

Здравствуйте. Только поступил! Операционная деятельность в логистике. Так же получается 10 - 11 класс заканчивать. То-есть 2 года 11 месяцев. Сколько будет стоить семестр закончить?

Иван, помощь с обучением 3 дня назад

Влад, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Полина 3 дня назад

Требуется выполнить 3 работы по предмету "Психология ФКиС" за 3 курс

Иван, помощь с обучением 3 дня назад

Полина, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Инкогнито 4 дня назад

Здравствуйте. Нужно написать диплом в короткие сроки. На тему Анализ финансового состояния предприятия. С материалами для защиты. Сколько будет стоить?

Иван, помощь с обучением 4 дня назад

Инкогнито, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Студент 4 дня назад

Нужно сделать отчёт по практике преддипломной, дальше по ней уже нудно будет сделать вкр. Все данные и все по производству имеется

Иван, помощь с обучением 4 дня назад

Студент, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Олег 5 дня назад

Преддипломная практика и ВКР. Проходила практика на заводе, который занимается производством электроизоляционных материалов и изделий из них. В должности менеджера отдела сбыта, а также занимался продвижением продукции в интернете. Также , эту работу надо связать с темой ВКР "РАЗРАБОТКА СТРАТЕГИИ ПРОЕКТА В СФЕРЕ ИТ".

Иван, помощь с обучением 5 дня назад

Олег, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Анна 5 дня назад

сколько стоит вступительные экзамены русский , математика, информатика и какие условия?

Иван, помощь с обучением 5 дня назад

Анна, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Владимир Иванович 5 дня назад

Хочу закрыть все долги до 1 числа также вкр + диплом. Факультет информационных технологий.

Иван, помощь с обучением 5 дня назад

Владимир Иванович, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Василий 6 дней назад

сколько будет стоить полностью закрыть сессию .туда входят Информационные технологий (Контрольная работа, 3 лабораторных работ, Экзаменационный тест ), Русский язык и культура речи (практические задания) , Начертательная геометрия ( 3 задачи и атестационный тест ), Тайм менеджмент ( 4 практических задания , итоговый тест)

Иван, помощь с обучением 6 дней назад

Василий, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф

Марк неделю назад

Нужно сделать 2 задания и 1 итоговый тест по Иностранный язык 2, 4 практических задания и 1 итоговый тест Исследования рынка, 4 практических задания и 1 итоговый тест Менеджмент, 1 практическое задание Проектная деятельность (практикум) 1, 3 практических задания Проектная деятельность (практикум) 2, 1 итоговый тест Проектная деятельность (практикум) 3, 1 практическое задание и 1 итоговый тест Проектная деятельность 1, 3 практических задания и 1 итоговый тест Проектная деятельность 2, 2 практических заданий и 1 итоговый тест Проектная деятельность 3, 2 практических задания Экономико-правовое сопровождение бизнеса какое время займет и стоимость?

Иван, помощь с обучением неделю назад

Марк, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@дцо.рф