1 2
2. ПРАКТИЧЕСКАЯ ЧАСТЬ
2.1. СБОР СЕТЕВЫХ ПРОФИЛЕЙ
2.1.1. СБОР РЕЗЮМЕ
Рекрутмент – это процесс привлечения, отбора и подбора квалифицированных специалистов для работы. HeadHunter — крупнейшая российская компания интернет-рекрутмента. Клиентами HeadHunter являются порядка одного миллиона компаний. Обширная база кандидатов HeadHunter содержит более чем 30 миллионов резюме, а среднее дневное количество вакансий превышает 450 тыс. HeadHunter занимает третье место в мире по популярности среди порталов по поиску работы и сотрудников. Официальный сайт компании — hh.ru.
У сайта hh.ru существует публичный API [16], c помощью которого можно получать информацию о соискателях и компаниях, а также использовать функциональность HeadHunter для сторонних сайтов или приложений.
Для поискового запроса по названию профессии API возвращает массив json-объектов, каждый json-объект содержит данные из резюме соискателя. Пример json-объекта с полями резюме:
«photo»:»URL»,
«salary»:{
«currency»:»RUR»,
«amount»:30000
«title»:»Секретарь»,
«area»:{
«url»:»https://api.hh.ru/areas/1«,
«id»:»1″,
«name»:»Москва»
«published_at»:»2013-07-08T16:17:21+0400″,
«employer»:{
«logo_urls»:{
«90»:»https://hh.ru/employer-logo/289027.png«,
«240»:»https://hh.ru/employer-logo/289169.png«,
«original»:»https://hh.ru/file/2352807.png»
«name»:»HeadHunter»,
«url»:»https://api.hh.ru/employers/1455«,
«id»:»1455″,
«trusted»:true
«address»:{
«city»:»Москва»,
«street»:»улица Годовикова»,
«building»:»9с10″,
«description»:»на проходной потребуется паспорт»,
«lat»:55.807794,
«lng»:37.638699,
«metro_stations»:
«station_id»:»6.8″,
«station_name»:»Алексеевская»,
«line_id»:»6″,
«line_name»:»Калужско-Рижская»,
«lat»:55.807794,
«lng»:37.638699
«department»:{
«id»:»HH-1455-TECH»,
«name»:»HeadHunter::Технический департамент»
«type»
«id»:»open»,
«name»:»Открытая»
«id»:»8331228″,
«has_test»:true,
«response_url»:null,
«snippet»
«requirement»:»Высшее образование. Опыт работы в качестве <highlighttext>секретаря</highlighttext>, офис-менеджера. Знание делопроизводства, документооборота. Коммуникативные навыки.»,
«responsibility»:»Документооборот (регистрация, отправка, контроль исполнения писем, ведение протоколов, отчетность). Распределение корреспонденции. Прием и распределение телефонных звонков.»
Для построения сетевых профилей, в ходе сбора, из резюме извлекались следующие данные:
- Фотография.
- Дата рождения.
- Пол.
- Место жительства.
- Сведения о высшем образовании.
- Сфера деятельности.
- Название профессии.
- Желаемая зарплата.
- Опыт работы.
- Сведения о предыдущих местах работы.
- График работы.
- Тип занятости.
Поле сфера деятельности может принимать одно из следующих значений:
- IT телеком.
- Бухгалтерия.
- Маркетинг.
- Админ. персонал.
- Банки.
- Управление персоналом.
- Авто.
- Безопасность.
- Топ-менеджер.
- Добыча сырья.
- Искусство медиа.
- Консультирование.
- Медицина.
- Наука и образование.
- Начало карьеры.
- Госслужба.
- Продажи.
- Производство.
- Страхование.
- Строительство.
- Транспорт.
- Туризм, рестораны.
- Юриспруденция.
- Спорт фитнес.
- Инсталляция.
- Закупи.
- Домашний персонал.
- Рабочий персонал.
Поле занятость может принимать одно или несколько из следующих значений:
- Полная занятость.
- Частичная занятость.
- Проектная работа.
- Волонтерство.
- Стажировка.
Поле график работы может принимать одно или несколько из следующих значений:
- Полный день.
- Сменный график.
- Гибкий график.
- Удаленная работа.
- Вахтовый метод.
Сбор резюме проходил в 2018 году. Были использованы запросы, по заранее составленному словарю профессий: менеджер, программист, бухгалтер, инженер, слесарь и т.д.
Всего было собрано 10566 различных резюме людей различного возраста, с различным местом жительства, опытом работы и т.д.
Публично доступный профиль соискателя на hh.ru не предоставляет информацию о ФИО. Но содержит фото и точные данные о месте жительства, образовании, поле и дате рождения, чего достаточно для поиска страницы соискателя в социальных сетях.
2.1.2. OPENFACE
Torch — это библиотека машинного обучения с открытым исходным кодом, научная вычислительная среда и язык сценариев, основанный на языке Lua. OpenFace — это библиотека для распознавания лиц, реализованная на языке Python [24], с использованием Torch [21].
OpenFace преобразует изображение с лицом человека в вектор, embedding, на гиперсфере в евклидовом пространстве с размерностью 128 [23]. Такое представление обладает полезным свойством, заключающимся в том, что расстояние между векторами можно использовать как меру сходства двух лиц. Это свойство позволяет решать задачи кластеризации, обнаружения сходства и классификации намного проще, чем с использованием других методов распознавания, в которых евклидово расстояние между объектами не имеет смысла.
Рис 2.1 Процесс работы с OpenFace
Процесс работы с библиотекой выглядит следующим образом (см. рис. 2.1):
- Передача входного изображения.
- Обнаружение лица на входном изображении с помощью предварительно обученной модели, взятой из библиотеки dlib или OpenFace.
- Извлечение обнаруженного лица из входного изображения.
- Преобразование извлеченного лица в вектор, embedding.
- Использование полученного вектора, embedding’а, для выполнения задачи кластеризации, обнаружения сходства или классификации.
2.1.3. СБОР СТРАНИЦ ВО ВКОНТАКТЕ
ВКонтакте – это российская социальная сеть, среднесуточная аудитория которой составляет более 80 миллионов посетителей, а всего зарегистрировано более 460 миллионов. На сентябрь 2019 года сайт ВКонтакте занимал 12 место по популярности в мире. Официальный сайт vk.com.
У сайта vk.com существует публичный API [26], с помощью которого можно выполнять вход на страницу и поисковые запросы, а также получать данные со страниц пользователей.
Использование информации только о Месте жительства, образовании, поле и дате рождения задает достаточно широкий коридор для поиска во ВКонтакте необходимой страницы, в среднем 10-20 страниц на каждый запрос.
Для решения этой проблемы было реализовано сопоставление фотографий резюме и профиля социальной сети при помощи библиотеки OpenFace. В качестве результирующей страницы для резюме выбиралась та, для которой разница между векторами embeddings для фото страницы и резюме была меньше 0.1 и являлась минимальной.
Метод с сопоставлением лиц имеет высокую точность, но низкую полноту. Всего удалось сопоставить 2692 резюме, из изначальных 10566, со страницами ВКонтакте.
Полученные профили были дополнены следующими данными из ВКонтакте:
- ФИО.
- Дата рождения.
- Пол.
- Место жительства.
- Сведения о высшем образовании.
- Информация о группах, в которых состоит пользователь.
- Информация о друзьях.
- Аналогичная информация для друзей.
2.2. ВЫЧИСЛЕНИЕ EMBEDDINGS
Изначально для построения социального графа, по которому вычислялись embeddings, из ВКонтакте для полученных профилей предполагалось собрать информацию обо всех страницах друзей (друзья первого уровня) и обо всех страницах друзей их друзей (друзья второго уровня).
В виду ограничений по имеющимся аппаратным ресурсам, информация о друзьях второго уровня не была использована для вычислений. Но информация о том, с кем они дружат, помогла дополнить итоговый граф связями между друзьями первого уровня.
Максимальное количество друзей у страницы не может быть больше 10000, это ограничение социальной сети.
По гистограмме видно, что примерно у 10% страниц количество друзей больше 3000. Вершины этих страниц и их связи увеличивают исходный граф примерно в два раза. Зачастую такие страницы не содержат полезной информации, т.к. являются мостами между остальными частями графа. Это либо фейковые страницы, либо страницы различных компаний, поставляющих определенные услуги. По этим причинам страницы с количеством друзей больше 3000 будут удалены из исходного графа.
До удаления мостов из исходного графа, главная компонента связности составляла 92,20%.
Итоговый граф состоит из 403 624 вершин (полученные профили и друзья первого уровня) и 2 233 946 связей. Размер файла с итоговым графом в формате csv составляет 4,17 гигабайт.
Для вычисления embeddings по итоговому графу использовалась библиотека SNAP [22], реализованная на языке Си.
По графу была выполнена серия случайных блужданий с началом в каждой вершине каждого полученного профиля. Размерность результирующего вектора была подобрана экспериментально, ее значение равно 100. Длина пути равна 20 переходам.
2.3. ПОДГОТОВКА ДАННЫХ
2.3.1. АНОНИМИЗАЦИЯ ПРОФИЛЕЙ
В связи со стремительным развитием и массовым распространением социальных сетей работа с данными, извлекаемыми из них, считается новым, перспективным, но пока мало изученным направлением. Кроме того, эстетические и правовые вопросы использования данных из социальных сетей не проработаны в полной мере [8].
Таким образом, с одной стороны, данные, извлекаемые из социальных сетей, дают новые возможности для развития науки, а с другой – ставят под сомнение правомерность и этичность их использования.
Основная проблема заключается в том, что нарушается главный эстетический принцип – добровольное участие в исследовании [8]. Также возникает риск вторжения в личную жизнь пользователей, чьи данные были собраны в ходе исследования.
Чтобы не допустить вторжения в личную жизнь пользователей, чьи данные были собраны в ходе текущего исследования, была произведена анонимизация собранных профилей.
Из профилей были удалены фотографии, ФИО, данные о предыдущих местах работы и о друзьях. Даты рождения заменены на возраст.
Из данных о месте жительства были отобраны только названия городов и областей, к которым они относятся, а из сведений о высшем образовании только название высшего учебного заведения. Данные о месте жительства и высшем образовании были прокодированы, подробнее в разделе 2.3.2.
2.3.2. КОДИРОВАНИЕ ДАННЫХ ПРОФИЛЕЙ
К категориальным признакам относятся: пол, город или название области, название учебного заведения, название профессии, сфера деятельности, график работы, тип занятости.
Город и название области были прокодированы в соответствии с рейтингом крупнейших по населению городов России, ссылка на рейтинг http://www.statdata.ru/largest_cities_russia.
Названия следующих городов, а также их области в профилях были заменены на число 2:
- Москва.
- Санкт-Петербург.
Названия следующих городов, а также их области в профилях были заменены на число 1:
- Новосибирск.
- Екатеринбург.
- Нижний Новгород.
- Казань.
- Челябинск.
- Омск.
- Самара.
- Ростов-на-дону.
- Уфа.
- Красноярск.
- Воронеж.
- Пермь.
- Волгоград.
Название всех остальных городов и областей были заменены на число 0.
Названия университетов были прокодированы в соответствии с рейтингом топ-100 российских вузов, по объемам реализации в рублях, ссылка на рейтинг https://expert.ru/ratings/top-100-rossijskih-vuzov-ot-ra-ekspert/.
На число 2 были заменены названия следующих вузов:
- Московский государственный университет имени М.В. Ломоносова.
- Московский государственный технический университет им. Н.Э. Баумана.
- Санкт-Петербургский государственный университет.
- Московский физико-технический институт.
- Высшая школа экономики.
- Московский энергетический институт.
- Национальный исследовательский ядерный университет “МИФИ”.
- Томский политехнический институт.
- Санкт-петербургский государственный политехнический университет.
- Новосибирский государственный университет.
На число 1 были заменены названия следующих вузов:
- Московский государственный институт международных отношений МИД России.
- Сибирский федеральный университет.
- Российский государственный университет нефти и газа им. И.М. Губкина.
- Финансовый университет при правительстве РФ.
- Томский государственный университет.
- Российская академия народного хозяйства и государственной службы.
- Национальный исследовательский технологический университет “МИСиС”.
- Казанский приволжский федеральный университет.
- Уральский федеральный университет им. Первого президента России Б.Н. Ельцина.
- Российский университет дружбы народов.
- Южный федеральный университет.
- Новосибирский государственный технический университет.
- Санкт-Петербургский государственный университет информационных технологий, механики и оптики.
- Российский экономический университет им. Г.В. Плеханова.
- Казанский технологический университет.
- Российский государственный гуманитарный университет.
- Самарский государственный университет.
- Российский медицинский университет им. Н.И. Пирогова.
- Московский государственный университет экономики, статистики и информатики.
- Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова.
- Московская международная высшая школа бизнеса “МИРБИС”.
- Национальный минерально-сырьевой университет “Горный”.
- Московский авиационный институт.
- Нижегородский государственный университет им. Н.И. Лобачевского.
- Самарский государственный аэрокосмический университет им. Н.И. Лобачевского.
- Самарский государственный аэрокосмический университет им. акад. С.П. Королева.
- Российский химико-технологический институт университет им. Д.И. Менделеева.
- Томский государственный университет систем управления радиоэлектроники.
- Северо-Западный государственный медицинский им. И.И. Мечникова.
- 1-й Московский государственный медицинсий университет им. И.М. Сеченова.
Названия остальных вузов были заменены на число 0.
Остальные категориальные признаки также были прокодированы. Каждое уникальное значение для каждого признака было добавлено в отдельную категорию.
К количественным признакам относятся: возраст, опыт работы, количество друзей, медианный возраст друзей, средний возраст друзей, количество групп. Для количественных признаков никакие изменения не проводились.
2.4. АНАЛИЗ ДАННЫХ И ОБУЧЕНИЕ RANDOM FOREST
1.4.1. АНАЛИЗ ДАННЫХ
Для выявления зависимостей между всеми полями множества данных, кроме элементов вектора embedding, была составлена матрица корреляции с использованием коэффициента корреляции Пирсона (см. рис. 2.4).
Рис 2.4 Матрица корреляции
Анализируя значения матрицы корреляции можно сделать следующие выводы, принимая во внимание, что в большинстве случаев желаемая заработная плата не сильно отличается от реальной:
Cвязь желаемой зарплаты и места жительства обусловлена тем, что в России в больших городах (Москва), как правило, уровень жизни выше, чем в маленьких (Саранск), да и возможностей для заработка больше. Соответственно, в большинстве случаев зарплата и требования к ней в больших городах выше, а в маленьких меньше.
В начале карьеры, пока человек молодой его не особо волнует, сколько он будет зарабатывать. Но чем он старше и чем больше у него опыта работы, тем выше зарплата и требования к ней.
Уровень образования и престиж оконченного также оказывают определенное влияние на желаемую зарплату. Люди, оканчивающие более престижные вузы, обладают более качественным образованием и рассчитывают на более высокую зарплату.
Связь между возрастом пользователя и возрастом его друзей объясняется гомофилией, в социальных сетях в качестве окружения людям свойственно выбирать себе подобных.
2.4.2. ОБУЧЕНИЕ RANDOM FOREST
Между желаемой заработной платой и реальной всегда существует определенная разница. Определить ее значение в рамках данного исследования не представляется возможным. Поэтому будет решаться задача не регрессии, а классификации. Границы классов будут компенсировать разницу между желаемой зарплатой и реальной.
Для проверки гипотез наборы данных были разбиты на поднаборы, состоящие из:
- Только вектора embedding.
- Только из всех остальных данных.
- Из вектора embedding и всех остальных данных.
Каждый поднабор был разбит на обучающее и тестовое множество в пропорции 4 к 1.
С использованием каждого поднабора данных, проводились двухклассовая, трехклассовая и четырехклассовая классификации. При выполнении двухклассовой классификации границей было значение 50000 рублей. При трехклассовой 40000 и 60000 рублей. При трехклассовой 30000, 50000, 70000 рублей.
При трехклассовой и четырехклассовой классификациях качество обучения ощутимо падает, это связано с малым размером наборов исходных данных.
Качество обучения, с использованием только embeddings, при двухклассовой классификации подтверждает обе выдвинутые гипотезы. От социального окружения пользователя в социальных сетях зависит размер его доходов. Используя информацию об окружении пользователя в социальных сетях, возможно эффективно прогнозировать размер его доходов.
Дополнив стандартное множество данных, не включающих в себя информацию о структуре социального графа, можно повысить качество обучаемой модели. В данной работе качество повышалось максимально до 5.42%.
Исходный код скрипта на языке программирования Python, предназначенного для обучения модели приведен в разделе Приложение 2.
ЗАКЛЮЧЕНИЕ
Магистерская диссертация посвящена проблематике применения DataMinig для решения задачи прогнозирования доходов пользователей социальных сетей, на основе данных сетевого профиля и социального окружения в социальных сетях.
Результатами выполненной диссертационной работы являются:
- Разработано программное обеспечение для автоматического сбора данных о сетевом профиле и заработной плате пользователей, а также о социальном окружении пользователей в социальных сетях.
- Показана продуктивность использования данных о социальном окружении пользователей в социальных сетях для прогнозирования заработной платы.
- Разработан новый метод решения для задачи прогнозирования зарплаты пользователей.
- Разработаны программные средства для решения задачи прогнозирования зарплаты пользователей.
Цель магистерской диссертации выполнена. Обе выдвинутые гипотезы подтвердились. Что свидетельствует о существовании перспектив в применении данных о социальном окружении пользователей в социальных сетях для задачи прогнозирования заработной платы и, следовательно, доходов.
Стоит отметить, что результаты диссертации представляют интерес для ряда областей социально-экономической и политической сфер деятельности.
Анонимизированные и прокодированные множества данных, а также исходный скрипт для анализа данных и обучения на языке программирования Python выложены в репозиторий на GitHub. Ссылка на репозиторий: https://github.com/hungryangry/income_prediction.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
- Джулли А., Пал С. Библиотека Keras – инструмент глубокого обучения ДМК.: Москва, 2018. 293 с.
- Коршунов А., Белобородов И., Аванесов В. Анализ социальных сетей: методы и приложения [Электронный ресурс]. URL: https://www.ispras.ru/proceedings/docs/2014/26/1/isp_26_2014_1_439.pdf (дата обращения 11.02.2019).
- Меркулов М.В., Браун С.А. Выявление скрытых связей между агентами в гетерогенных сетях // Гагаринские чтения – 2018. Сборник тезисов и докладов XLIV Международной молодёжной научной конференции. – Москва, 2019. – С. 237-238.
- Меркулов М.В., Филимонов А.Б. Применение методов машинного обучения в банковском скорринге // Гагаринские чтения – 2019. Сборник тезисов и докладов XLV Международной молодёжной научной конференции. – Москва, 2019. – С. 379-380.
- Меркулов М.В., Филимонов А.Б. Прогнозирование доходов пользователей социальных сетей // Ломоносов – 2020. Сборник тезисов и докладов Международной конференции студентов, аспирантов и молодых ученых «Ломоносов-2020». – Москва, 2020. — С. 96-97.
- Орельен Ж. Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow. Концепции, инструменты и техники для создания интеллектуальных систем Вильямс.: Москва, 2018. 688 с.
- Ревюз Д. Цепи Маркова РФФИ.: Москва, 1997. 409 с.
- Щеглова И.А. Эстетические и правовые аспекты использования данных из социальных медиа. Вестник томского государственного университета.: Томск, 2018. 7 с.
- Agrawal A. Random walks in graphs [Электронный ресурс]. URL: http://web.cs.iastate.edu/~pavan/633/lecpdf (дата обращения 11.02.2019).
- Chockalingam V., Shah S., Shaw R. Income classification using adult census data [Электронный ресурс]. URL: https://pdfs.semanticscholar.org/3dd5/e9f335511efbb81d65f1d6d4995019f8b5fd.pdf?_ga=2.199053994.467408706.15847911781217875940.1584791178 (дата обращения 11.02.2019).
- Grover A., Leskovec J. Node2vec: scalable feature learning for networks [Электронный ресурс]. URL: https://cs.stanford.edu/~jure/pubs/node2vec-kdd16.pdf (дата обращения 11.02.2019).
- Hamilton W., Ying R., Leskovec J. Inductive representation learning on large graphs [Электронный ресурс]. URL: https://arxiv.org/pdf/1706.02216.pdf (дата обращения02.2019).
1 2