1 2
Оглавление
ВВЕДЕНИЕ
Металлические материалы играют решающую роль в мировой истории со времён бронзового века. Современные металлические сплавы находят ряд применений в автомобильной и аэрокосмической промышленности, а также в ядерной и биомедицинской отрасли.
До недавнего времени дизайн большинства сплавов осуществлялся путём внедрения в матрицу, состоящую из одного основного элемента легирующих компонентов, в количестве значительно меньших, чем концентрация основного элемента. Однако совсем недавно появился новый метод создания перспективных материалов, которые состоят из 5 и более элементов в примерно равных эквимолярных концентрациях [1], которыми и было предложено название высокоэнтропийные сплавы.
Обширное композиционное пространство предстоит исследовать и наметить плодотворные пути выявления областей внутри этого пространства, где могут скрываться сплавы с потенциально интересными свойствами. Число сплавов, которое можно создать с помощью данного подхода, практически безгранично, ввиду большого сочетания нескольких химических элементов и до сих пор исследовались только крошечные области данного пространства.
Высокоэнтропийные сплавы обладают исключительными свойствами, которые превосходят по свойствам традиционные сплавы. В частности, данный вид материалов проявляет сверхсвойства в совокупности, такие как высокая твердость и пластичность [2-6]. Данный вид материалов выделен в отдельную группу, так как процессы образования фаз в них, а также диффузионная подвижность атомов, механизм формирования механических свойств и термическая стабильность существенно отличаются от аналогичных процессов в традиционных сплавах.
К основным механическим свойствам сплавов относят пластичность, прочность, ударную вязкость и другие. Пластичность способствует изменению геометрических размеров сплава без его разрушения, за счёт чего можно проводить технологические операций над образцами, таких как всесторонняя ковка, равно канальное угловое прессование и другие виды механических обработок, позволяющие принимать детали любую форму заданной конфигурации. Изготовление изделий путём деформирования без разрушения и сохранения прочностных свойств широко используется в машиностроении для создания различных видов машин.
Совсем недавно появился новый подход к предсказанию свойств материалов, который основан на применении одновременно комбинации машинном обучения и генетических алгоритмов [7]. Использование данного класса методик связано с тем, что невозможно теоретически предсказать механические характеристики многокомпонентных сплавов, так как не существует вполне чётко оформленной теории для их прогнозирования, в частности пластичности.
Генетические алгоритмы хорошо зарекомендовали себя при пространстве бесконечных решений. Так что они могут успешно использоваться для решения данной задачи. Методы машинного обучения позволяет по базе данных построить модель, которая может без экспериментальных исследований, вполне удовлетворительно рассчитать значение пластичности материала зная лишь пространство определённых признаков.
1 Генетические алгоритмы
Мы часто оказываемся в условиях выбора между различными решениями. Естественное желание сделать наилучший выбор, будучи формализованным, приводит к постановке задачи оптимизации – поиску решений, превосходящих всех остальных по некому критерию.
Существует огромное множество алгоритмов оптимизации [8]. Одним из наиболее популярных алгоритмов глобальной оптимизации является генетический алгоритм. Задачей как эволюционного алгоритма, так и любого алгоритма оптимизации состоит в нахождении экстремального значения функции в одномерном или многомерном пространстве.
Генетические (эволюционные) алгоритмы – это класс алгоритмов, основной идеей которых является дарвинские принципы эволюции в природе [9]. Имитируя процессы естественного отбора и воспроизводства, эволюционные алгоритмы могут находить высококачественные решения задач, включающих поиск, оптимизацию и обучение. В то же время аналогия с естественным отбором позволяет этим алгоритмам преодолевать некоторые препятствия, встающие на пути традиционных алгоритмов поиска и оптимизации, особенно в задачах с большим числом параметров и сложными математическими пространством поиска.
В последнее время резко возросло число статей, которые посвящены тематике эволюционных алгоритмов и их приложений. Многочисленные результаты исследований показали, что генетические алгоритмы могут получить широкое распространение за счёт объединения с другими методами [10] (так, например, с нейросетевыми технологиями и методами машинного обучения).
Основная блок-схема процесса работы генетического алгоритма приведена на рис. 1.
Рассмотрим основные работы эволюционных алгоритмом.
Рис. 1. Блок схема работы генетического алгоритма
Перед непосредственным запуском генетического алгоритма необходимо провести формулировку задачи на машинном языке. С этой целью выполняется переподготовка данных. Задачу формализуют, так что её решение кодируется в виде хромосомы, которая представляет собой совокупность генов. В зависимости от типа решаемой задачи ген может быть битом, числом или неким объектом.
Обычно в эволюционных алгоритмах длина хромосомы имеет постоянную длину, но это требование не является обязательным. Одним из наиболее используемых методов для кодирования хромосом является двоичное кодирование, которое заключается в том, что аллели всех генов равны либо 1 или 0.
Другим вариантом кодирования является вещественное кодирование, где в отличие от битового кодирования в качестве значений аллель гена может выступать любые вещественные числа.
На первой стадии работы эволюционного алгоритма происходит инициализация начальной популяции индивидуумов случайным образом. Начальная популяции представляет собой совокупность индивидуумов. Каждый индивид представляет собой определённую последовательность генов, каждый из которых отвечает за каждый признак особи.
На втором этапе происходит расчёт фитнесс-функции для каждой особи в популяции, таким образом в эволюционных алгоритмах происходит оценивавшие популяции индивидуумов. Оценивавшие необходимо проводить с целью выявления более и менее приспособленных особей. Происходит сравнение функций пригодности для каждого индивидуума из популяции. Особи получают право на размножение и дальнейшее продолжение популяции, если они проходят критерий качества модели.
На третьей стадии эволюционного алгоритма применяют три основные генетические оператора, такие как мутация, селекция и скрещивание.
Оператор скрещивания продуцирует новые особи из двух индивидуумов. Именно этот тип оператора обеспечивает видовое разнообразие особей в популяции. Существуют следующие типы операторов скрещивания: одноточечные, двухточечной, многоточечный, равномерный и неравномерный.
Оператор отбора применяется с целью выбора наилучших особей из популяции и последующим использованием только этих индивидуумов. Отбор носит вероятностный характер и вероятность выбора особи зависит от приспособленности индивидуума. Существуют следующие методы отбора: правило рулетки, стохастическая универсальная выборка, ранжированный отбор.
С целью непопадания популяции или большинство числа индивидуумов в локальный минимум (что приведёт к преждевременной сходимости) сложного неисследованного пространства поиска решений задачи применяют операцию мутации.
Мутация — это генетический оператор, который применяется к каждой особи в популяции, который незначительно модифицирует индивидуум, изменяя лишь либо один ген (мягкая мутация) или большее число генов (жёсткая мутация). Данный генетический оператор обычно используется после применения операторов скрещивания и отбора.
Операция мутация является вероятностной, поэтому она выполняется либо редко, либо с заданной вероятностью, которая определяется на начальной стадии работы эволюционного алгоритма. Данный оператор незначительно применяется к популяции, так как он может ухудшить качество индивидуумов. Существуют несколько видов операций мутаций: обменом, обращением и перетасовкой.
Результаты работы эволюционного алгоритма зависит от его основных параметров. К основным параметрам относят:
1). Размер популяции
2). Количество поколений
3). Разновидность оператора скрещивания
4). Вероятность мутации
5). Разновидность оператора мутации
6). Вероятность скрещивания
К основным преимуществам эволюционных алгоритмов относят:
1). Генетические алгоритмы не требуют хорошо проработанной математической теории.
2). Позволяют решать задачи в пространстве в бесконечномерном пространстве
3). Широкая область реализации
Данный вид алгоритмам применим к задачам, которые трудно описать стандартными методами программирования, в частности задач оптимизации функции одной переменной или более, а также композиций функций в сложном многомерном пространстве.
4). Возможность использования в сочетании с другим алгоритмом.
5). Возможность использования разного рода ограничений на целевую оптимизируемую функцию.
6). Устойчивы при попадании в локальные экстремумы.
7). Могут быть использованы в задачах с динамически внешне меняющейся средой.
К недостаткам эволюционных алгоритмов относят:
1). Медленное время работы при расчёте функции оценки
2). Возможность зацикливания в локальном экстремуме, что не позволяет найти глобальный максимум или минимум в решаемой задаче
3). Необходимость в переподготовке задачи для подготовки данных
Благодаря своим преимуществам генетические алгоритмы широки используются в науке и технике. Эволюционные алгоритмы позволяют осуществлять дизайн новых конструкций антенн, которые являются более эффективными (имеют большую чувствительность и большую дальность передачи сигнала). Литературный обзор показал, что генетические алгоритмы можно использовать совместно с расчётами теории функционала электронной
с целью предсказания кристаллической структуры, зная лишь химический состав материалов. В частности, в 2011 группой учёных был разработан новый метод предсказания кристаллических структур и их стехиометрии по их элементному составу (USPEX), авторами которого являются А.Р. Оганов [11]. Эволюционные алгоритмы находят широкое применение в задачах компоновки, составления расписаний, биоинформатика, широко применяются в машинном обучении, с целью поиска оптимальных моделей машинного обучения или гиперпараметра.
2 Общие сведения о машинном обучение
Машинным обучением называют область исследований, в которой компьютеры могут обучаться непосредственно без программирования [12]. Основным смыслом машинного обучения является использование подходящих признаков и моделей, которые будут оптимально подходить для решения задачи.
Машинное обучение широко используются в алгоритмах веб-поиска, финансах, медицине и маркетинге на протяжении десятилетий. Были разработаны различные модели машинного обучения для решения контролируемых (классификация и регрессия) и неконтролируемых (кластеризация) задач. Использование наиболее подходящего алгоритма для конкретной задачи имеет решающее значение для ускорения открытия новых материалов, поскольку хорошая модель машинного обучения позволяет точно предсказать неизученные материалы.
Лучшей модели машинного обучения для всех проблем с материалами не существует, и для конкретной проблемы требуется своя собственная обученная модель. Например, линейные алгоритмы приводят к простым, легко интерпретируемым моделям, но всегда приводят к плохой производительности. Метод опорных векторов является методом нелинейного анализа, который использует ядра для отображения сложных взаимосвязей и демонстрирует преимущество в возможностях работы с разбросанными выборками, нелинейностью и большим количеством измерений. Случайный лес приводит к высокой точности прогнозов, но не обеспечивает понятную человеку модель и легко приводит к переобучению. Следовательно, набор моделей машинного обучения должен быть построен в соответствии с конкретной проблемой материала и включать больше моделей, которые можно сравнивать и выбирать из них.
Основным объектом при машинном обучении в первую очередь является обучающая выборка данных. Большой объём данных позволяет использовать сложные модели, оценивать и повышать точность, а также получать надёжные результаты.
На рис.2 представлена обобщённая схема процесса машинного обучения. Рассмотрим основные этапы машинного обучения.
Рис. 2. Основная схема принципа работы машинного обучения
Начальный этап: предобработка данных. Исходные данные редко поступают в том виде и в той форме, которые необходимы для оптимальной работы алгоритма обучения. Поэтому данный этап является важным в любом приложении с использованием искусственного интеллекта.
Например, стандартный набор данных цветка ириса, который часто используется в качестве примера представляет собой совокупность большого числа данных, из которых необходимо выделить специальные признаки и их обработать. С этой целью было придумано множество методик уменьшения размерности пространства признаков.
Уменьшение размерности – большое количество признаков сводится к меньшему, чтобы было удобнее в последующем их визуализировать. Данный вид используется, когда необходимо уменьшить количество признаков до определённого значения, так как часто имеется доступ к большому числу признаков. Это вызывает большие проблемы, так как необходима большая база данных для охвата небольшой части данных конфигураций признаков.
Выделение признаков для снижения размерности имеет вполне определённую задачу, чтобы в результате получить набор новых признаков, сохранив при этом большинство информации. Другими словами, мы уменьшаем количество признаков с малой потерей способности наших данных генерировать предсказания высокого качества.
Недостатком данного метода является трудно поддающиеся интерпретации получаемые новые признаки. Существует целый класс методов для уменьшения размерности: анализ главных компонент, линейный дискриминационный анализ, уменьшение размерности посредством отбора признаков.
Большинство алгоритмов искусственного интеллекта также требуют, чтобы признаки, которые необходимо отобрать были стандартизированы.
Также признаки в наборе могут быть сильно коррелированными и поэтому могут быть избыточными. Тогда применяют методы понижения размерности с целью уменьшения числа неинформативных признаков.
На втором этапе происходит отбор и тренировка модели машинного обучения. Как мы убедимся, для решения различных практических задач было разработано большое количество разных алгоритмов машинного обучения. Поэтому на практике важно сравнить, по крайней мере, несколько различных алгоритмов, чтобы натренировать и отобрать самую качественную модель. Но прежде чем мы сможем сопоставить различные модели, мы сначала должны принять решение относительно метрики для измерения их качества. Одна из самых распространенных метрик – это доля правильно классифицированных экземпляров от общего числа предсказаний.
Чтобы узнать, какая модель работает хорошо на окончательном тестовом наборе данных и реальных данных, если мы не используем этот тестовый набор для отбора модели можно воспользоваться различными методами перекрестной проверки, или кросс-валидации, где тренировочный набор данных далее подразделяется на тренировочное и проверочные.
Также известно, что параметры различных алгоритмов обучения, предоставляемых программными библиотеками по умолчанию, оптимальны для конкретной практической задачи. Поэтому в более поздних главах мы часто будем использовать методы гиперпараметрической оптимизации, которые помогут выполнить тонкую настройку качества нашей модели.
На третьей стадии машинного обучения после отбора признаков и подходящих моделей происходит оценка модели на ранее не встречающихся объектах. После отбора модель, подогнанную под тренировочный набор данных, мы можем воспользоваться тестовым набором данных и оценить, насколько хорошо она работает на этих, ранее не встречавшихся ей данных, чтобы вычислить ошибку. Если мы удовлетворены качеством модели, то теперь мы можем использовать ее для прогнозирования новых будущих данных.
При оценивании моделей, кажется, что оценка может выглядеть тривиально: натренировать модель, а потом, вычислить насколько качественно она работает, используя специальные метрики на том же наборе данных. Данная стратегия является ошибочной, так как необходимо оценивать насколько хорошо модель на новых наборах данных. Ошибка на прежних данных может быть минимальна, вследствие эффекта переобучения. С целью преодоления данной проблемы делаются срезы данных для тестирования. В классическом варианте для проверки наблюдения разделяют на два набора, которые называют тренировочным набором и тестовым набором. Стратегия состоит в том, что мы обучаем нашу модель на тренировочном наборе и оцениваем насколько хорошо модель, работает на тестовом наборе. Однако данный метод имеет 2 недостатка. Во-первых, качество модели зависит от размера тренировочного набора. Во-вторых, модель не тренируется с использованием всех данных и не оценивается по всем имеющимся данным.
Для решения данной проблемы был придуман метод к-блочной перекрёстной проверки. В данном методе данные разделяются на к блокам. Модель обучается на любых к-1 блоков, которые объединены в один тренировочный набор. Данная процедура повторяется к раз. Качество модели определяется путём усреднения всех полученных оценок по к-блокам.
Отметим, что параметры для таких ранее упомянутых процедур, как масштабирование признаков и снижение размерности, получают исключительно из тренировочного набора данных, и те же самые параметры позже применяют повторно для трансформирования тестового набора данных, а также любых новых образцов данных – в противном случае измеренное на тестовых данных качество модели может оказаться сверхоптимистичным.
Если модель не обладает нужным значением критерия качества, то вновь переходим ко второму этапу, в котором мы отбираем признаки и пробуем уже другие алгоритмы. Итеративный процесс заканчивается, когда мы смогли улучшить качество модели для нашей задачи.
Основное направление в области машинного обучения связано с решением задачи следующего вида: имеется множество объектов и множество ответов. Считается, что существует функциональная связь между этими множествами, но её необходимо найти. Известны только пары вида (объект, цель), которые принято называть обучающей выборкой. Задача состоит в приближённом нахождении функциональной зависимости. Такой тип машинного обучения относится к обучению с учителем. В данном случае под учителем подразумевается сама выборка, на которой модель тренируется.
Существует огромное число задач, которые решаются машинным обучением. По способу решения задачи в общем случае делятся на [12]:
1). Задача регрессии – прогноз на основе выборки объектов с различными признаками. Выходным значением в данном типе задач является действительным числом. Задачи данного типа как правило связаны с прогнозированием. Примером может служить предсказание пластичности, прочности или других физических характеристик материалов по химическому составу и структуре сплава. К основным видам регрессии относят линейную регрессию и т. п.
2). Задача классификации – получение категориального ответа на основе набора признаков. Имеет конечное количество ответов (как правило, в формате «да» или «нет»). Например, присутствует ли данная фаза в материале, кинетически стабилен при определённой температуре или нет.
В машинном обучении задача классификации — это задача разделения множества наблюдений (объектов) на группы, называемые классами, на основе анализа их формального описания. При классификации каждая единица наблюдения относится определенной группе или номинальной категории на основе некоторого качественного свойства.
В контексте машинного обучения классификация относится к обучению с учителем. Такой тип обучения подразумевает, что данные, подаваемые на входы системы, уже помечены, а важная часть признаков уже разделена на отдельные категории или классы. Поэтому сеть уже знает, какая часть входов важна, а какую часть можно самостоятельно проверить. Пример классификации — сортировка различных растений на группы, например, «папоротники» и «покрытосеменные». Подобная задача может быть выполнена с помощью дерева решений — одного из типов классификатора.
3). Задача кластеризации – главным является разбиение данных на группы. К основным целям кластеризации относят понимание структуры данных и разбиение множества объектов на схожие группы с схожими свойствами.
4). Задача выявления аномалий – отделение аномалий от стандартных случаев. На первый взгляд она совпадает с задачей классификации, но есть одно существенное отличие: аномалии – явление редкое, и обучающих примеров, на которых можно натаскать обучающуюся модель на выявление таких объектов исчезающе мало. Поэтому методы классификации здесь не работают.
Рассмотрим четыре типа алгоритма, которые использовались для решения поставленной задачи.
2.1 Задача линейной регрессии
Линейная регрессия является привлекательной моделью, потому что ее представление очень простое.
Представление — это линейное уравнение, объединяющее определенный набор входных значений решений, к которому является прогнозируемый вывод для этого набора входных значений. Таким образом, как значения входных данных, так и выходное значение являются числовыми.
Линейное уравнение присваивает масштабный коэффициент к каждому входному значению. Добавлен также один дополнительный коэффициент, добавляющую дополнительную степень свободы (например, движение вверх
и вниз по двумерному участку) и часто называют коэффициентом перехвата или смещения.
Наиболее простая задача регрессии, когда на вход подается одна переменная x и есть одно выходящее значение y. Форма подобной модели будет даваться формулой (2.1)
(2.1)
⦁ случае многомерных измерений (т.е. когда у нас есть более одной вводной переменной (x)), линия превращается в гиперплоскости. Таким образом, представление представляет собой форму уравнения и конкретные значения, используемые для коэффициентов. Когда говорят о сложности регрессионной модели, такой как линейная регрессия — имеют ввиду количество коэффициентов, используемых в модели.
Когда конкретный элемент коэффициент становится нулевым, он эффективно удаляет влияние входной переменной на модель и, следовательно, влияния на прогноз модели.
Когда у нас есть более одной входной переменной, мы можем использовать метод наименьших квадратов для оценки значений коэффициентов. Процедура наименьших квадратов направлена на минимизацию суммы квадратов остатков. Это означает, что, учитывая регрессионную линию через данные, мы вычисляем расстояние от каждой входной точки до линии регрессии, берем квадрат этого расстояние и суммируем все квадраты подобных расстояний. Данное сумма квадратов для наиболее точной подгонки модели должна быть минимальна.
2.2 Метод опорных векторов
Опорно-векторные машины – один из методов машинного обучения, который решает задачу классификации и регрессии путём проведения в многомерном пространстве размерности n гиперплоскости.
Гиперплоскость – подпространство размерности в -мерном пространстве. Если мы хотим разделить трёхмерное пространство, то используем двухмерную гиперплоскость. Опорно-векторные машины классифицируют наборы данных путём нахождения гиперплоскости, которая максимизирует допустимый промежуток между классами в тренировочных данных.
В отношении опорно-векторных регрессоров необходимо отметить, что гиперплоскость по определению линейна. Но часто встречаются классы (данные), которые мы не можем разделить линейно идеально. Поэтому в этих случаях существует баланс между максимизацией промежутка гиперплоскости и минимизации ошибочной классификации. В опорно-векторном классификаторе последние контролируются с помощью гиперпараметра С – штрафа, налагаемого на ошибки.
Опорно-векторный классификатор можно представить, как:
(2.2)
, где 0- смещение, – модельные параметры, которые необходимо заучить; () − пары двух опорно-векторных наблюдений. − ядерная функция, которая сравнивает сходство между двумя наблюдениями. Ядерная функция определяет тип плоскости.
Опорно-векторный классификатор получил своё название благодаря тому, что гиперплоскость определяется относительно небольшим количеством наблюдений, называемыми опорными векторами.
2.3 Метод к-ближайших соседей
Классификатор к ближайшим соседям является одним из простым и наиболее используемым классификатором в контролируемом машинном самообучении. Иногда его называют ленивым учеником, потому что он технически не тренирует модель делать предсказания. Вместо этого предсказывается, что наблюдение классом небольшой доли к ближайшим соседям. Для классификации в методе к-ближайших соседей проводят следующие шаги:
1). Вычисляют расстояние до каждого из объектов обучающей выборки
2). Отбирают k объектов обучающей выборки, расстояние до которых минимально.
3). Классифицируют класс объекта, элементы которого находятся в непосредственной близости.
Преимущество метода к-ближайших соседей является то, что он прост к применяемой задаче, следовательно, может быть применим в качестве затравки для решения исследуемой задачи. Минусам данного метода относят его слабую корректность.
2.4 Постановка задачи исследования
Обзор приведенной литературы показал, что высокоэнтропийные сплавы являются актуальной темой для будущих применений в промышленности в качестве функциональных и конструкционных материалов. Для многих практических приложений необходимы в первую очередь прочностные и пластические свойства.
Данный вид сплавов мало изучен, ввиду большого композиционного пространства поиска. Вследствие чего, сначала легче провести оценки материалов компьютерными методами, а потом выполнить экспериментальные исследования.
Ввиду не разработанности полной теории к определения прочностных и пластических характеристик были предложены методы их определения из недавно быстро развивающейся отрасли, такой как машинное обучение с использованием генетических алгоритмов, которые позволяют исследовать огромные пространства поиска. Поэтому ставлю целью этой работы: разработать модель машинного обучения с использованием генетического алгоритма для предсказания пластических свойств, т.е. пластичности высокоэнтропийных сплавов.
Ставлю перед собой следующие задачи:
1). Создание базы данных сплавов на основание литературных данных
2). Выбор признаков для высокоэнтропийных сплавов с помощью генетического алгоритма, которые могут успешно использоваться для предсказания пластичности данного класса материалов.
3). Подбор подходящих моделей машинного обучения и оценка их качества работы
4). Тестирование модели по предсказанию пластичности на выплавленных сплавах