Реферат на тему «Рекурентные сети Хопфилда»

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

1 Нейронная сеть Хопфилда

2 Алгоритм функционирования и режимы работы сети Хопфилда

3 Области применения сети Хопфилда и ее ограничения

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

ВВЕДЕНИЕ

Идея нейронных сетей была позаимствована у природы, а точнее в качестве аналога использовалась нервная система животных и человека. Нервная система состоит из огромного количества достаточно простых элементов – нейронов. Каждый нейрон получает сигналы от тысяч других нейронов и передает обработанную информацию тысячам других нейронов по одному единственному выводу. Нейроны связаны между собой в достаточно сложную и идеально настроенную систему. Высокое быстродействие данной системы, пока не достижимое для современных компьютеров, обеспечивается за счет параллельности обработки информации.

Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обучения, которым не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету.

Естественным обобщением таких однопроходных схем служат рекуррентные сети, выходы которых возвращаются обратно на их входы. Тем самым, информация пропускается через одну и ту же сеть многократно [1]. Американский физик Джон Хопфилд представил первую ассоциативную сеть (на основе автоассоциативной памяти) в 1982 г. в Национальной Академии Наук.

Нейронная сеть Хопфилда — полносвязная нейронная сеть с симметричной матрицей связей. В процессе работы динамика таких сетей сходится к одному из положений равновесия.

Целью данной работы – рассмотреть рекурентные сети Хопфилда.

Основные задачи работы:

—        изучить структуру и основные составляющие нейронной сети Хопфилда;

—        рассмотреть алгоритм функционирования и режимы работы сети Хопфилда;

—        изучить области применения сети Хопфилда и ее ограничения.

Структурно работа состоит из введения, трех пунктов, заключения и списка литературы.

1 Нейронная сеть Хопфилда

Сеть Хопфилда состоит из трех слоев: входной, слой Хопфилда и выходной слой. Каждый слой имеет одинаковое количество нейронов. Входы слоя Хопфилда подсоединены к выходам соответствующих нейронов входного слоя через изменяющиеся веса соединений. Выходы слоя Хопфилда подсоединяются ко входам всех нейронов слоя Хопфилда, за исключением самого себя, а также к соответствующим элементам в выходном слое [5].

То есть выходы нейронов единственного слоя Хопфилда подаются на свои входы. Выход каждого нейрона соединен с входами всех остальных нейронов.

Сети прямого распространения можно отнести к статистическим. РНС образуют динамический отклик сети, при котором сигналы некоторый нейронов подаются на входы нейронов, расположенным в текущем при предыдущем слоях.

В режиме функционирования, сеть направляет данные из входного слоя через фиксированные веса соединений к слою Хопфилда. Структурная схема сети Хопфилда представлена на рисунке 1.

Рисунок 1 –  Структура сети Хопфилда

Автоассоциативной памятью называют память, которая может завершить или исправить образ, но не может ассоциировать полученный образ с другим образом. Данный факт является результатом одноуровневой структуры ассоциативной памяти, в которой вектор (образец некоторого класса) появляется на выходе тех же нейронов, на которые поступает входной вектор.

Нейронная сеть Хопфилда реализует важное свойство ассоциативной памяти – восстановление по искаженному (зашумленному) сигналу (образу) по ближайшему к нему эталонному. Входной вектор при обучении сети используется как начальное состояние сети, в дальнейшем сеть функционирует согласно выбранной динамике. При работе сети любой обучающий пример, находящийся в области эталона образа используется в качестве указателя для его восстановления. Полученный выходной образ определяется в том случае, если есть достигает равновесного состояния [6].

Пример конфигурации сети Хопфилда с тремя нейронами приведен на рисунке 2 (связис одинаковым весом обозначены одинаковыми линиями).

Рисунок 2 — Конфигурация сети Хопфилда

В отличие от многослойных сетей типа персептрона, в которых входные и выходные нейроны пространственно разделены. В модели Хопфилда все нейроны одновременно являются и входными, и скрытыми, и выходными. Роль входа в таких сетях выполняетначальная конфигурация активностей (весовых коэффициентов) нейронов, а роль выхода –конечная стационарная конфигурация их активностей [12].

В отличие от многих нейронных сетей, функционирующих до получения ответа через определённое количество тактов, сети Хопфилда функционируют до достижения равновесия,когда следующее состояние сети в точности равно предыдущему: начальное состояние является входным образом, а при равновесии получают выходной образ [7].

Проблема устойчивости сети Хопфилда была решена после того, как Кохоненом иГроссбергом была доказана теорема, определяющая достаточное условие устойчивости сетей собратными связями, а именно сеть с обратными связями является устойчивой, если матрица весов симметрична и имеет нули на главной диагонали.

В сети Хопфилда на веса связей в выражении s_j = w_ij х_i + w_0j следующие условия:

• все элементы связаны со всеми;
• w ij = w ji – прямые и обратные связи симметричны;
• wii = 0 – диагональные элементы матрицы связей равны нулю.

Последнее условие обычно добавляется, чтобы исключить непосредственную обратнуюсвязь с выхода нейрона на собственный вход.

Каждый эталон является точкой из конечного множества равновесных точек,определяющих минимум энергии сети (функция Ляпунова) [1].

Нейронная сеть Хопфилда — полносвязная нейронная сеть с симметричной матрицей связей. В процессе работы динамика таких сетей сходится к одному из положений равновесия.Эти положения равновесия являются локальными минимумами функционала, называемого энергией сети (в простейшем случае — локальными минимумами отрицательно определённой квадратичной формы на n- мерном кубе).

Области применения сетей Хопфилда – это распознавание образов, сжатие массивов данных. Пусть сеть состоит из N нейронов, то граница ёмкости памяти для сети (то естьколичество образов, которое она может запомнить) составляет приблизительно 15% от числанейронов в слое Хопфилда (N*0,15) [2]. При этом запоминаемые образы не должны бытьсильно коррелированны.

Размерности входных и выходных сигналов в сети ограничены при программнойреализации только возможностями вычислительной системы, на которой моделируетсянейронная сеть, при аппаратной реализации — технологическими возможностями.Размерности входных и выходных сигналов совпадают [3].

Динамическое изменение состояний сети может быть выполнено двумя способами: синхронно и асинхронно. В первом случае все элементы изменяются синхронно на каждомцикле обучения, а во втором случае – в каждый момент времени изменяется и подвергаетсяобработке один элемент. Этот элемент выдирается случайно.

Рассмотрим синхронную бинарную сеть Хопфилда, представляющую собой пример сети с дискретными состояниями и дискретным временем. В качестве функции активации используется пороговая, при которой выходы нейронов принимают значения о или 1, при превышении взвешенной суммы значений входов некоторого порогового уровня.

Каждый нейрон системы может принимать одно из двух состояний (что аналогично выходу нейрона с пороговой функцией активации):

Благодаря своей биполярной природе нейроны сети Хопфилда иногда называют спинами. Взаимодействие спинов сети описывается выражением («энергетической» функцией, которая уменьшается в процессе функционирования сети):

где wij — элемент матрицы взаимодействий W, которая состоит из весовыхкоэффициентов связей между нейронами [5]. В эту матрицу в процессе обучениязаписывается М «образов» — N-мерных бинарных векторов:

Sm = (sm1, sm2,…,smN).

Предварительно матрицей весовых коэффициентов задан набор эталонов.

где Е — искусственная энергия сети, — вес от выхода i-го ко входу /-го нейрона: xj yj — вход и выход i-го нейрона; q — порог i-го нейрона [6].

Главное свойство энергетической функции состоит в том, что в процессе эволюции состояний нейронной сети согласно уравнению, она уменьшается и достигает локального минимума (аттрактора), в котором сохраняет постоянную энергию. Это позволяет решать задачи комбинаторной оптимизации, если они могут быть сформулированы как задачи минимизации энергии.

Поведение системы в пространстве состояний напоминает движение шарика, которыйстремится скатиться в точку минимума некоторого потенциального рельефа со множествомлокальных минимумов. Эти минимумы будут устойчивыми состоянию памяти, а окружающие точки на склонах – переходными состояниями. Начальное состояние шарика соответствует вектору, содержащему неполную информацию об образе памяти, которому отвечает дно лунки [7].

Характер рельефа определяется видом целевой функции Е и формируется в процессе обучения сети. Обучение производится путем демонстрации эталонных образов, которые сеть должна запомнить, хранить и потом воспроизводить (узнавать). Алгоритм обучения (формирование весовых коэффициентов w_ij) основывается на правиле Хебба.

Одно из достоинств симметричной квадратной матрицы связей, характерной для сети Хопфилда, состоит в том, что поведение сети можно описать через стремление к минимуму простой целевой функции

E = w_ij х_iх_j = min, i j

Обычно Е интерпретируется как некоторая «обобщенная энергия». Такая интерпретация берет начало от известной физической модели Изинга, в которой совокупность взаимодействующих магнитных диполей (спинов) стремится занять такую конфигурацию, в которой суммарная энергия будет минимальна. Модель Хопфилда обобщает модель Изинга по двум причинам:

—      коэффициенты связей могут принимать любые значения, как положительные, так и отрицательные;

—        эти значения не являются константами, а меняются в процессе обучения, с помощью чего вводится динамика изменений состояний нейронов [6].

2 Алгоритм функционирования и режимы работы сети Хопфилда

Рассмотрим алгоритм функционирования и режимы работы сети Хопфилда:

1. На стадии инициализации сети весовые коэффициенты синапсов (связей, покоторым входные сигналы одних нейронов поступают на входы других) устанавливаются

где i, j – индексы предсинаптического (входного) и постсинаптического (выходного) сигналов нейронов; w – i-й синаптический вес j- го нейрона; x^k , x^k – i, j элементыk-го образа.

2. На входы сети подается неизвестный сигнал, вычисляется выход сети на нулевом шагеитерации, фактически его ввод осуществляется непосредственной установкой значения

yi (0) = xj , j = 1…n -1

где yi – аксон, т.е. выход для j-го нейрона. Нуль в скобках означает нулевую итерацию.

3. Рассчитывают новое состояние нейронов и новое состояние аксонов

t — номер конкретной итерации.

4. Проверка изменения состояния аксонов за последнюю итерацию, если да, то осуществляется переход к пункту 2, если нет – по значения стабилизировались и конец работы алгоритма. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными [8].

Алгоритм обучения сети Хопфилда имеет существенные отличия в сравнении с классическими алгоритмами обучения персептрона методом коррекции ошибок или методобратного распространения ошибки. Отличие заключается в том, что вместопоследовательного приближения к нужному состоянию вместо последовательного приближения к нужному состоянию с вычислением ошибок, все коэффициенты матрицы рассчитываются по одной формуле, за один цикл обучения, после чего сеть сразу готова кработе. Вычисление весовых коэффициентов базируется на правиле: для всех запомненныхсетью образов Xi, матрица связи должна удовлетворять условию:

Если выполняется условие по формуле (), состояние сети будет устойчивым.

Некоторые авторы относят сеть Хопфилда к обучению без учителя. Но это неверно, т.к. обучение без учителя предполагает отсутствие информации о том, к каким классам нужно относить тот или иной образ. Для сети Хопфилда без этой информации нельзя настроитьвесовые коэффициенты, поэтому здесь можно говорить лишь о том, что такую сеть можно отнести к классу оптимизирующих сетей (фильтров). Отличительной особенностью фильтров является то, что матрица весовых коэффициентов настраивается детерминированнымалгоритмом раз и навсегда, и затем весовые коэффициенты больше не изменяются [5].

В сети Хопфилда есть обратные связи и поэтому необходимо решать проблемуустойчивости. Веса между нейронами в сети Хопфилда могут рассматриваться в виде матрицы взаимодействий W. Сеть с обратными связями является устойчивой, если её матрица симметрична и имеет нули на главной диагонали. В случае сети Хопфилда условие симметричности является необходимым, но не достаточным, в том смысле, что на достижение устойчивого состояния влияет ещё и режим работы сети. Ниже будет показано, что только асинхронный режим работы сети гарантирует достижение устойчивого состояния сети, в синхронном случае возможно бесконечное переключение между двумя разными состояниями (такая ситуация называется динамическим аттрактором, в то время как устойчивое состояние принято называть статическим аттрактором) [4].

Расчёт весовых коэффициентов (обучением сети) происходит по следующей формуле

d— номер запоминаемого выходного вектора

Xij – i-компонента запоминаемого выходного –j-го вектора

Весовая матрица может быть найдена через вычисление внешнего произведения каждого запоминаемого вектора с самим собой и суммированием матриц, полученных таким образом

где Xi — запоминаемый вектор-строка.

Когда веса заданы, сеть может быть использована для получения запомненного выходного вектора по данному входному вектору, который может быть частично неправильным или неполным. Для этого выходам сети сначала придают значения этого начального вектора. Затем сеть последовательно меняет свои состояния согласно формулам 3-его этапа алгоритма функционирования сети. Полученное устойчивое состояние yj (статический аттрактор), или, возможно, в синхронном случае пара {yj, yj+1} (динамический аттрактор), является ответом сети на данный входной образ [8].

3 Области применения сети Хопфилда и ее ограничения

Сеть Хопфилда может быть использована как ассоциативная память, для решения некоторых задач оптимизации, а также как фильтр (задачи распознавания образов).

Чтобы организовать устойчивую автоассоциативную память с помощью данной сети с обратными связями, веса должны выбираться так, чтобы образовывать энергетические минимумы в нужных вершинах единичного гиперкуба [10].

На каждом итерации алгоритма функционирования сети понижается значение энергии нейронной сети. Это позволяет решать комбинаторные задачи оптимизации, если они могут быть сформулированы как задачи минимизации энергии.

Рассмотрим пример восстановления повреждённого изображения.

Если во время обучения сформировать матрицу весовых коэффициентов на основании эталонных бинарных векторов, то нейронная сеть в процессе работы будет менять состояния нейронов до тех пор, пока не перейдет к одному из устойчивых состояний.

Пусть имеется нейронная сеть размерностью N=100, в матрицу связей записан набор чёрно-белых картинок (-1 — чёрный цвет, +1 — белый), среди которых есть изображение собачки (рис. 3б). Если установить начальное состояние сети близким к этому вектору (рис. 3а), то в ходе динамики нейронная сеть восстановит исходное изображение (рис. 3б). В этом смысле можно говорить о том, что сеть Хопфилда решает задачу распознавания образов (хотя строго говоря, полученное эталонное изображение ещё нужно превратить в номер класса, что в некоторых случаях может быть весьма вычислительно ёмкой задачей) [8].

Рисунок 3 – Изображение нейронной сети Хопфилда

Перечислим ограничения сети Хопфилда:

• Могут вызываться не наиболее близкие образы из-за локальных минимумов энергетической функции
• Некоторые образы могут вызываться чаще, чем другие
• Могут вызываться мнимые образы из-за симметричности связей
• Информационная емкость: ≤0.15 N
• Для борьбы с локальными минимумами энергетической функции используется внедрение в модель Хопфилда случайного процесса изменения весов (машина Больцмана)
• Есть вариант сети Хопфилда для аналоговых входов -выходов
• Развитие бинарной сети Хопфилда – двунаправленная ассоциативная память (ДАМ) или bidirectional associative memory (BAM):

–       Состоит их двух моделей Хопфилда, связанных между собой;

–       Позволяет использовать ассоциации между двумя образами [7].

ЗАКЛЮЧЕНИЕ

В заключении хочется рассмотреть достоинства, недостатки и модификации сети Хопфилда.

Достоинством сети Хопфилда является то, что она имеет огромное историческое значение. С этой модели началось возрождение интереса к нейронным сетям в середине 80-х годов. Также имеющиеся модификации применимы к решению современных задач области применения данной сети.

К сожалению, у нейронной сети Хопфилда есть ряд недостатков:

—        Относительно небольшой объём памяти, величину которого можно оценить выражением:

—        Попытка записи большего числа образов приводит к тому, что нейронная сеть перестаёт их распознавать.

—        Достижение устойчивого состояния не гарантирует правильный ответ сети. Это происходит из-за того, что сеть может сойтись к так называемым ложным аттракторам, иногда называемым «химерой» (как правило, химеры склеены из фрагментов различных образов).

—        При использовании коррелированных векторов-образцов возможно зацикливание сети в процессе функционирования.

—        Наряду с запомненными образами в сети хранятся и их негативы.

Сети Хопфилда существуют модификации. Одна из них предназначена для решения задач оптимизации, в частности задачи распределения работ между исполнителями [11].

Существует модель сети Хопфилда с бинарными входными сигналами.

Для увеличения ёмкости сети и повышения качества распознавания образов используют мультипликативные нейроны. Сети, состоящие из таких нейронов, называются сетями высших порядков.

Разработаны к настоящему моменту многослойные сети Хопфилда, которые обладают определёнными преимуществами по сравнению с первоначальной моделью.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. Hopfield, «Neural networks and physical systems with emergent collective computational abilities», Proceedings of National Academy of Sciences, vol. 79 no. 8 pp. 2554–2558, April 1982. PNAS Reprint (Abstract) — www.pnas.org/cgi/content/abstract/79/8/2554 PNAS Reprint (PDF) — www.pnas.org/cgi/reprint/79/8/2554
2. J. Hopfield Learning algorithms and probability distributions in feed-forward and feed-back networks — www.pnas.org/content/84/23/8429.full.pdf html?sid=197a8f5f-0ca8-47dc-80d4-49a741db31c2. — 1987.
3. J. Hopfield Neural with graded response have collective computational properties like those of two-state neurons. — www.pnas.org/content/81/10/3088.full.pdf html?sid=7405788e-e391-486a-a5a8-2c2f5b903f40. — 1984.
4. MacKay David J.C. Information Theory, Inference, and Learning Algorithms URL: http://www.inference.phy.cam.ac.uk/itprnn/book.pdf (дата обращения 10.03.2021).
5. Галушкин А.И. Нейронные сети: основы теории. М.: Горячая линия-Телеком, 2013. 496 с.
6. Галушкин, А.И. Нейронные сети: история развития теории: Учебное пособие для вузов. / А.И. Галушкин, Я.З. Цыпкин. — М.: Альянс, 2015. — 840 c.
7. Каллан, Р. Нейронные сети: Краткий справочник / Р. Каллан. — М.: Вильямс И.Д., 2017. — 288 c.
8. Павлова А.И., Бобрикова К.А. Сравнение алгоритмов распознавания образов нейронными сетями Хопфилда / In the World of Scientific Discoveries, 5(77), 2016
9. Редько, В.Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики / В.Г. Редько. — М.: Ленанд, 2019. — 224 c.
10. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика — evrika.tsi.lv/index.php?name=texts&file=show&f=410 = Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. — ISBN 5-03-002115-9
11. Хайкин, С. Нейронные сети: полный курс / С. Хайкин. — М.: Диалектика, 2019. — 1104 c.
12. Яхъяева, Г.Э. Нечеткие множества и нейронные сети: Учебное пособие / Г.Э. Яхъяева. — М.: БИНОМ. ЛЗ, ИНТУИТ.РУ, 2012. — 316 c.