Системное автоматизированное проектирование

Информация - Компьютеры, программирование

Другие материалы по предмету Компьютеры, программирование

Скачать Бесплатно!
Для того чтобы скачать эту работу.
1. Подтвердите что Вы не робот:
2. И нажмите на эту кнопку.
закрыть



рованного параллелизма при обработке информации с использованием элементов-связей ( аналогов синапсов в биологии ) на стадии обучения системы выделило нейронные сети в самостоятельный

класс многопроцессорных вычислительных устройств.

Здесь рассмотрим основные архитектуры нейронных сетей, их общие и функциональные свойства и наиболее распространенные алгоритмы обучения сетей.

 

 

ОСНОВНЫЕ АРХИТЕКТУРЫ И ОСОБЕННОСТИ

 

На рис.1 приведена классификация нейросетевых систем.

 

 

Рис.1. Диаграмма, иллюстрирующая связь нейросетевых структур с многопроцессорными архитектурами.

FAN - процессор с распространением возбуждения.

 

 

Среди признаков, отличающих нейронные сети, часто называют массированный параллелизм при вычислениях, а также возможность программирования сетей путем обучения или адаптации. Выделяют

также локальность памяти каждого из нейронов.

 

ЭЛЕМЕНТЫ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ - НЕЙРОНЫ И СВЯЗИ

 

Нейронная сеть представляет собой совокупность элементов двух типов-процессоров, называемых нейронами, и элементов ( в общем случае также процессоров) - называемых связями между нейронами.

Нейрон - процессор специального вида, который имеет один выход и некоторое число входов (N) (рис.2.). Как правило, предполагается, что все нейроны выполняют одинаковую, сравнительно простую функцию

( либо существует небольшое число типов нейронов с различными функциями), например, сложение величин сигналов , i = 1,...,N , поступающих на его входы ( возможно, с некоторыми весами ). Выходной сигнал нейрона определяется с помощью суммы i вида

= g [] ,

 

где g - нелинейная функция, определенная для каждого типа нейрона, О - порог. Пороговому элементу

i Маккалока и Питтса соответствует функция g(x), имеющая вид ступеньки ( рис.3.а)

 

 

g(x) = O (x) , O(x) = .

 

Для моделирования некоторых нейроподобных элементов подходит функция, представленная на рис.3 г, вида g(x) = 1 - O (x).Нелинейные функции более общего вида, в которых переходная область имеет конечную ширину а , изображены на рис.3. б и в. Нейроны такого типа удобны для моделирования аналоговых нейронных сетей.

 

Рис.3. Примеры нелинейных функций отклика нейронов, используемых для моделирования сетей.

 

Между каждыми двумя нейронами в сети ( с номерами i и j)могут быть установлены две направленные связи: (ij) и (ji) (рис.4).В некоторых случаях, например в модели Хопфилда, эти связи считаются равными. Каждой связи в сети присваивается вес . Это можно выполнить двумя способами. В первом случае считается , что собственно связи между нейронами представляют собой пассивные проводники, параметры которых неизменны. В процессе обучения изменяются веса ( см. рис.1 ), с которыми суммируются входные сигналы на каждом нейроне. При этом нумерация входов всех нейронов предполагается согласованной с нумерацией нейронов в сети. При втором способе все входы в нейрон предполагаются эквивалентными, при обучении изменяются свойства связей ( например, их сопротивления, емкости или коэффициенты усиления входящих в них усилителей ). С точки зрения математического моделирования эти способы могут не различаться. Однако при технической реализации в зависимости от используемой технологии может оказаться предпочтительней один из указанных способов. Например, пороговый вентиль относится

к первому типу, а сеть из аналоговых усилителей с насыщением - ко второму.

 

 

ТИПЫ АРХИТЕКТУР

 

 

а) Сети Хопфилда

 

Модель, предложенная Хопфилдом, относится к типу бинарных (или как вариант, биполярных, когда, переменная, описывающая внутреннее состояние нейронов, может принимать и отрицательное значение, например +1 и -1), а ее обучение представляет собой вариант обучения с супервизором. Она основывается на некоторых аналогиях с физическими системами, в частности, со спиновыми стеклами , а также с нелинейными динамическими системами, обладающими подходящей структурой аттракторов в фазовом пространстве. Каждый такой аттрактор может рассматриваться как отдельная запись информации ( образа ) в памяти системы. Релаксация системы из произвольного начального состояния ( имеющего смысл предъявленного

стимула) к устойчивой точке представляет собой физическую аналогию восстановления информации по достаточной ее части - распознавания образов.

В модели Хопфилда состояние системы описывается N -мерным вектором V = (), где

= 0 или 1 - описывает состояние i-го нейрона. Состояние системы, которому соответствует

одна из вершин единичного гиперкуба в N- мерном пространстве, меняется во времени по следующему алгоритму. Каждый нейрон изменяет свое состояние в случайный момент времени со средней скоростью w так, что в следующий момент случайно выбранный элемент с номером i принимает значения

 

= 1, если и

= 1, если (2)

Здесь - порог срабатывания i-го нейрона. В дальнейшем, как правило, предполагается, что для всех i либо =1/2 .

В последнем случае выбор порогов соответствует переходу к "биполярным" нейронам, состояния которых описываются спиновыми переменными . Поэтому в большинстве случаев можно

просто говорить о

s