Системное автоматизированное проектирование

Информация - Компьютеры, программирование

Другие материалы по предмету Компьютеры, программирование

Скачать Бесплатно!
Для того чтобы скачать эту работу.
1. Подтвердите что Вы не робот:
2. И нажмите на эту кнопку.
закрыть



ем на вход сети последовательно подаются векторы из обучающей выборки и модифицируются связи между нейронами, начиная с последнего слоя.

Представим ценностную функцию в виде:

где V - фактические значения состояния нейронов, вычисленные с учетом текущих значений связей между нейронами. В этом выражении сумма распространяется на нейроны последнего ( выходного) слоя.

Изменение весов связей на каждом шаге алгоритма производится по правилу:

где > 0 - параметр. Вычисляя производную в этом выражении, для выходного слоя нейронов получим:

.

Затем последовательно вычисляются изменения коэффициентов на предшествующих слоях.

Такой способ модификации связей в сети позволяет значительно сократить время, необходимое для обучения сети. Вообще , время обучения существенно зависит от требуемой сложности разбиения

пространства возможных входов сети на подклассы ( например, если построить несвязные области ).

 

3.2. ОБУЧЕНИЕ БЕЗ СУПЕРВИЗОРА

 

Подобный подход применим к нейронным сетям Гроссберга-Карпентера и Кохонена. Такие сети имеют другое название - самоорганизующиеся сети. Процесс их обучения выглядит как процесс возникновения определенных свойств при взаимодействии системы с внешним миром. Сети такого типа наиболее близки по своим свойствам к неравновесным физическим, химическим или биологическим системам, в которых возможно образование диссипативных структур. Распознание образов и обучение, по-видимому, тесно связаны с вопросом о коллективном поведении систем, включающим множество частиц.

Сущность обучения без супервизора можно пояснить следующим образом. Для этого рассмотрим динамическую систему, элементы которой ( нейроны) взаимодействуют между собой и термостатом.

Состояние i-го нейрона будем описывать непрерывной переменной m (t) ( t - время ), изменяющейся в интервале - m<= m <=+m .

Предположим также, что энергия системы является квадратичной функцией вида

( 7 )

Будем рассматривать величину

 

( 8 )

 

 

В дальнейшем al - параметр или лагранжиан взаимодействия системы, являющейся функционалом независимых переменных и .

Учитывая взаимодействие нейронов с термостатом, приводящее к появлению "сил трения" (m / gam ,

T/ gam ) из (8)получим динамические уравнения для и

( 9 )

 

( 10 )

 

Добавленные в эти уравнения нелинейные слагаемые (f, F) препятствуют неограниченному возрастанию абсолютных величин m и Т: в рамках лагранжевой схемы они могут быть включены в выражение (9 ) в виде потенциалов, быстро возрастающих вблизи точек + -m и + - T ( предельное значение для коэффициентов матрицы связей).

Величины и представляют собой ланжевеновские источники шума. В нейробиологии шум возникает вследствие несинаптических взаимодействий между нейронами и выделением нейромедиаторов. В электронных моделях нейронных сетей источником шума могут быть электрические флуктуации в цепях. В простейшем случае шум можно охарактеризовать введением эффективной температуры:

= 0 ,

где скобки обозначают усреднение по времени.

Уравнения (9) и (10) описывают существенно различные физические процессы, которые в рассматриваемом контексте можно назвать "обучением" и "распознаванием образов". Рассмотрим первое из них. Обучение состоит в том, что в (9) включается сильное внешнее поле, действующее в течение времени t . В результате того вектор m(t) принимает стационарное значение fi , соответствующее "образу" с компонентами m . После "обучения" элементы матрицы , со временем в соответствии с уравнением (10), получат приращение ( при этом предполагается, что t значительно больше времени релаксации на внешнем поле вектора m к своему стационарному значению fi ). Процедуру обучения можно повторить многократно, используя образы fi , s=1,...,n. Считая, что до начала обучения = 0, после окончания этого процесса получим

 

,

 

где коэффициенты nu зависят от длительности обучения. Таким образом, уравнения (9) и (10) описывают процесс запоминания поступающей в систему информации в виде матриц связей хеббовского вида.

Ранее предполагалось, что до начала обучения нейронная сеть не содержит никакой информации, = 0. Можно рассмотреть противоположный случай, когда до начала обучения нейронная сеть имеет большое число устойчивых состояний. Предполагается, что доминируют глубокие энергетические минимумы, которые могут образовывать структуру дерева. Процедура обучения должна приводить к селекции образов . В процессе обучения заучиваемый образ задается в качестве начального состояния сети и эволюционирует к некоторому аттрактору, энергия которого уменьшается за счет синоптических изменений ( в частности, если время релаксации меньше времени обучения), а область притяжения смещается и увеличивается за счет

присоединения соседних областей. Таким образом, процесс селекции отличается от режима обучения, рассмотренного ранее тем что используется внешнее поле.

 

ОСНОВНЫЕ ФУНКЦИИ НЕЙРОННЫХ СЕТЕЙ

 

АССОЦИАТИВНАЯ ПАМЯТЬ И КАТЕГОРИЗАЦИЯ

 

Под ассоциативной памятью ( или памятью, адресуемой по содержанию) понимается способность системы нейронов, например, мозга млекопитающих восстана

s