close

Вход

Забыли?

вход по аккаунту

?

768.Нейронные модели на основе импульсного нейрона Ануфриенко С Е

код для вставкиСкачать
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Министерство образования и науки Российской Федерации
Ярославский государственный университет им. П. Г. Демидова
С. Е. Ануфриенко, Е. В. Коновалов
НЕЙРОННЫЕ МОДЕЛИ
НА ОСНОВЕ ИМПУЛЬСНОГО НЕЙРОНА
Учебное пособие
Рекомендовано
Научно-методическим советом университета
для студентов, обучающихся по направлению
Прикладная математика и информатика
Ярославль 2012
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
УДК 004.032.26 (075.8)
ББК В 182я73
А 73
Рекомендовано
Редакционно-издательским советом университета
в качестве учебного издания. План 2012 учебного года
Рецензенты:
Проказников А. В., доктор физико-математических наук;
кафедра кибернетики Ярославского государственного технического университета
Ануфриенко, С. Е. Нейронные модели на основе импульсного нейрона:
учебное пособие / С. Е. Ануфриенко, Е. В. Коновалов; Яросл. гос. ун-т
А 73 им. П. Г. Демидова. – Ярославль : Яросл. гос. ун-т им. П. Г. Демидова,
2012. – 80 с.
ISBN 978-5-8397-0867-9
В пособии описаны математические модели импульсного нейрона, нейронного клеточного автомата и обобщенного нейронного элемента. Исследованы нейронные сети различной архитектуры, состоящие из этих элементов. Подробно разобрана методика аналитических исследований и численных экспериментов, приведены их результаты.
Предназначено для студентов, обучающихся по направлениям 010400.62
Прикладная математика и информатика, 010500.65 Прикладная математика и информатика (дисциплине «Нейросети на основе импульсной модели
нейрона», блок ОПД, цикл Б3), очной формы обучения.
Библиогр.: 17 назв.
УДК 004.032.26 (075.8)
ББК В 182я73
ISBN 978-5-8397-0867-9
c Ярославский
государственный университет
им. П. Г. Демидова, 2012
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Оглавление
Введение
4
1. Биологические предпосылки моделирования
1.1. Биологическая справка . . . . . . . . . . . . . . .
1.2. Природа мембранного потенциала . . . . . . . . .
1.3. Модель Ходжкина – Хаксли . . . . . . . . . . . .
1.4. Модифицированная модель импульсного нейрона
2. Импульсная модель нейрона-автогенератора
2.1. Исследование общей модели . . . . . . . . . .
2.2. Модель синаптического взаимодействия . . .
2.3. Нахождение латентного периода . . . . . . . .
2.4. Кольцо из импульсных нейронов . . . . . . . .
2.5. Кратные волны . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
6
7
9
10
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
12
12
13
15
16
20
3. Импульсная модель порогового нейрона
3.1. Описание и исследование модели . . . . . . . . . . . . . . . . . .
3.2. Понятие о диффузионном взаимодействии нейронов . . . . . . .
3.3. Колебания в системе из шести пороговых нейронов . . . . . . . .
3.4. Исследование устойчивости положения равновесия . . . . . . . .
3.5. Волны в кольце из диффузионно связанных пороговых нейронов
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
25
25
28
28
29
31
.
.
.
.
33
33
34
36
39
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4. Сети нейронных клеточных автоматов
4.1. Описание модели нейронного клеточного автомата
4.2. Кольцо из трех НКА . . . . . . . . . . . . . . . . .
4.3. Самоорганизация полносвязной сети НКА . . . . .
4.4. Синхронизация в слабо неоднородной сети НКА .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5. Обобщенный нейронный элемент
5.1. Описание модели обобщенного нейронного элемента . . . . . . . . . . .
5.2. Простейшие свойства модели
обобщенного нейронного элемента . . . . . . . . . . . . . . . . . . . . . .
5.3. Частные случаи функционирования обобщенного нейронного элемента
5.4. Универсальный характер
обобщенного нейронного элемента . . . . . . . . . . . . . . . . . . . . . .
45
45
47
48
50
6. Аналитические исследования ОНЭ-сетей
52
6.1. Кольцевые структуры обобщенных нейронных элементов . . . . . . . . 52
6.2. Пачечная активность в ОНЭ-сетях . . . . . . . . . . . . . . . . . . . . . 59
6.3. Адаптация в ОНЭ-сетях . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
7. Численные исследования ОНЭ-сетей
67
7.1. Общий алгоритм программ для численных исследований ОНЭ-сетей . . 67
7.2. Численные исследования кольцевых структур . . . . . . . . . . . . . . . 73
7.3. Дальнейшие исследования ОНЭ-сетей . . . . . . . . . . . . . . . . . . . 74
Список литературы
76
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Введение
Изучение биологических нейронных сетей является одним из приоритетных направлений современной науки. Создание математических моделей искусственных
нейронных сетей и изучение их свойств представляет собой важнейший метод исследования в данной области. Интенсивное развитие нейросетевых технологий обусловлено целым спектром практических запросов в медицине, экономике, физике,
химии, информатике и др.
Возникновение теории нейронных сетей связывают с классическими работами
У. Мак-Каллока и В. Питтса [10], а также Д. Хебба [16] и Дж. Экклса [15]. В дальнейшем данная теория была развита в работах Ф. Розенблатта, М. Минского, В. Маунткасла, Д. Эдельмена, В. Л. Дунина-Барковского, А. А. Фролова, Дж. Хопфилда,
Т. Кохонена и др. Параллельно с возникновением и изучением нейросетевых моделей развивалось знание о биологических нейронных сетях в работах Э. Эндриана,
Р. Лоренте де Но, Н. П. Бехтеревой, М. Н. Ливанова, А. Н. Лебедева и др.
Теория нейронных сетей является одним из перспективных направлений в теоретических исследованиях человеческого мозга. Задача моделирования живого мозга,
с одной стороны, очень привлекательна, с другой — невероятно сложна. Мозг человека состоит из 1011 нейронов, число связей между которыми приблизительно равно
1015 . Один нейрон может быть соединен с сотнями и тысячами других нейронов.
Средний размер нейрона менее 0.1 мм, а длина аксона может превышать один метр
при толщине в несколько микрометров. Скорость передачи импульсов между нейронами головного мозга оценивается как 0.5 – 2 м/с. Функции, выполняемые мозгом,
поражают своей сложностью и разнообразием. Имеющиеся данные о характере нейронной активности и принципах нейронных взаимодействий пока что не привели к
пониманию механизмов обработки информации в мозге — таких, как кодирование,
запоминание, вспоминание, распознавание, принятие решений, мышление и т.д.
За время исследования данной проблемы были разработаны многочисленные модели нейрона, но чаще всего эти модели либо были слишком сложны и не поддавались
аналитическому исследованию, либо недостаточно соответствовали свойствам биологического нейрона. Наиболее точно процесс генерации спайков описали А. Ходжкин
и Э. Хаксли. Их модель мембраны аксона кальмара представляет собой нелинейную
систему из четырех дифференциальных уравнений с большим количеством параметров. Биологические предпосылки моделирования нейрона и модель Ходжкина –
Хаксли представлены в первой части настоящего пособия. Эта часть взята из лекций
В. В. Майорова, читаемых им на факультете ИВТ ЯрГУ в рамках курса "Концепции
современного естествознания".
Импульсная модель нейрона, предложенная В. В. Майоровым, основана на дифференциальном уравнении с запаздывающим аргументом. С одной стороны, она достаточно точно описывает процессы, приводящие к генерации спайков. С другой
стороны, сети из таких нейронов можно исследовать аналитически с помощью специального метода большого параметра, разработанного С. А. Кащенко. На основе этой
модели разработаны нейронные сети, которые решают такие задачи, как хранение
информации в динамическом виде, адаптация нейронных ансамблей, распространение импульсов по аксону. Вывод импульсной модели нейрона и решение некоторых
сопутствующих задач представлены во второй и третьей частях настоящего пособия.
На основе модели импульсного нейрона был разработан ряд феноменологических
моделей, т. е. моделей, имитирующих функционирование нейрона на качественном
уровне. В первую очередь речь идет о моделях нейронного клеточного автомата и
4
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
обобщенного нейронного элемента. Такие модели отличаются биологической адекватностью и достаточной простотой, что позволяет решать с их помощью более широкий
класс задач, исследуя соответствующие нейронные сети как аналитическими, так и
численными методами.
Четвертая часть настоящего пособия посвящена модели нейронного клеточного
автомата. Приведено решение некоторых задач для нейросетей на ее основе. Заключительные части пособия посвящены модели обобщенного нейронного элемента. Помимо описания модели даны подробные решения некоторых нейросетевых задач аналитическими методами. Также изложен алгоритм численных исследований соответствующих нейронных сетей.
Авторы считают своим долгом выразить благодарность М. Л. Мячину и Г. В. Шабаршиной за помощь при написании пособия.
5
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
1. Биологические предпосылки моделирования
1.1. Биологическая справка
Приведем краткие сведения о строении и функционировании биологического нейрона. Строение нервной клетки весьма сложно, но при моделировании естественно
и целесообразно ограничиться принципиальными структурами и свойствами биологического нейрона. Каждый нейрон состоит из центральной части — тела, внутри
которого находится ядро, и древовидных отростков, расходящихся от тела в разных
направлениях [3]. Относительно короткие отростки называются дендритами, а единственный длинный носит название аксона.
Независимо от местоположения и функций, любой нейрон, подобно другим клеткам организма, ограничен липопротеиновой мембраной, которая определяет его индивидуальные границы и является хорошим изолятором. По обе стороны мембраны
между содержимым клетки и внеклеточной жидкостью существует электрическая
разность потенциалов. Эту разность называют мембранным потенциалом. Своим происхождением мембранный потенциал обязан неравномерному распределению ионов
по обе стороны мембраны. Большую часть времени наружная поверхность мембраны
электроположительна по отношению к внутренней. Мембранный потенциал отрицателен и велик по абсолютной величине (состояние поляризации).
Под влиянием внутренних или внешних процессов мембранный потенциал медленно растет, и по достижении им некоторого значения, называемого пороговым,
нейрон генерирует кратковременный высокоамплитудный импульс (спайк, или потенциал действия). Во время спайка мембранный потенциал быстро растет, затем
так же быстро падает, и его значение становится меньше, чем вначале. После спайка
мембрана гиперполяризована, нейрон находится в рефрактерном состоянии. Постепенно мембранный потенциал восстанавливает нормальное значение. Все процессы
происходят за счет ионных токов через мембрану, главную роль при этом играют
токи ионов натрия и калия.
Данный спайк распространяется по аксону и его разветвлениям до мест контактов
с другими нейронами. Такие места контактов традиционно называются синапсами.
При поступлении сигнала к синапсу в нем выделяются особые химические вещества
— медиаторы. Под действием пришедшего спайка синапс, в зависимости от типа
выделяемого медиатора, оказывает возбуждающее или тормозное влияние на нейрон-приемник. По типу синапсов нейроны классифицируются как возбудительные и
тормозные, поскольку каждый нейрон-передатчик образует синапсы только одного
типа.
Начало каждого спайка связывают с достижением мембранным потенциалом порогового значения генерации. Относительно медленный рост мембранного потенциала из состояния гиперполяризации (после спайка) до порогового значения генерации обусловлен рядом причин, из которых многие авторы выделяют как главную —
возбуждение, поступающее от других нейронов. Одновременно немаловажную роль
здесь играют внутринейронные механизмы, которые вносят существенный вклад в
процесс деполяризации.
В течение некоторого промежутка времени после своего спайка нейрон абсолютно невосприимчив к внешнему воздействию. Этот временной промежуток называется
периодом рефрактерности. Считается, что спайк, пришедший на синапсы нейронаприемника во время рефрактерного периода, не вызывает выделения медиаторов.
6
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
После завершения периода рефрактерности нейрон вновь становится чувствителен
к внешнему воздействию.
Такова в общих чертах схема функционирования биологических нейронов — при
всем их разнообразии в природе. В соответствии с этой схемой описывается большинство известных математических моделей нейронных элементов.
Большинство моделей нейронных элементов может быть разделено на два класса. К одному из них относятся элементы, которые не способны к самостоятельной
генерации спайка: нейроны-детекторы, или пороговые нейроны. При этом сети из
таких нейронов обладают способностью функционировать в колебательном режиме за счет взаимодействия отдельных нейронов или нейронных ансамблей. Другой
класс образуют элементы, обладающие способностью самостоятельно генерировать
спайки, обычно периодическим образом. Такие нейронные модели называются нейронами-пейсмейкерами, или автогенераторами. Как показывают биологические исследования, нервные клетки обоих типов находятся в биологических нейронных сетях,
в том числе и в человеческом мозге.
1.2. Природа мембранного потенциала
Ионная гипотеза о причинах поляризации мембраны была высказана Ю. Бернштейном в 1902 году. Мембрана, отделяющая цитоплазму нейрона от межклеточной
среды, состоит в основном из липидов — жироподобных веществ. В нее встроены
белковые молекулы. Некоторые молекулы пронизывают липидный слой насквозь, а
другие погружены лишь до сердцевины (своеобразные ворсинки). Некоторые белки
исполняют роль каналов, осуществляющих транспорт ионов через мембрану. Другие
белки служат рецепторами, позволяющими нейрону реагировать на поступающие от
других нейронов потенциалы действия.
Рассуждая о природе мембранного потенциала, Бернштейн предположил, что концентрация ионов K + в клетке выше, чем во внеклеточной среде. Вследствие этого
ионы K + диффундируют из клетки. Образуется относительный дефицит положительных ионов внутри клетки, и внутренняя поверхность мембраны заряжается отрицательно. Тем самым потенциал покоя определяется равновесным электрохимическим потенциалом для ионов K + .
Далее Бернштейн предположил, что в жизни нейрона иногда наступает особый
момент — состояние возбуждения, когда на короткое время мембрана становится проницаемой и для других ионов, в частности для натрия и хлора. В результате притока
внутрь клетки положительных ионов величина мембранного потенциала падает, он
обращается в ноль, а затем, после восстановления избирательных свойств мембраны,
снова приходит в норму. Так впервые была объяснена генерация спайка.
В начале спайка ионы натрия под действием электрического поля и концентрационного градиента устремляются из межклеточной среды в клетку (в клетке их
концентрация ниже, и внутренняя поверхность мембраны заряжена отрицательно
по отношению к внешней). После смены знака мембранного потенциала ионы натрия продолжают перемещаться в клетку только под действием концентрационного
градиента. Мембранный потенциал на максимуме овершута (фазы, при которой мембранный потенциал положителен) приближается к равновесному электрохимическому потенциалу для ионов N a+ . В дальнейшем проницаемость мембраны для ионов
натрия падает и активируется проводимость для ионов калия, которые движутся из
клетки, где их концентрация выше. Ионы калия уносят из клетки положительный
7
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
заряд. Внутренняя поверхность мембраны заряжается отрицательно. Это натриевокалиевый цикл.
В течение цикла ионы натрия заходят в клетку, а ионы калия ее покидают. Такое
замещение должно выравнивать концентрации ионов. Казалось бы, что после ряда
циклов нервная клетка не должна генерировать спайков (концентрации ионов внутри и вне клетки уравняются). В действительности это не так. Неравномерное распределение ионов внутри и вне клетки поддерживается активным транспортом ионов.
Механизмы, осуществляющие транспорт ионов через мембрану в сторону повышенной концентрации, называются мембранными насосами (помпами). Они потребляют
энергию, которая освобождается в результате окисления аминокислот.
Наиболее изучен натриевый насос. Он выводит ионы N a+ из клетки и одновременно транспортирует ионы K + внутрь клетки. Этот процесс включает в себя обязательный обмен двух ионов K + во внешней среде на три иона N a+ в клетке (если удалить
из среды ионы K + , то ионы N a+ из клетки выводиться уже не будут). Если мембранный потенциал отрицателен (внутренняя поверхность мембраны заряжена отрицательно), то натриевый насос выполняет электрическую работу, выводя из клетки
суммарно один положительный заряд. Натриевый насос действует избирательно. Например, он не способен переносить ионы лития. Молекулярный механизм активного
транспорта в настоящее время до конца не ясен. Натриевый насос — один из главных механизмов, благодаря которому внутри клетки поддерживается избыточная по
сравнению с внешней средой концентрация ионов K + и недостаточная (примерно в
десять раз меньшая, чем во внеклеточной жидкости) концентрация ионов N a+ .
Процесс генерации спайка подробно исследовали А. Ходжкин и Э. Хаксли. Исследования обнаружили, что даже пассивный транспорт ионов (в соответствии с
градиентом концентраций и направлением электрического поля) подчиняется специфическим закономерностям. Для их объяснения Ходжкиным и Хаксли была высказана гипотеза о наличии в мембране специальных ионных каналов, служащих для
транспортировки ионов.
При положительном отклонении мембранного потенциала от потенциала в состоянии покоя (значение потенциала уменьшается по абсолютной величине) активируются (открываются) каналы для N a+ , пропускающие эти ионы внутрь клетки.
Ионы N a+ движутся в соответствии с направлением электрического поля, причем в
область с меньшей концентрацией. Каналы играют роль селективных (избирательных) фильтров, пропускающих ионы N a+ и непроницаемых для других ионов. Механизмы, приводящие к открытию и закрытию каналов, называются воротами. При
деполяризации (уменьшении абсолютной величины мембранного потенциала) открываются активационные так называемые m-ворота для натриевых каналов. Чем сильнее деполяризована мембрана, тем больше m-ворот открыто, что, в свою очередь,
увеличивает деполяризацию. Процесс открытия ворот протекает лавинообразно.
При относительно длительной деполяризации натриевые каналы инактивируются. Закрываются так называемые h-ворота, которые блокируют каналы через время
порядка 1 мс после открытия m-ворот. В 1980 г. Ф. Сигворс и Э. Неер зарегистрировали токи через единичные натриевые каналы. Оказалось, что они подчиняются
закону "все или ничего": открываются практически мгновенно, а через время около 1 мс так же практически мгновенно закрываются. Ионные каналы представляют
собой молекулы белка, вкрапленные в липидный слой мембраны.
В районы максимума пика потенциала действия большинство натриевых каналов инактивируется, т. е. закрываются h-ворота. Встает вопрос, каким образом мем-
8
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
бранный потенциал возвращается к исходному уровню — состоянию покоя? Экспериментально Ходжкин и Хаксли обнаружили, что с некоторым запаздыванием по
отношению к началу натриевого тока возникает калиевый ток. Ионы калия начинают покидать клетку, поскольку активируются калиевые каналы. Гипотеза связывает
это с открытием так называемых n-ворот. Ионы калия движутся в область с меньшей концентрацией (пассивный транспорт). При этом в районе овершута движение
осуществляется в соответствии с направлением электрического поля. Калиевый ток
уносит из клетки (точнее, с внутренней поверхности мембраны) положительный заряд. Мембрана снова поляризуется.
Считается, что, в отличие от натриевых каналов, для калиевых каналов нет инактивационных ворот. Активационные n-ворота сами закрываются, когда мембрана
возвращается к уровню потенциала покоя (реполяризуется).
1.3. Модель Ходжкина – Хаксли
В процессе исследования мембраны гигантского аксона кальмара А. Ходжкин и
Э. Хаксли в 1952 году разработали модель генерации спайка, названную их именами
[17].
Они предложили считать проводимость ḡl для тока утечки постоянной: ḡl = gl =
const. В результате для описания процесса генерации потенциала действия была
предложена система четырех уравнений.
Первое из них — электрохимическое уравнение для баланса мембранных токов:
iC + iN a + iK + il = 0.
Второе и третье уравнения описывают соответственно переменные m (t) и h (t)
активации и инактивации натриевых каналов. Наконец, четвертое уравнение отражает динамику n (t) — переменной активации калиевых каналов. Система уравнений
Ходжкина – Хаксли имеет следующий вид:
c
dV
= gN a m3 h (VN a − V ) + gK n4 (VK − V ) + gl (Vl − V ) ,
dt
(1)
dm
m∞ (V ) − m
=
,
dt
τm (V )
(2)
dh
h∞ (V ) − h
=
,
dt
τh (V )
(3)
dn
n∞ (V ) − n
=
,
dt
τn (V )
(4)
где VN a = 112, VK = −12, Vl = 10.
В (2)—(4) функции m∞ (V ), h∞ (V ), n∞ (V ), τm (V ), τh (V ), τn (V ) положительны
и непрерывны. Функции m∞ (V ), h∞ (V ), n∞ (V ) относятся к классу так называемых сигмоидных функций, т. е. они монотонны и обладают следующими свойствами: m∞ (V ) → 1, h∞ (V ) → 0, n∞ (V ) → 1 при V → ∞ и m∞ (V ) → 0, h∞ (V ) → 1,
9
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
n∞ (V ) → 0 при V → −∞. Легко показать, что в (2)—(4) переменные m(t), h(t), n(t) ∈
(0, 1), следовательно, имеют вероятностный смысл.
В работах Ходжкина и Хаксли указан конкретный вид функций, входящих в систему (1)—(4), которые устроены весьма сложно. Реально система уравнений допускает только численное исследование. Ограничимся рядом замечаний на качественном
уровне, иллюстрирующих впечатления от численного исследования.
Входящие в систему (1)—(4) функции подобраны так, что выполнен ряд свойств.
Система имеет устойчивое состояние равновесия (V∗ , m∗ , h∗ , n∗ ), где V∗ = 0, а m∗ ,
h∗ , n∗ — положительны.
Пусть V (t0 ) > 0, m (t0 ) ≈ m∗ , h (t0 ) ≈ h∗ , n (t0 ) ≈ n∗ . Если значение V (t0 ) не
слишком велико, то в силу устойчивости состояния равновесия с течением времени:
V (t) → 0.
Во время всего цикла генерации спайка значение gK n4 калиевой проводимости
запаздывает как по отношению к натриевой проводимости gN a m4 n, так и к самому
мембранному потенциалу V (t). Калиевые каналы получили название каналов задержанного выпрямления. На системе уравнений Ходжкина – Хаксли реализована идея
запаздывания.
Уравнения, описывающие мембрану гигантского аксона кальмара, вскоре были
модифицированы для описания мембраны перехвата Ранвье. Позднее они были декларативно перенесены на все нервные клетки.
Система уравнений Ходжкина – Хаксли служит для описания переходного процесса, который и называется генерацией спайка. Сами авторы, понимая это, не предпринимали попыток идентифицировать с экспериментом данные, полученные по модели
после переходного процесса. Они успешно использовали модель для объяснения процесса распространения нервного импульса по волокнам. Эта модель, безусловно, является феноменальным достижением, воплощающим физиологическую теорию возникновения и проведения возбуждения.
Перенос модели Ходжкина – Хаксли на все нейронные образования, по-видимому,
не совсем правомерен. Импульс, как реакция только на внешнее воздействие, присущ
нейронам-детекторам. Однако многие нейроны обладают авторитмичностью (способностью периодически генерировать импульсы). Коэффициенты в системе уравнений
Ходжкина-Хаксли можно выбрать так, что будут наблюдаться периодические режимы, поскольку система достаточно богата. При этом подобный выбор коэффициентов
значительно усложняет анализ системы.
1.4. Модифицированная модель импульсного нейрона
Используя имеющиеся биологические предпосылки для моделирования, в 1990
году В. В. Майоров предложил модифицированную модель импульсного нейрона
[6]. В ее основе также лежит калиево-натриевый цикл. В новой модели учтен тот
факт, что ток ионов натрия регулируется двумя видами ворот: открывающимися
m-воротами и запаздывающими по отношению к ним закрывающимися h-воротами.
Примем уровень наибольшей поляризации мембраны (состояние гиперполяризации) за начало отсчета. Положительное отклонение мембранного потенциала от этого уровня обозначим через u. Уравнение баланса токов, текущих через мембрану,
запишем в виде:
10
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
cu̇ = IN a + IK + Il .
(5)
Il = gl (ul − u) ,
(6)
Здесь
где ul — равновесный электрохимический потенциал токов утечки, а gl равно константе.
Представим натриевый IN a и калиевый IK токи следующим образом:
IN a = χN a u,
IK = χK u.
(7)
Здесь коэффициенты χN a и χKa есть функции от u. Представление для IK не
вызывает удивления, поскольку значение мембранного потенциала в состоянии гиперполяризации близко к равновесному для ионов калия. Для натриевого IN a тока,
согласно общепринятому, следовало бы записать: IN a = χ∗N a (uN a −u), где uN a — равновесное значение потенциала для ионов натрия (оно положительно и велико). Однако
даже для пассивных мембран коэффициент χ∗N a является нелинейной функцией от
u. Более того, анализ показывает, что в условиях сильной поляризации мембраны (u
— мало) коэффициент χ∗N a весьма мал. Поэтому мыслимо, что χ∗N a = χ∗∗
N a u. Таким
образом получается представление (5).
В силу описанных выше процессов активации и инактивации натриевых каналов
для коэффициента χN a предлагается следующий вид зависимости от мембранного
потенциала:
χN a = a − fN1 a (u (t)) fN2 a u(t − h2N a ) ,
(8)
где первый сомножитель описывает процесс активации, а второй — запаздывающий
на время h2N a процесс инактивации натриевых каналов. В соотношении (8) положительные функции fN1 a (u) , fN2 a (u) → 0 при u → ∞.
Учитывая задержку калиевой проводимости, положим:
χK = − (b − fK (u(t − hK ))) ,
(9)
где положительная функция fK (u) → 0 при u → ∞. Согласно биологическим данным, справедливо соотношение: b > a > 0.
Подставляя (6)—(9) в (5) и проводя нормировку времени, придем к уравнению
вида:
(10)
u̇ = λ a − fN1 a (u) fN2 a (u(t − 1)) − b − fK u(t − h0K ) − gl u + u0l ,
где λ >> 1, h0K — нормированное запаздывание калиевой проводимости, u0l пропорционально ul . Без ограничения общности можно считать, что fN2 a (0) = 1. Для простоты
положим h0K = 1. Необходимое требование к уравнению (10):
a fN2 a (0) − (b − fK (0)) − gl > 0.
Уравнение (10) описывает и нейрон-детектор и нейрон-автогенератор. На основе предложенной модели В. В. Майоровым также были разработаны специальные
модели импульсных нейронов автогенераторного и детекторного типа.
11
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
2. Импульсная модель нейрона-автогенератора
2.1. Исследование общей модели
Способность автогенератора порождать спайк без внешнего воздействия обусловлена главным образом токами ионов натрия и ионов калия. Роль токов утечки крайне
незначительна. Учитывая этот факт, уравнение, моделирующее нейрон-автогенератор, можно упростить:
u̇ = λ
a − fN1 a (u) fN2 a (u(t − 1)) − (b − fK (u(t − 1))) u .
В последнем уравнении вынесем за скобку множитель b и переобозначим:
bλ → λ,
a
→ a (a < 1).
b
Для функций проводимости ионов натрия и калия сохраним прежние обозначения.
Окончательно получим:
(11)
u̇ = λ a − fN1 a (u) fN2 a (u(t − 1)) − (1 − fK (u(t − 1))) u .
Важную роль играет параметр
α = fK (0) − 1 + a − fN1 a (0),
который положителен и мал по абсолютной величине. Рассмотрим уравнение (11)
при специальных начальных условиях. Обозначим через S класс непрерывных на
отрезке [−1, 0] функций ϕ(s), удовлетворяющих условиям:
ϕ(0) = 1,
0 < ϕ(s) 6 eαλs/2 .
Решение с начальным условием u(s) = ϕ(s) при s ∈ [−1, 0] обозначим u(t). Будем
связывать начало и окончание спайка с моментами, когда u(t) пересекает единичное
значение соответственно с положительной и отрицательной скоростью, т. е. в данном
случае начало спайка происходит в нулевой момент времени.
Опишем асимптотическое поведение u(t) при λ → ∞. Введем следующие обозначения:
1
α1 = fK (0) − 1 + a, T1 = 1 + α1 , T2 = T1 + 1 + .
α
Согласно биологическим данным [15], α1 > 1. Далее, пусть 0 < δ 1 — малое
фиксированное число. Через o(1) будем обозначать слагаемые, стремящиеся к нулю
при λ → ∞ равномерно относительно ϕ(s) ∈ S и относительно t. Имеет место важная
лемма, которую здесь приводим без доказательства.
Лемма 2.1. Справедливы следующие асимптотические равенства для u(t) при
λ → ∞:
u(t, ϕ) = eλα1 (t+o(1)) ,
t ∈ [δ, 1 − δ];
u(t, ϕ) = eλ(α1 −(t−1)+o(1)) ,
t ∈ [1 + δ, T1 + 1 − δ];
u(t, ϕ) = eλ(α(t−T1 −1)−1+o(1)) , t ∈ [T1 + 1 + δ, T2 − δ].
Согласно рассмотренной лемме, асимптотическое приближение решения "сшивается" из трех экспонент. Данное решение имеет простой биологический смысл: оно
12
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
описывает процесс генерации спайка и последующего изменения мембранного потенциала нейрона вплоть до нового спайка. Из формул следует, что при λ → ∞
продолжительность спайка близка к T1 .
Из леммы вытекает важное следствие. В третьем соотношении леммы сделаем
замену t = T2 + s, где s ∈ [−1, 0]. Получим:
1
u(s) = eλ(α(T2 +s−T1 −1)−1+o(1)) = eλα(s+T2 −T1 −1− α +o(1)) = eλα(s+o(1)) .
Обозначим
ϕ(s) = eλα(s+o(1)) .
Очевидно, что ϕ(s) ∈ S. Введем во множестве начальных условий S оператор Π по
правилу:
Πϕ(s) = u(T2 + s, ϕ), s ∈ [−1, 0].
Из проведенных рассуждений следует, что ΠS ∈ S, поэтому существует ϕ(s) ∈ S,
которая переходит сама в себя, т. е. решение, соответствующее данной начальной
функции, является периодическим.
2.2. Модель синаптического взаимодействия
Сложность картины электрической активности нейронных ансамблей обусловлена взаимодействием их элементов. Разветвления аксона заканчиваются в непосредственной близости от поверхности тел или дендритов других нейронов. Спайк генерируется в центральной части нейрона — в теле. Рожденный нейроном спайк, распространяясь по аксону и его разветвлениям, достигает синапсов. В бутоне — пресинаптической части — под действием пришедшего нервного импульса генерируется
выброс заключенных в пузырьки белков — медиаторов. Они оказывают возбуждающее или тормозное воздействие на часть мембраны, называемую постсинаптической.
В зависимости от типа выделяемого медиатора синапсы делятся на возбудительные
и тормозные. В синапсах количество медиатора, вырабатываемого в ответ на раздражение, быстро нарастает, относительно стабилизируется, а после окончания импульса
медиатор распадается. Возбудительное воздействие может вызвать у постсинаптического нейрона спайк или приблизить момент начала спайка. Считается, что в течение
спайка медиатор практически не оказывает влияния на динамику мембранного потенциала постсинаптического нейрона.
После спайка в течение некоторого времени восприимчивость нейрона понижена,
поэтому будем считать, что на этом участке медиатор не оказывает влияния на эволюцию мембранного потенциала. Таким образом, спайк и некоторый следующий за
ним участок времени представляют собой зону невосприимчивости к медиаторному
воздействию. Этот промежуток времени называется рефрактерным периодом.
Примем гипотезу, что на участке восприимчивости присутствие медиатора, в соответствии с его типом, увеличивает или уменьшает скорость изменения мембранного
потенциала на величину, пропорциональную u(t). Будем также считать, что медиатор
присутствует только во время пришедшего импульса, где его количество неизменно.
Рассмотрим нейрон, находящийся под синаптическим влиянием других нейронов.
Его динамику можно описать уравнением:
u̇ = λ a − fN1 a (u(t)) fN2 a (u(t − 1)) + fK (u(t − 1)) − 1 u +
m
X
+ λαH(u)
gk V (t − tk ) u.
(12)
k=1
13
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Правая часть уравнения (12) состоит из двух слагаемых: первое описывает собственную активность нейрона, второе характеризует внешнее воздействие на нейрон. Остановимся на втором слагаемом подробнее. В нем функция V (t) — это индикатор, указывающий на присутствие медиатора:
1 при t ∈ [0, T1 ],
V (t) =
0 при t ∈
/ [0, T1 ],
где T1 — асимптотическая продолжительность спайка; tk (k = 1, . . . , m) — время начала выделения медиатора на k-м синапсе; αgk — множители, определяющие вклад
k-го синапса в динамику мембранного потенциала; H(u) — функционал, обеспечивающий наличие рефрактерного периода. Он может быть представлен в следующем
виде:
H(u) = Θ(1 − u(t)) · Θ(1 − u(t − (1 − ε)T1 )) · Θ(1 − u(t − 2(1 − ε)T1 )).
Здесь 0 < ε 1, Θ(s) — функция Хевисайда:
1 при s > 0,
Θ(s) =
0 при s < 0.
Функционал H(u) обращается в нуль во время спайка и в течение времени 2(1 − ε)T1
после него. Таким образом, продолжительность рефрактерного периода, включая
время спайка, составляет TR = (3 − 2ε)T1 . Это соответствует биологическим данным,
согласно которым 2T1 < TR < 3T1 . Будем считать, что период рефрактерности короче
периода собственной активности нейрона: TR < T2 .
В некоторых случаях удобнее использовать другое представление функционала
H(u):
H(u) = Θ(1 − u(t)) · Θ(1 − u(t − 1)) · Θ(u(t) − u∗ ).
Здесь u∗ — пороговое значение, по достижении которого считается, что нейрон вышел
из рефрактерного состояния. Это значение определяется формулами:
u∗ = e−λp ,
0 < p < 1.
При этом справедливы неравенства:
u∗ < 1,
u∗ > umin = e−λ(1+o(1)) .
Параметр p следует выбирать с таким расчетом, чтобы длительность рефрактерного
периода удовлетворяла ограничениям, о которых говорилось выше.
Рассмотрим случай, когда данный нейрон находится под воздействием только
одного нейрона (m = 1). Пусть время действия медиатора равно продолжительности
спайка (T1 ). Время появления медиатора обозначим tV (tV ∈ [0, T2 ]). Уравнение,
описывающее динамику мембранного потенциала данного нейрона, примет вид:
u̇ = λ a − fN1 a (u(t)) fN2 a (u(t − 1)) + fK (u(t − 1)) − 1 + αgH(u)V (t − tV ) u. (13)
В качестве начального условия выберем
u(s) = ϕ(s) ∈ S,
14
s ∈ [−1, 0].
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
TR — это такой момент времени, когда u(t, ϕ) пересекает с положительной скоростью
пороговое значение u∗ на интервале t ∈ [0, T2 ], т. е. u(TR ) = u∗ . На этом участке нейрон медленно выходит из состояния гиперполяризации, его мембранный потенциал
определяется формулой (см. лемму 2.1):
u(t, ϕ) = eλ(α(t−T1 −1)−1+o(1)) .
Учитывая равенство
T2 = T1 + 1 +
1
,
α
получим:
u(t, ϕ) = eλα(t−T2 +o(1)) .
Отсюда выведем величину рефрактерного периода:
u(TR ) = eλα(TR −T2 +o(1)) = u∗ = e−λp ,
α(TR − T2 + o(1)) = −p.
Получили, что с точностью до слагаемых o(1)
TR = T2 −
p
.
α
Пусть TR < tV < T2 , тогда на промежутке t ∈ [0, tV ] динамика мембранного
потенциала описывается формулами из леммы 2.1. На интервале t ∈ [tV , tV + T1 ] до
тех пор, пока выполнено неравенство u(t, ϕ) < 1, уравнение (13) примет вид:
u̇ = λα(1 + g + o(1))u.
Его решение (с точностью до слагаемых o(1)) имеет вид:
u(t, ϕ) = u(tV , ϕ)eλα(1+g)(t−tV ) .
Отсюда видно, что присутствие медиатора меняет показатель экспоненты, аппроксимирующей u(t, ϕ), и тем самым приближает момент времени ts начала следующего
спайка.
2.3. Нахождение латентного периода
Введем величину Q(tV , g, ϕ) = ts − tV — латентный период, или период скрытой
реакции. Рассмотрим задачу о вычислении данной величины. Очевидно, что значение Q(tV , g, ϕ) зависит от момента начала выделения медиатора. В частности, если
tV < TR − T1 , то действие медиатора закончится раньше, чем нейрон выйдет из
рефрактерного состояния, и, следовательно, никакого внешнего влияния на нейрон
оказано не будет. В этом случае время начала следующего спайка совпадает с собственным периодом нейрона (ts = T2 ), а значит, Q(tV , g, ϕ) = T2 − tV .
Теперь будем считать, что tV > TR − T1 . В этом случае в результате внешнего
воздействия новый спайк нейрона начнется раньше (ts < T2 ). Для определения величины латентного периода необходимо рассмотреть различные случаи. Начинать
вычисления всегда будем с момента окончания периода рефрактерности, поскольку
15
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
до этого момента изменение мембранного потенциала нейрона происходит исключительно за счет внутренних процессов (формулы, описывающие динамику u(t, ϕ) в
этом случае, приведены в лемме 2.1). Вывод формул, задающих величину латентного периода для классических нейронов-автогенераторов, подробно описан в [7]. Там
показано, что результат зависит от значения величины
z(g) = T2 − TR − (1 + g)T1 .
Повторяя практически дословно рассуждения

T2 − tV ,





 T2 − (1 + g)tV + g(TR − T1 ),
Q=
T2 + gTR


1 + g − tV ,



 T2 − tV ,
1+g
а в случае z(g) > 0





Q=




из [7], получим, что в случае z(g) < 0
tV ∈ [0, TR − T1 ];
z(g)
tV ∈ [TR − T1 , TR + 1 + g ];
z(g)
tV ∈ [TR + 1 + g , TR ];
tV ∈ [TR , T2 ];
T2 − tV ,
T2 − (1 + g)tV + g(TR − T1 ),
T2 − tV − gT1 ,
T2 − tV ,
1+g
tV ∈ [0, TR − T1 ];
tV ∈ [TR − T1 , TR ];
tV ∈ [TR , TR + z(g)];
tV ∈ [TR + z(g), T2 ].
Заметим, что u(t+s) ∈ S при s ∈ [−1, 0], поэтому если tV > ts , то следует заменить
tV на tV − ts и применить полученные формулы.
Из формул также следует, что присутствие медиатора на участке восприимчивости приближает следующий спайк нейрона на величину, пропорциональную продолжительности действия медиатора на этом участке, коэффициент пропорциональности равен g. Проиллюстрируем сказанное на примере. Пусть z(g) > 0 и tV ∈
[TR + z(g), T2 ], тогда величина латентного периода определяется по формуле:
Q = ts − tV =
T2 − tV
.
1+g
Это же значение задает время эффективного воздействия на нейрон. Момент начала
спайка приблизится на следующую величину:
T2 − ts = T2 −
T2 − tV
(T2 − tV )(1 + g) − (T2 − tV )
T2 − tV
− tV =
=g
,
1+g
1+g
1+g
что и требовалось доказать.
Аналогичный результат легко может быть получен и во всех остальных случаях.
Отметим также, что эффективность воздействия растет при удалении его начала от
спайка.
2.4. Кольцо из импульсных нейронов
Кольцевые структуры являются одним из характерных объектов изучения при
моделировании различных нейронных сетей. Такие структуры давно обнаружены в
16
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
биологических нейронных сетях, в том числе в человеческом мозге. Подобные нейронные образования могут играть важную роль в механизмах памяти. Одновременно такие структуры обладают сравнительной простотой, что позволяет исследовать их поведение аналитическими методами. При изучении нейронной сети наиболее важным
является исследование режимов нейронной активности и доказательство их устойчивости. Среди таких режимов, возникающих в кольцевых структурах, основным
является последовательное распространение волны нейронной активности по кольцу, например по часовой стрелке.
Рассмотрим кольцевую структуру из N нейронов, в которой первый нейрон взаимодействует со вторым и N -м, второй — с первым и третьим и т. д., N -й нейрон
связан с первым и N − 1-м нейронами.
Пусть в нулевой момент времени начался спайк первого нейрона, а спустя время
ξ2 спонтанно или под влиянием первого нейрона начал генерацию спайка второй нейрон. Аналогично, спустя еще время ξ3 , начинает генерацию спайка третий нейрон и
т. д. В момент tN = ξ2 + ξ3 + · · · + ξN начинается спайк у четвертого нейрона. Описанный на интервале t ∈ [0, tN ] процесс называется однократным прохождением волны
возбуждения по кольцу. Далее, если в момент времени tN первый нейрон уже вышел из рефрактерного состояния (tN > TR ), то он попадает под влияние четвертого
нейрона. Зная значение латентного периода Q(tN ) первого нейрона, мы можем указать отставание ξ10 спайка первого нейрона относительно четвертого. Повторяя эти
0
времен начала спайрассуждения, определим новые рассогласования ξ20 , ξ30 ,. . . , ξN
ков нейронов на втором цикле прохождения волны возбуждения. В силу сказанного
можно записать следующие соотношения:
ξi0
N
i−1
X
X
=Q
ξj +
ξj0 , (i = 1, . . . , N ).
j=i+1
j=1
Это итерационный процесс. Система замкнута, и можно предположить, что он ста0
билизируется. Если существуют предельные значения ξ10 ,. . . , ξN
, то эти числа и есть
рассогласования между спайками нейронов, а полный период системы:
0
Ts = ξ10 + ξ20 + · · · + ξN
.
При этом нужно помнить два обстоятельства. Во-первых, возбуждение от любого
нейрона, возвращаясь к нему, должно попасть на период восприимчивости, т. е. Ts −
ξi0 > TR (i = 1, . . . , N ). Во-вторых, все спайки носят индуцированный характер,
и, поскольку нейроны обладают собственной авторитмичностью с периодом T2 , то
Ts < T2 .
Система уравнений, описывающая динамику кольца из N нейронов, будет иметь
вид:
u̇i = λ [(a − fN a 1)(ui (t))) fN a 2)(ui (t − 1)) + fK (ui (t − 1) − 1] ui
+ λαH(ui )(gi,i+1 Θ(ui+1 − 1) + gi,i−1 Θ(ui−1 − 1))ui
(i = 1, . . . , N ),
u0 ≡ uN ,
uN +1 ≡ u1 .
Здесь
H(u) = Θ(1 − u(t))Θ(1 − u(t − 1))Θ(u(t) − u∗ ),
gi,j > 0 — коэффициент, характеризующий силу воздействия j-го нейрона на i-й.
Ниже будем вести речь о волнах возбуждения, в которых спайки соседних нейронов перекрываются во времени, т. е. нейрон непосредственно реагирует на возбуждение.
17
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Проблема задания начальных условий: для применения асимптотического метода
надо знать поведение нейрона на промежутке времени длины 1, предшествующем
началу спайка. Но моменты времени начал спайков различны, поэтому трудно задать
множество начальных условий (типа класса S) и применить метод шагов.
Выберем четыре момента времени t1 , . . . , tN — начала спайков нейронов на первоначальном цикле прохождения волны возбуждения. Будем считать, что
t1 = 0,
ti−1 < ti < ti−1 + T1 (i = 2, . . . , N ),
TR < tN < T2 .
Здесь T1 — асимптотическая продолжительность спайка,
TR — асимптотическая продолжительность периода рефрактерности,
T2 — асимптотическая продолжительность периода колебаний изолированного нейрона.
Так как рефрактерный период составляет 2 – 3 продолжительности спайка, то
TR > 2T1 . Отсюда следует, что
ti + T1 < ti−1 + 2T1 < ti−1 + TR .
Введем начальные условия:
ui (ti + s) = ϕi (s) ∈ S,
s ∈ [−1, 0].
Условие TR < tN < T2 означает, что в момент начала спайка N -го нейрона первый
нейрон вышел из рефрактерного состояния u1 (tN ) > u∗ , но еще не начал генерацию
собственного спайка.
Поскольку H(u) = 0 при u > 1, то каждое уравнение системы может быть проинтегрировано независимо от других на интервале t ∈ [ti , tci ], где tci — момент окончания
спайка. При этом tci − ti = T1 + o(1).
Смысл неравенства ti−1 < ti < ti−1 +T1 заключается в том, что на первоначальном
цикле волна возбуждения распространяется от первого ко второму, затем к третьему и т. д. до N -го нейрона. При этом спайки соседних нейронов перекрываются во
времени. Это значит, что спайк i-го нейрона (i = 2, . . . , N ) начинается в тот момент,
когда i − 1-й нейрон еще не закончил генерацию своего спайка. А из неравенства
ti + T1 < ti−1 + TR следует, что спайк i-го нейрона (i = 2, . . . , N ) заканчивается в
момент, когда i − 1-й нейрон находится в рефрактерном состоянии. Следовательно,
i-й нейрон не воздействует на предыдущий.
Пусть t01 , . . . , t0N — предполагаемые моменты времени начала спайков на следующем цикле прохождения волны возбуждения. Пусть выполнено следующее:
tN < t01 < tN + T1 ,
t0i−1 < t0i < t0i−1 + T1 (i = 2, . . . , N );
TR < t0i − ti+1 < T2 (i = 1, . . . , N − 1),
TR < t0N − t01 < T2 .
Эти неравенства гарантируют сохранение направления распространения волны и перекрытие спайков соседних нейронов на втором цикле. Из них также следует, что
в момент генерации спайков i-го нейрона i + 1-й нейрон вышел из рефрактерного
состояния. Кроме этого, выполняются неравенства:
t01 + T1 < tN + TR ,
t0i + T1 < t0i−1 + TR (i = 2, . . . , N ),
т. е. и на втором цикле прохождения волны спайк i-го нейрона приходится на зону
рефрактерности предыдущего нейрона.
18
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Мы уже отмечали, что решение uN (t) можно построить на промежутке t ∈ [tN , tcN ].
При этом первый нейрон находится под воздействием N -го. Момент t01 начала спайка определяется через значение латентного периода. Далее находится u1 (t) при t ∈
[t01 , t01 c ].
Рассуждения последовательно повторяются для каждого из нейронов. Таким образом, мы строим функции ui (t) на интервалах t ∈ [tN , t0i ]. Сами числа t0i выражаются
через значения латентных периодов:
t01 − tN = Q(tN , g1,N , ϕ1 ),
t0i − t0i−1 = Q(t0i−1 , gi,i−1 , ϕi ), i = 2, . . . , N.
При этом ui (t0i + s) = ϕ0i (s) ∈ S s ∈ [−1, 0].
Преобразуем отображение, задающее времена начала спайков. Поскольку спайки
соседних нейронов перекрываются во времени и спайк i-го нейрона начинается в
то время, когда i + 1-й нейрон вышел из состояния рефрактерности, то величина
латентного периода определяется по формуле:
Q = ts − tV =
T2 − tV
.
1+g
Поэтому при λ → ∞ получим:
T2 − tN
+ o(1),
1 + g1,N
T2 − (t0i−1 − ti )
+ o(1), i = 2, . . . , N.
=
1 + gi,i−1
t01 − tN =
t0i − t0i−1
(14)
Введем переменные, задающие промежутки времени между началами спайков соседних нейронов:
ξ10 = t01 − tN ,
ξi = ti − ti−1 (i = 2, . . . , N ),
ξi0 = t0i − t0i−1 (i = 2, . . . , N ).
Для них известно, что
0 < ξi0 < T1 (i = 1, . . . , N );
0 < ξi < T1 (i = 2, . . . , N ),
TR <
N
X
ξj +
j=i+1
i−1
X
ξj0
< T2 , (i = 1, . . . , N )
j=1
N
X
ξj0 < T2 .
j=2
Перепишем формулы (14) и отбросим слагаемые o(1):
(1 + g1,N )ξ10 +
N
X
ξj = T2 ,
j=2
i−1
X
ξj0
+ (1 +
gi,i−1 )ξi0
j=1
+
N
X
ξj = T2
(i = 2, . . . , N − 1),
j=i+1
N
−1
X
0
ξj0 + (1 + gN,N −1 )ξN
= T2 .
j=1
19
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Получено линейное отображение в конечномерном пространстве. По своей сути
оно задает итерационный процесс решения системы линейных уравнений методом
Зейделя. Матрица системы симметрична и положительно определена, следовательно, процесс сходится [1]. Это значит, что отображение имеет неподвижную точку,
которая служит начальным условием периодического решения системы. Путем выбора весовых коэффициентов g1,N , . . . , gN,N −1 можно сделать так, чтобы отображение
имело нужную неподвижную точку. Таким образом, справедлива следующая теорема.
0
— произвольные положительные числа, удовлеТеорема 2.1. Пусть ξ10 , . . . , ξN
творяющие следующим соотношениям:
0<
ξi0
< T1 (i = 1, . . . , N ),
Ts =
N
X
ξi0 ,
i=1
Ts − ξi0 > TR (i = 1, . . . , N ).
Ts < T2 ,
Положим:
g1,N =
T2 − Ts
,
ξ10
gi,i−1 =
T2 − Ts
(i = 2, . . . , N ).
ξi0
При таком выборе весовых коэффициентов отображение имеет неподвижную точ0
.
ку ξ10 , . . . , ξN
Тем самым для кольца из N нейронов мы можем указать значения весовых коэффициентов (синаптических весов)
g1,N , . . . , gN,N −1
так, что система имеет аттрактор заданной структуры. Решения, образующие его, —
волны возбуждения, распространяющиеся в сторону возрастания номеров нейронов.
Промежутки времени между спайками принимают наперед заданные значения. Наряду с описанным, система имеет аналогичный аттрактор, у которого образующие
его волны распространяются в сторону убывания номеров нейронов.
2.5. Кратные волны
Если N велико, то существуют и более сложные аттракторы, например кратные
волны. Поясним сказанное на следующем примере. Пусть
g1,N = g2,1 = . . . = gN,N −1 = g,
(т. е. все синаптические коэффициенты одинаковы). Тогда имеется аттрактор, состоящий из волн возбуждения, бегущих в сторону возрастания номеров нейронов.
Промежутки времени между началами спайков соседних нейронов асимптотически
одинаковы. Рассчитаем их величину ξ 0 (без учета слагаемых o(1)), используя формулу для нахождения синаптических коэффициентов:
T2 −
N
X
j=1
ξi0
gi,i−1 =
20
ξj0
.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Так как все синаптические коэффициенты равны g, получаем:
g=
T2 − N ξ 0
,
ξ0
ξ0 =
T2
.
N +g
Коэффициент g нельзя выбирать совсем произвольно. Из неравенства 0 < ξ 0 < T1
получаем ограничение снизу:
T2
< T1 ,
N +g
g>
T2 − N T1
.
T1
Из неравенства Ts − ξ 0 > TR , т. е. (N − 1)ξ 0 > TR , получаем ограничение сверху:
g<
T2 (N − 1) − N TR
.
TR
Эти ограничения должны быть совместными:
T2 − N T1
T2 (N − 1) − N TR
<
.
T1
TR
Отсюда получаем:
TR
< N − 1.
T1
Наконец, из неравенства TR > 2T1 вытекает N > 3. Таким образом, мы получили,
что минимальный размер кольца равен четырем.
Опишем биологический смысл двукратной волны. Пусть в нулевой момент времени начался спайк у первого нейрона. Предположим, что по каким-либо причинам
в тот момент времени, когда первая волна еще не дошла до N -го нейрона, начался
новый спайк первого нейрона. В результате по кольцевой структуре вслед за первой
побежит вторичная волна возбуждения. Такой режим назовем двукратной волной.
Обозначим через ξi (i = 2, . . . , N ) интервалы времени между началами спайков
соседних нейронов для первой волны на начальном такте проведения возбуждения, а
через ηi — запаздывание вторичного спайка i-го нейрона по отношению к первичному.
Другими словами, величины
0,
i
X
ξj (j = 2, . . . , N ),
η1 ,
j=2
i
X
ξj + ηi (j = 2, . . . , N )
j=2
задают моменты начала спайков для первой и второй волн на начальном такте. Должны быть выполнены следующие условия:
0 < ξi < T1 (i = 2, . . . , N ),
0 < ξi + (ηi − ηi−1 ) < T1 (i = 2, . . . , N ),
N
X
ξj > η1 + TR .
j=2
Первое неравенство означает, что спайки соседних нейронов при прохождении первичной волны перекрываются во времени. Второе — то же при прохождении вторичной волны. Третье неравенство показывает, что первичная волна подходит к первому
нейрону в тот момент, когда он уже вышел из рефрактерного состояния после генерации второго спайка. В результате первый нейрон начнет генерацию нового спайка
в момент времени
N
X
ξi + ξ10 .
i=2
21
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Введем числа ξi0 (i = 2, . . . , N ) и ηi0 (i = 1, . . . , N ), имеющие тот же смысл для второго цикла проведения волны возбуждения. Будем считать, что для них выполнены
аналогичные неравенства:
0 < ξi0 < T1 (i = 1, . . . , N ),
0 < ξ10 + (η10 − ηN ) < T1 ,
0
0 < ξi0 + (ηi0 − ηi−1
) < T1 (i = 2, . . . , N ),
N
X
N
X
ξj > η1 + TR ,
j=2
ξj +
j=i+1
ηN > ξ10 + TR ,
i−1
X
ξj0 > ηi + TR (i = 2, . . . , N ),
j=1
0
ηi0 > ξi+1
+ TR (i = 2, . . . , N ).
Смысл этих неравенств (кроме двух последних) мы пояснили раньше. Из двух последних следует, что вторичная волна подходит к нейрону, когда тот уже вышел из
рефрактерного состояния после первичного спайка на следующем цикле.
Выведем рекуррентные формулы для ξi0 и ηi0 . Из априорных допущений следует,
что волна подходит к любому нейрону, когда тот находится в состоянии восприимчивости. Следовательно, значение латентного периода вычисляется так:
Q = ts − tV =
T2 − tV
.
1+g
Эта формула справедлива только в случае, когда предыдущий спайк нейрона начался
в нулевой момент времени. Если же отсчет ведется с момента t = t0 , то tV следует
заменить на tV − t0 .
P
На втором цикле первичная волна подходит к первому нейрону в момент N
j=2 ξj .
Это время поступления внешнего сигнала (tV ). Предыдущий спайк начался в момент
η1 . Рассчитаем латентный период (ξ10 ):
T2 −
N
X
ξj − η1
j=2
ξ10 =
1+g
(без
нейрону в момент
PNк первому
PN учета слагаемых o(1)). Вторичная волна подходит
0
j=2 ξj + ξ1 . Рассчитаем латентj=2 ξj + ηN . Предыдущий спайк начался в момент
ный период:
N
X
ξj +
ξ10
+
η10
−
j=2
N
X
T2 −
N
X
ξj + ηN −
j=2
ξj − ηN =
N
X
ξj − ξ10
j=2
1+g
j=2
η10 (1 + g) − (1 + g)(ηN − ξ10 ) = T2 − (ηN − ξ10 ),
T2 + g(ηN − ξ10 )
.
1+g
С помощью аналогичных рассуждений получаем:
η10 =
T2 −
ξi0 =
N
X
ξj +
i−1
X
j=i+1
ξj0 − ηi
j=1
, i = 2, . . . , N − 1,
1+g
22
,
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ηi0 =
0
− ξi0 )
T2 + g(ηi−1
, i = 2, . . . , N − 1,
1+g
−1
N
X
T2 −
ξj0 − ηN
j=1
0
ξN
=
1+g
,
0
0
T2 + g(ηN
−1 − ξN )
.
1+g
Эти формулы задают отображение в конечномерном пространстве. Система уравнений имеет стационарное решение
0
=
ηN
ξi = ξ 00 =
2T2
,
N + 2g
ηi = η 00 =
T2 N
.
N + 2g
Отметим без доказательства, что данное решение асимптотически устойчиво.
Стационарное решение должно удовлетворять следующим соотношениям:
0 < ξ 00 < T1 ,
(N − 1)ξ 00 > η 00 + TR ,
η 00 > ξ 00 + TR .
Смысл первого из них заключается в том, что спайки соседних нейронов перекрываются во времени. Второе означает, что в момент, когда первая волна подходит к
любому из нейронов, тот уже вышел из рефрактерного состояния после генерации
второго спайка. Смысл третьего неравенства аналогичен смыслу второго, но для
второй волны.
Из данных неравенств вытекают ограничения на синаптический коэффициент g.
Из неравенства ξ 00 < T1 получаем:
2T2
< T1 ,
N + 2g
g>
2T2 − N T1
.
2T1
Из неравенства (N − 1)ξ 00 > η 00 + TR следует:
(N − 1)
2T2
T2 N
>
+ TR ,
N + 2g
N + 2g
(N + 2g)TR < 2(N − 1)T2 − T2 N,
(N − 2)T2 − TR N
.
2TR
Полученные ограничения должны быть совместны, следовательно, имеем:
g<
2T2 − N T1
(N − 2)T2 − TR N
<
.
2T1
2TR
Отсюда следует:
2TR
.
T1
Наконец, из неравенства TR > 2T1 вытекает N > 6. Получили, что для существования
двукратной волны кольцо должно содержать не менее семи нейронов.
N −2>
23
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Таким образом, если выполнены условия на синаптический вес g, то в рассматриваемом случае система имеет аттрактор, состоящий из двух волн, бегущих друг
за другом. Промежутки между спайками соседних нейронов близки к ξ 00 , вторая
волна запаздывает по отношению к первой на время, асимптотически близкое к η 00 .
Отметим, что в этом случае коэффициент g удовлетворяет и неравенствам, гарантирующим наличие первого аттрактора. Далее можно говорить о трехкратных и т. д.
волнах возбуждения. При этом длина кольца должна увеличиваться.
24
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
3. Импульсная модель порогового нейрона
3.1. Описание и исследование модели
Некоторые нейроны способны генерировать спайк только за счет внутренних процессов. Это нейроны-автогенераторы. У других после выхода из состояния гиперполяризации мембранный потенциал достигает некоторого значения (потенциала покоя),
меньшего, чем пороговое. Для того чтобы нейрон сгенерировал новый спайк, требуется внешнее воздействие. Такие нейроны называются пороговыми. Амплитуда спайка
не зависит от силы воздействия, если сигнал достаточен для возбуждения нейрона.
Для описания порогового нейрона оказывается недостаточно рассматривать только
токи ионов натрия и калия, необходимо также учесть токи утечки.
Как было показано раньше, модель порогового нейрона может иметь вид (10).
Если вынести за скобку множитель b + gl , выполнить переобозначения подобно тому,
как это делалось для автогенератора, и учесть, что ток утечки мал по сравнению с
остальными, то мы придем к уравнению:
u̇ = λ
a − fN1 a (u) fN2 a (u(t − 1)) − (1 − fK (u(t − 1))) u + ε.
(15)
Здесь параметр λ 1 отражает высокую скорость протекания электрических
процессов, последнее слагаемое описывает токи утечки, проходящие через мембрану
порогового нейрона, ε — малый параметр: 0 < ε 1. Положительные достаточно
гладкие функции fN1 a (u), fN2 a (u) и fK (u) монотонно убывают к нулю при u → ∞
быстрее, чем O(u−1 ). Они описывают состояние каналов для токов ионов натрия и
калия, fN2 a (0) = 1. Введем параметры:
α = fN1 a (0) − a − (fK (0) − 1) > 0,
α1 = fK (0) + a − 1 > 1.
Число fK (0) − fN1 a (1) + a − 1 > 0 связано с пороговым значением: будем считать, что
спайк нейрона начинается в момент времени ts , такой, что
u(ts ) = 1 и u(t) < 1 при ts − 1 < t < ts .
Правая часть уравнения (15) при u = 0 положительна, а при достаточно больших u
отрицательна, значит, у уравнения (15) есть положение равновесия
u = u∗ ≈
ε
1.
λα
Рассмотрим вопрос о его устойчивости. Линеаризуя уравнение (15) в окрестности u∗ ,
получим (с точностью до o(1), где o(1) — слагаемые, которые стремятся к нулю при
λ → ∞):
ε
u̇ = −λα(u − u∗ ) + [−(fN1 a )0 (u∗ )fN2 a (u∗ )(u − u∗ )+
α
1
2 0
+[(a − fN a (u∗ ))(fN a ) (u∗ ) + fK0 (u∗ )](u(t − 1) − u∗ )].
Выпишем характеристический квазиполином:
µ = −λα +
ε
[−(fN1 a )0 (u∗ )fN2 a (u∗ ) + [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )]e−µ ].
α
25
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Выделим действительную часть:
Re µ = −λα +
ε
[−fN0 a (u∗ ) + [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )]e−Re µ cos(Im µ)].
α
Учитывая, что λ 1, а ε 1, получаем, что все корни характеристического квазиполинома расположены на комплексной плоскости левее мнимой оси. Следовательно,
положение равновесия u = u∗ экспоненциально устойчиво.
Проанализируем уравнение (15) при λ → ∞. Моделировать воздействие на нейрон
будем с помощью задания для него специальных начальных условий:
u(s) = ϕ(s) при s ∈ [−1, 0].
Класс начальных функций состоит из непрерывных на отрезке s ∈ [−1, 0] функций
ϕ(s), удовлетворяющих условиям:
λαs/2 1
.
ϕ(0) = 1, 0 6 ϕ(s) 6 max e
,
λ
Обозначим этот класс функций S. Начало и окончание спайка условно свяжем с
моментами времени, когда u(t) пересекает единичное значение соответственно с положительной и отрицательной скоростью.
Поскольку выполнены равенства
u(0) = ϕ(0) = 1, u(−1) = o(1) и fN2 a (0) = 1,
имеем:
u̇(0) = λ[a − fN1 a (1) + fK (0) − 1 + o(1)] + ε 1.
Следовательно, t = 0 является точкой возрастания функции u(t). С ростом u(t)
выражение в квадратных скобках будет увеличиваться.
Рассмотрим промежуток t ∈ [δ, 1 − δ], где 0 < δ 1 произвольно малое фиксированное число. Имеем:
ε
= o(1).
u(t − 1) = o(1), u(t) 1,
λu(t)
Уравнение (15) примет вид:
u̇ = λ[α1 + o(1)]u,
u(0) = 1.
Его решение:
u(t) = eλ(α1 +o(1))t = eλα1 (t+o(1)) .
На следующем промежутке t ∈ [1+δ, T1 −δ], где T1 определяется из условия u(T1 ) = 1,
имеем:
u(t) 1, u(t − 1) 1.
Следовательно, уравнение (15) примет вид:
u̇ = λ[−1 + o(1)]u,
u(1) = eλα1 (1+o(1)) .
Его решение:
u(t) = eλ(α1 −(t−1)+o(1)) .
26
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Вычислим значение T1 :
u(T1 ) = eλ(α1 −(T1 −1)+o(1)) = 1,
T1 = α1 + 1 + o(1).
Поскольку α1 > 1, то длительность нисходящего участка больше, чем восходящего.
Это соответствует биологическим данным.
На следующем промежутке t ∈ [T1 + δ, T1 + 1 − δ] имеем:
u(t) 1, u(t − 1) 1.
Уравнение (15) примет вид:
u̇ = λ[−1 + o(1)]u + ε,
u(T1 ) = 1.
Его решение:
ε + o(1) −λ(1+o(1))(t−T1 )
ε + o(1)
+ 1−
e
.
u(t) =
λ
λ
Выделяя главное слагаемое, получим:
u(t) =
ε + o(1)
.
λ
При t > T1 + 1 + δ имеем:
u(t) 1, u(t − 1) 1.
Уравнение (15) примет вид:
u̇ = λ[−α + o(1)]u + ε,
u(T1 + 1) =
ε + o(1)
.
λ
Его решение:
ε + o(1)
+
u(t) =
λα
ε + o(1) ε + o(1)
−
λ
λα
e−λ(α+o(1))(t−T1 −1) .
Выделяя главное слагаемое, получим:
u(t) =
ε + o(1)
.
λα
Таким образом, формулы, описывающие динамику мембранного потенциала порогового нейрона, имеют следующий вид:
 λα (t+o(1))
e 1
,
t ∈ [δ, 1 − δ],



λ(α1 −(t−1)+o(1))


, t ∈ [1 + δ, T1 − δ],
 e
ε
+
o(1)
u(t) =
,
t ∈ [T1 + δ, T1 + 1 − δ],


λ



 ε + o(1) ,
t > T1 + 1 + δ.
λα
Из приведенных формул следует, что при t > T1 + 1 + δ приближенное равенство
u ≈ u∗ выполняется до тех пор, пока нейрон не сгенерирует новый спайк, который
может быть вызван только внешним сигналом.
27
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
3.2. Понятие о диффузионном взаимодействии нейронов
Поскольку пороговые нейроны не способны самопроизвольно генерировать спайки, то волны в сетях из таких элементов могут затухать. Интерес представляет изучение незатухающих периодических режимов. Здесь рассматриваются популяции
нейронов с электрическим взаимодействием между ними. Электрические синапсы
встречаются в нервной системе несколько реже химических. Впервые электрическая
передача сигналов между возбудимыми клетками была продемонстрирована Э. Фершпаном и Д. Поттером в 1959 году в опытах на гигантских аксонах рака. Вскоре
электрическая передача возбуждения была обнаружена в центральной нервной системе, в сердечной мышце и рецепторных клетках. Поскольку ток при электрической
передаче идет непосредственно из клетки в клетку, то электрические синапсы обладают высокой степенью надежности. Нейрофизиологи считают, что электрические
синапсы играют очевидную роль в синхронизации активности нейронов, когда охватываются возбуждением несколько нервных клеток.
Нейроны, взаимодействующие посредством электрических синапсов, описываются системой уравнений с разностной диффузией. Ниже рассматриваются популяции,
состоящие из одинаковых нейронов с однородными связями (коэффициенты диффузии одни и те же для всех нейронов). Оказывается, что латентный период для диффузионно связанных нейронов очень стабилен. Тем самым результаты моделирования
электрически связанных нейронов согласуются с общепринятыми биологическими
представлениями о надежности.
3.3. Колебания в системе из шести пороговых нейронов
Рассмотрим кольцо из шести одинаковых пороговых нейронов. Каждый нейрон
связан с предыдущим и следующим за ним нейронами. Пусть ui (t) > 0 — их мембранные потенциалы (i = 1, . . . , 6). Динамика сети описывается следующей системой
дифференциальных уравнений:
u̇1 = λ (a − fN1 a (u1 ))fN2 a (u1 (t) − 1) − (1 − fK (u1 (t − 1))) u1 + ε +
+ e−λσ (u6 + u2 − 2u1 );
(16)
u̇i = λ (a − fN1 a (ui ))fN2 a (ui (t) − 1) − (1 − fK (ui (t − 1))) ui + ε +
+ e−λσ (ui−1 + ui+1 − 2ui ),
(17)
i = 2, 3, 4, 5;
u̇6 = λ (a − fN1 a (u6 ))fN2 a (u6 (t) − 1) − (1 − fK (u6 (t − 1))) u6 + ε +
+ λe−λσ (u5 + u1 − 2u6 ).
(18)
Параметр λ 1 отражает высокую скорость протекания электрических процессов. Параметр 0 < ε 1 учитывает токи утечки, проходящие через мембраны нейронов. Положительные достаточно гладкие функции fN a (u) и fK (u) монотонно убывают к нулю при u → ∞ быстрее, чем O(u−1 ). Они описывают состояние натриевых
и калиевых каналов. Введем параметры:
α = fN1 a (0) − a + 1 − fK (0) > 0,
28
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
α1 = fK (0) + a − 1 > 1.
Смысл параметра σ (0 < σ < α1 ) заключается в следующем: множитель e−λσ подавляет слабые сигналы. Число
fK (0) − 1 + a − fN1 a (1) − 1 > 0
связано с пороговым значением: будем считать, что спайк i-го нейрона начинается в
момент времени ts такой, что
ui (ts ) = 1, ui (t) < 1 при ts − 1 < t < ts .
Отметим, что система уравнений имеет состояние равновесия
ui = u∗ ≈
ε
.
λα
3.4. Исследование устойчивости положения равновесия
Покажем, что состояние равновесия
ui = u∗ ≈
ε
λα
экспоненциально устойчиво. Линеаризованная в окрестности u∗ система (16)—(18)
имеет вид:
ε
[−(fN1 a )0 (u∗ )fN2 a (u∗ )(u1 − u∗ ) +
α
+ [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )](u1 (t − 1) − u∗ )] −
− (λα + 2e−λσ )(u1 − u∗ ) + e−λσ ((u6 − u∗ ) + (u2 − u∗ ));
(19)
ε
[−(fN1 a )0 (u∗ )fN2 a (u∗ )(ui − u∗ ) +
α
+ [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )](ui (t − 1) − u∗ )] −
− (λα + 2e−λσ )(ui − u∗ ) + e−λσ ((ui−1 − u∗ ) + (ui+1 − u∗ )),
(20)
u̇1 =
u̇i =
i = 2, 3, 4, 5;
ε
[−(fN1 a )0 (u∗ )fN2 a (u∗ )(u6 − u∗ ) +
α
+ [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )](u6 (t − 1) − u∗ )] −
− (λα + 2e−λσ )(u6 − u∗ ) + e−λσ ((u5 − u∗ ) + (u1 − u∗ )).
u̇6 =
Обозначим через y(t) ∈ R6 векторную функцию

u1 (t) − u∗
 u2 (t) − u∗

 u3 (t) − u∗
y(t) = 
 u4 (t) − u∗

 u5 (t) − u∗
u6 (t) − u∗
29




.



(21)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Систему (19)—(21) можно переписать в виде:
ẏ = F (y),
(22)
где
F1 (y) =
ε
[−(fN1 a )0 (u∗ )fN2 a (u∗ )y1 + [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )]y1 (t − 1)]−
α
−(λα + 2e−λσ )y1 + e−λσ (y6 + y2 );
Fi (y) =
ε
[−(fN1 a )0 (u∗ )fN2 a (u∗ )yi + [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )]yi (t − 1)]−
α
−(λα + 2e−λσ )yi + e−λσ (yi−1 + yi+1 ),
i = 2, 3, 4, 5;
ε
F6 (y) = [−(fN1 a )0 (u∗ )fN2 a (u∗ )y6 + [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )]y6 (t − 1)]−
α
−(λα + 2e−λσ )y6 + e−λσ (y5 + y1 ).
Будем искать решение уравнения (22) в виде:
y(t) = eµt h,
где h ∈ R6 — постоянный вектор. Получим:

a1 e−λσ
0
0
0
e−λσ
−λσ
−λσ
 e
a2 e
0
0
0

−λσ
−λσ
 0
e
a3 e
0
0
µh = 
−λσ
−λσ
 0
0
e
a4 e
0

 0
0
0
e−λσ a5 e−λσ
e−λσ
0
0
0
e−λσ a6




 h.



(23)
Здесь
ai = −(λα + 2e−λσ ) +
ε
[−(fN1 a )0 (u∗ )fN2 a (u∗ ) + [(a − fN1 a (u∗ ))(fN2 a )0 (u∗ ) + fK0 (u∗ )]e−µ ];
α
i = 1, . . . , 6.
Покажем, что для всех корней уравнения (23) выполнено условие:
Re µ < 0.
При Re µ > 0, отбрасывая слагаемые o(1), получим:

−α 0
0
0
0
0
 0 −α 0
0
0
0

 0
0
−α
0
0
0
µh = λ 
 0
0
0 −α 0
0

 0
0
0
0 −α 0
0
0
0
0
0 −α




 h = −λαh.



Получили, что действительные части всех собственных значений матрицы, стоящей
в правой части последнего равенства, отрицательны. Это значит, что все корни уравнения (23) лежат в комплексной плоскости левее мнимой оси. Следовательно, положение равновесия
ε
ui = u∗ ≈
λα
системы (16)—(18) экспоненциально устойчиво.
30
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
3.5. Волны в кольце из диффузионно связанных пороговых
нейронов
Зададим начальные условия:
u1 (s) = ϕ1 (s),
s ∈ [−1, 0].
Класс начальных функций для первого нейрона состоит из непрерывных на отрезке
s ∈ [−1, 0] функций ϕ1 (s), удовлетворяющих условиям:
λαs/2 1
ϕ1 (0) = 1, 0 6 ϕ1 (s) 6 max e
,
(класс S).
λ
Из данного условия следует, что в момент времени t = 0 начинается спайк первого
нейрона. Для остальных нейронов будем считать, что
ui (s) = u∗ ≈
ε
λα
при s ∈ [−1, 0], (i = 2, 3, 4, 5);
ε
при s ∈ [−1, 0].
λα
Последнее условие означает, что во время начального спайка первого нейрона воздействие на шестой нейрон не оказывается. Если этого не требовать, то после первого
нейрона спайки почти одновременно сгенерируют второй и шестой нейроны, затем
третий и пятый, затем четвертый. После этого волна затухнет, так как третий и
пятый нейроны не успеют восстановиться.
Подробный анализ кольца из классических пороговых нейронов приведен в [7].
Практически дословно повторяя рассуждения из [7], можно показать, что справедлива следующая теорема.
u6 (s) = u∗ ≈
Теорема 3.1. Рассмотрим систему (16)—(18) с начальными условиями
s ∈ [−1, 0] ϕ1 (s) ∈ S,
u1 (s) = ϕ1 (s),
ui (s) = u∗ ≈
ε
λα
при s ∈ [−1, 0] (i = 2, 3, 4, 5),
ε
при s ∈ [−1, T1 ].
λα
Тогда решением является периодический режим, при котором по кольцу как угодно
долго будет распространяться волна нейронной активности, когда нейроны генерируют спайки в порядке возрастания номеров (за шестым нейроном следует первый). Временные рассогласования между спайками соседних нейронов равны τ = ασ1
с точностью до слагаемых o(1), время между последовательными спайками одного
нейрона (период колебаний в кольце) равно 6τ + o(1).
u6 (s) = u∗ ≈
В этом и предшествующем разделах мы рассмотрели примеры исследования простейшей нейронной сети — кольца, в котором каждый нейрон связан с двумя соседями. Аналитическое исследование возможно и в более сложных системах, но только
при достаточно жестких ограничениях. В общем случае нейронная сеть — популяция
нейронов, функционально связанных друг с другом. Выяснить структуру связей в
нервной системе живого организма чрезвычайно сложно, поскольку каждый нейрон
образует синапсы на тысячах других нейронов. Исследование такой сети, даже численное, весьма затруднительно, а часто и вовсе невозможно, т. к. для этого требуется
огромная память и колоссальный объем вычислений.
31
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Один из возможных подходов для преодоления этих трудностей — рассматривать локальные нейронные сети, в которых нейроны связаны лишь с несколькими
ближайшими соседями. Другим подходом может являться создание более простых
нейронных моделей на основе импульсного нейрона. Такие модели называются феноменологическими, поскольку моделируется внешнее поведение биологического нейрона, а не его внутренние процессы.
32
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
4. Сети нейронных клеточных автоматов
На основе анализа динамики импульсного нейрона Г. В. Шабаршиной была разработана феноменологическая модель нейронного клеточного автомата. Эта модель
была предложена в 1994 году в работе [12] и исследована в цикле последующих статей
(например, [8], [13], [14] и др.).
Отличительные особенности модели заключаются в следующем. Спайк превращен в мгновенный импульс. Во время рефрактерного периода мембранный потенциал
не меняется. Также введен экспоненциально падающий порог генерации. Нейронный
клеточный автомат является разновидностью интегративно-порогового элемента.
История клеточных автоматов открывается работой Дж. Неймана о конструировании самовоспроизводящихся машин [11]. Биологические предпосылки при разработке модели клеточных автоматов впервые были использованы Н. Винером и
А. Розенблютом [2]. Клеточные автоматы широко применяются для моделирования
физико-химических процессов (течение жидкостей, процессы роста и размножения,
системы типа "реакция-диффузия").
В этом разделе рассмотрены нейронные сети, построенные на основе нейронов,
каждый из которых представляет собой клеточный автомат, периодически генерирующий импульсы. Такие сети могут быть использованы для генерации последовательностей с заранее заданным распределением импульсов, однако ниже для примера
рассматривается более простая задача — самоорганизация сети в подмножества синхронно функционирующих автоматов.
4.1. Описание модели нейронного клеточного автомата
Нейронный клеточный автомат (НКА) описывается вектором состояний (u(t) , p(t) )
и параметрами (TR , q). Здесь u(t) — мембранный потенциал, где t — текущий момент
времени (u(t) > u0 > 0 ).
Если для всех s ∈ [t, t + τ ], (τ > 0) выполнено неравенство u(s) < p(s) , то значения
мембранного потенциала в моменты времени t и t + τ связаны соотношением:
u(t+τ ) = u(t) exp(Θτ ),
(24)
где Θ > 0.
Величина p(t) является порогом генерации (p0 > p(t) > 0). Предполагается, что
p(t+τ ) = p(t) exp(−pΘτ ),
(25)
где p > 0.
Если в некоторый момент времени значение u(t) равно p(t) , то НКА генерирует
мгновенный импульс (спайк) и посылает его всем связанным с ним автоматам. После генерации импульса автомат на время TR переходит в рефрактерное состояние
(состояние абсолютной невосприимчивости НКА к воздействию со стороны других
автоматов). В этом состоянии мембранный потенциал имеет значение u0 . В момент
генерации импульса значение порога устанавливается равным p0 (в дальнейшем, как
уже говорилось, спадает по экспоненте).
Под действием пришедшего спайка в синапсе, расположенном на автомате-приемнике, выделяется медиатор, если автомат-приемник не находится в рефрактерном
состоянии. Пусть T1 — время жизни медиатора. Считаем, что T1 < TR . Однако, если
33
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
автомат-приемник под действием медиатора сгенерировал импульс, то медиатор на
прилежащих к нему синапсах разрушается.
В присутствии медиатора на одном синапсе динамика мембранного потенциала
подчинена закону
u(t+τ ) = u(t) exp(Θτ (1 + q)).
(26)
Величина q в модели называется синаптическим весом и характеризует эффективность воздействия медиатора. В случае, если на промежутке времени [t, t + τ ]
медиатор присутствует на n синапсах, формула для мембранного потенциала принимает вид:
"
!#
n
X
u(t+τ ) = u(t) exp Θτ 1 +
qi
,
(27)
i=1
где qi — синаптические веса единичных синапсов. Будем называть синапс для q > 0
возбудительным, для q < 0 — тормозным.
В изолированном состоянии каждый НКА генерирует спайки периодически через
время T2 , которое определяется из условия
u0 exp(Θ(T2 − TR )) = p0 exp(−pΘT2 ).
(28)
Формально определенная динамика мембранного потенциала НКА соответствует развитию потенциала биологического нейрона. Отметим, что здесь речь идет о
нейронах-пейсмекерах, которые являются автогенераторами.
4.2. Кольцо из трех НКА
Рассмотрим систему из трех автоматов, объединенных в кольцо, где каждый элемент имеет доступ к двум оставшимся. Будем считать, что все синаптические веса
одинаковы и равны q, т. е. сеть однородна.
Обозначим через tn1 , n = 1, 2, 3, . . . последовательные моменты начала спайков
первого НКА. Пусть tn2 , tn3 — соответствующие последовательности начала спайков
второго и третьего автоматов. Предположим, что t12 > t11 , t12 < t11 + TR , t13 > t12 ,
t13 < t12 + T1 , t13 > t11 + TR , t13 < t12 + TR .
Лемма 4.1. Для промежутков времени между спайками соседних автоматов выполнены предельные соотношения:
lim (tn1 − tn3 ) = lim (tn2 − tn1 ) = lim (tn3 − tn2 ) = ξ∗ ,
n→∞
n→∞
n→∞
где
ξ∗ = T2 (1 + p)/(3(1 + p) + q).
(29)
Поясним смысл сформулированного утверждения. Речь идет об устойчивых колебательных режимах в сети НКА. Центральным моментом для их нахождения является выбор начальных условий.
Зададим начальное состояние каждого НКА системы следующим образом. Предположим, что в фиксированный момент времени t11 начался спайк первого автомата.
34
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Пусть спайк второго НКА состоялся в некоторый момент t12 , где t12 < t11 + TR . Это
означает, что первый автомат до момента времени t12 находится в рефрактерном состояниии.
Третий НКА в исходный момент времени t11 находится в состоянии рефрактерности и остается в нем еще некоторое время. К моменту t12 он переходит в активное
состояние. Под действием спайка второго автомата на синапсах, лежащих на третьем
элементе, образуется медиатор. Пусть спайк третьего автомата происходит в момент
времени t13 , где t13 < t12 + T1 , но t13 > t11 + TR . Во-первых, это означает, что медиатор, появившийся под действием спайка второго автомата, не успел распасться до
момента t13 , а, во-вторых, первый автомат к этому времени вышел из рефрактерного
состояния.
Описанный выбор начальных условий позволяет использовать следующий алгоритм исследования динамики системы НКА. Для любого t ∈ [t11 + TR , t13 ] мы можем
вычислить значение мембранного потенциала и величину порога для первого НКА.
В синапсах, прилежащих к первому НКА, медиатор в это время отсутствует (он появится только в момент t13 ). Можно вычислить t21 — момент начала нового спайка
первого НКА. Аналогичные рассуждения позволят установить моменты начала новых спайков t22 и t23 соответственно второго и третьего НКА. Таким образом можно
проанализировать дальнейшую динамику всех НКА системы.
Функционирование системы на промежутке [t11 , t21 ] будем называть первым тактом прохождения волны возбуждения по кольцу. Второй такт открывается спайком
первого НКА в момент времени t21 . Для второго такта вычисляются соответствующие
моменты начала спайков t22 , t23 .
Введем временные рассогласования ξ21 = t12 − t11 , ξ31 = t13 − t12 между началами спайков первого и второго, второго и третьего НКА. Обозначим ξ11 = t21 − t13 — временное
отставание момента t21 спайка первого НКА относительно начала спайка третьего
НКА.
Пусть ξ22 и ξ32 — рассогласования моментов начала спайков первого и второго,
второго и третьего НКА, соответственно, на втором этапе прохождения волны. Величины ξ11 , ξ22 и ξ32 выражаются через ξ21 и ξ31 . Возникает отображение, описывающее
рассогласования начала спайков на последовательных тактах прохождения волны.
Оно имеет единственную глобально устойчивую неподвижную точку.
Доказательство леммы 4.1. Формула для нахождения значения мембранного
потенциала первого НКА в момент времени t > t13 , пока не произошел его спайк,
имеет вид:
(t)
u1 = u0 exp(Θ(t − TR ) + Θq(t − t13 )).
Напомним, что значение u в момент t21 начала спайка равно пороговому значению
2
p(t1 ) , т. е.
u0 exp[Θ(t21 − TR ) + Θq(t21 − t13 )] = p0 exp[−Θp(t21 − t11 )].
Из этого уравнения с учетом (28) можно определить момент t21 следующим образом:
t21 = (T2 (1 + p) + qt13 )/(1 + p + q).
(30)
Используя введенные выше рассогласования ξki для моментов начала спайков, формулу (30) можно переписать в виде:
ξ11 (1 + p + q) = (1 + p)(T2 − ξ21 − ξ31 ).
35
(31)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Аналогичные вычисления для второго и третьего НКА позволяют получить соотношения:
ξ22 (1 + p + q) = (1 + p)(T2 − ξ11 − ξ31 ),
ξ32 (1 + p + q) = (1 + p)(T2 − ξ22 − ξ11 ).
(32)
(33)
Формулы (31)–(33) описывают итерационный процесс, отражающий временные соотношения между началами спайков на последовательных тактах прохождения волны
по кольцу. Этот процесс сходится. (Проверяется, что он является методом Зейделя решения системы линейных уравнений с положительно определенной матрицей.)
Для сети НКА это означает, что с течением времени промежутки между спайками
соседних НКА стабилизируются. Предельная точка процесса ξ1 = ξ2 = ξ3 = ξ∗ , где
значение ξ∗ задано формулой (29).
4.3. Самоорганизация полносвязной сети НКА
Рассмотрим полносвязную однородную сеть НКА, т. е. будем считать, что каждый
автомат имеет доступ ко всем остальным автоматам сети и все синаптические веса
одинаковы. Представим сеть автоматов в виде объединения трех непустых попарно
непересекающихся множеств X1 , X2 , X3 , число элементов в которых m1 , m2 , m3 ,
соответственно.
Будем говорить, что автоматы множества функционируют синхронно, если они
генерируют импульсы одновременно. Нас будут интересовать условия, при которых
последовательно и в цикле происходит синхронная генерация импульсов автоматами первого, второго, третьего, снова первого и т. д. множеств. Введем следующие
величины:
"
!#
3
X
ξ1 = T2 (p + 1)/ m3 q + (p + 1)
m−1
,
i
i=1
"
ξ2 = T2 (p + 1)/ m1 q + (p + 1)
3
X
!#
m−1
i
,
(34)
i=1
"
ξ3 = T2 (p + 1)/ m2 q + (p + 1)
3
X
!#
m−1
i
.
i=1
Теорема 4.1. Пусть m1 , m2 , m3 таковы, что
ξi < T1 ,
TR <
3
X
ξj − ξi < T2 ,
i = 1, 2, 3.
j=1
Существует устойчивый режим работы сети, при котором автоматы, принадлежащие каждому из множеств, функционируют синхронно и генерация импульсов
автоматами множеств X1 , X2 , X3 осуществляется последовательно и циклически. При этом временные рассогласования между спайками автоматов, принадлежащих третьему и первому, первому и второму, второму и третьему множествам, суть величины ξ1 , ξ2 , ξ3 .
36
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Одним из основных моментов доказательства теоремы является выбор начальных условий. Зададим для НКА сети априорно моменты начала спайков так, чтобы
спайки элементов множества X2 следовали за спайками элементов из множества X1 .
Будем считать, что, пока не закончились спайки НКА из множества X1 , НКА из множества X3 находятся в рефрактерном состоянии. Пусть к началу спайков НКА из
множества X2 элементы из множества X3 становятся активными, а НКА множества
X1 еще рефрактерны. Однако будем предполагать, что к моментам начала спайков
НКА из множества X3 автоматы из X1 вышли из состояния рефрактерности.
Обозначим через 0 6 t1,1 6 t1,2 6 . . . 6 t1,m1 моменты начала спайков автоматов
из множества X1 . Пусть, далее, спайки автоматов из множества X2 начинаются в моменты t2,1 6 t2,2 6 . . . 6 t2,m2 , где t2,1 > t1,m1 . Будем считать, что НКА из множества
X3 сгенерировали импульсы в моменты t3,1 6 t3,2 6 . . . 6 t3,m3 соответственно, где
t3,1 > t2,m2 , t3,1 > t1,m1 + TR .
Описанный выбор начальных условий позволяет проанализировать динамику автоматов системы на втором такте прохождения волны, который открывается в момент t01,1 спайком первого НКА множества X1 . Будем отсчитывать моменты начала спайков НКА на новом такте, начиная с t01,1 , и обозначать их t0i,j , i = 1, 2, 3;
j = 1, . . . , mi .
Введем обозначения для временны́х рассогласований на начальном такте волны.
Положим ξk,j = tk,j −tk,j−1 (k = 1, 2, 3) — рассогласования между спайками j-го и (j −
1)-го НКА внутри множеств. Пусть ξk,1 = tk,1 − tk−1,mk−1 (k = 2, 3) — рассогласования
между началом спайков первого НКА k-го множества и последнего НКА (k − 1)-го
множества.
0
Обозначим через ξi,j
аналогичные величины на втором такте прохождения волны.
Спайк первого элемента множества X1 (начало второго такта прохождения волны)
относительно спайка последнего элемента множества X3 запаздывает на величину
0
= t01,1 − t3,m3 .
ξ1,1
Лемма 4.2. Справедлива формула:
0
ξi,j
= (1 + p)ξi,j /(1 + p + (mi−1 + j − 1)q),
(35)
где i = 1, 2, 3, j = 2, . . . , mi , m0 = m3 .
Доказательство. На втором такте прохождения волны нейронные клеточные
автоматы множества X1 находятся под воздействием спайков автоматов множества
X3 . Считаем, что t3,m3 < t01,1 6 t01,2 6 . . . 6 . . . 6 t01,m1 , t3,1 + T1 > t01,m1 . Начало
прохождения волны спайков на следующем такте открывается спайком первого НКА
первого множества. Вычислим этот момент t01,1 . Первый автомат находится только
под воздействием спайков НКА из множества X3 , поэтому динамика его развития
на временном промежутке t3,m3 < t 6 t01,1 описывается формулой:
"
!#
m
3 −1
X
(t)
0
u = u exp Θ(t − TR ) + Θq
i(t3,i+1 − t3,i ) + m3 (t − t3,m3 )
.
i=1
Поскольку значение мембранного потенциала в момент начала генерации спайка равно пороговому, то для t01,1 получим:
t01,1
= t3,m3 + ((T2 − t3,m3 )(1 + p) − q
m
3 −1
X
k=1
37
k(t3,k+1 − t3,k ))/(1 + qm3 + p).
(36)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Для нахождения момента времени t01,2 — начала спайка второго НКА из множества X1 — нужно учесть, что для второго автомата к воздействию импульсов, приходящих из множества X3 , добавляется еще и импульс первого НКА из множества
X1 . В результате получим:
t01,2
=
t01,1
+ ((T2 −
t01,1
+ t1,2 )(1 + p) − q
m
3 −1
X
k(t3,k+1 − t3,k ))/(1 + qm3 + p).
(37)
k=1
0
= t01,2 −t01,1 спраЭто выражение преобразуется с учетом (36). В результате для ξ1,2
0
ведлива формула (35). Аналогично получаем соотношение (35) для ξ1,k
, k = 3, . . . , m1 .
Осталось заметить, что такие же рассуждения можно провести для автоматов из
множеств X2 и X3 .
Следствие 4.1. Спайки НКА внутри множеств с течением времени (с ростом
номера такта) синхронизируются, и в пределе ξi,j = 0 для j > 2.
Это утверждение непосредственно вытекает из леммы 4.2. Тем самым доказано
утверждение о синхронизации из теоремы 4.1.
0
Лемма 4.3. Пусть ξi,j = 0 для j > 2. Тогда величины ξi,1
, ξk,1 , где i = 1, 2, 3; k = 2, 3
(временные рассогласования между началами спайков НКА соседних множеств),
удовлетворяют линейным соотношениям:
0
(1 + p + qm3 )ξ1,1
+ (1 + p)(ξ2,1 + ξ3,1 ) = T2 (p + 1),
(38)
0
0
(1 + p)ξ1,1
+ (1 + p + qm2 )ξ2,1
+ (1 + p)ξ3,1 = T2 (p + 1),
(39)
(1 +
0
p)ξ1,1
+ (1 +
0
p)ξ2,1
+ (1 + m1 q +
0
p)ξ3,1
= T2 (p + 1).
(40)
Доказательство. Вычисления, подобные тем, которые были приведены при доказательстве леммы 4.2, показывают:
t02,1 = t01,m1 + ((T2 − (t01,1 + t01,m1 + t2,1 ))(1 + p)−
−q
m
1 −1
X
k(t1,k+1 − t1,k ))/(1 + qm1 + p),
(41)
k=1
t02,j = t02,j−1 + (t2,j − t2,j−1 )(p + 1)/(1 + (m1 + j − 1)q + p),
t03,1
=
t02,m2
+ ((T2 −
−q
m
2 −1
X
(t01,1
+
t02,m2
(42)
− t3,1 ))(1 + p)−
k(t2,k+1 − t2,k ))/(1 + qm2 + p),
(43)
k=1
t03,l = t03,l−1 + (t3,l − t3,l−1 )(p + 1)/(1 + (m2 + l − 1)q + p),
j = 2, . . . , m2 ,
(44)
l = 2, . . . , m3 .
Формулы (41)–(44) приобретут более наглядный вид, если использовать обозначения
38
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
для временны́х рассогласований между спайками. В результате получим:
!
"
m3
m2
m1
X
X
X
0
ξ3,t (p + 1)−
ξ2,s −
ξ1,r −
= T2 −
ξ1,1
r=2
−q
m3
X
t=1
#s=1
(i − 1)ξ3,i (1 + m3 q + p)−1 ,
(45)
i=2
"
0
=
ξ2,1
T2 −
m2
X
r=2
−q
m1
X
ξ2,r −
m3
X
ξ3,s −
m1
X
!
ξ1,t
(p + 1)−
t=1
#s=1
0
(i − 1)ξ1,i
(1 + m1 q + p)−1 ,
(46)
i=2
"
0
=
ξ3,1
T2 −
m3
X
r=2
−q
m2
X
ξ3,r −
m1
X
0
−
ξ1,s
m2
X
!
0
ξ2,t
(p + 1)−
t=1
s=1
#
0
(1 + m2 q + p)−1 ,
(i − 1)ξ2,i
(47)
i=2
0
ξ1,j
=(1 + p)ξ1,j /(1 + (m3 + j − 1)q + p),
j = 2, . . . , m1 ,
(48)
0
ξ2,j
=(1 + p)ξ2,j /(1 + (m1 + j − 1)q + p),
j = 2, . . . , m2 ,
(49)
0
ξ3,j
j = 2, . . . , m3 .
(50)
=(1 + p)ξ3,j /(1 + (m2 + j − 1)q + p),
0
В силу следствия 4.1 можно положить ξk,j
= ξk,j = 0 для j > 2. В результате получим
формулы (38)–(40), что и завершает доказательство леммы.
Доказательство теоремы 4.1. Формулы (38)–(40) описывают итерационный
0
0
0
. После за, ξ3,1
, ξ2,1
процесс. По значениям ξ2,1 , ξ3,1 последовательно вычисляются ξ1,1
0
мены ξi,1 на ξi,1 (i = 2, 3) можно продолжить вычисления. Процесс сходится, поскольку итерационные соотношения представляют собой метод Зейделя для решения системы линейных уравнений с положительно определенной и симметрической
матрицей [1]. Компоненты его предельной точки (ξ1 , ξ2 , ξ3 ) заданы формулами (34).
Теорема доказана.
Таким образом, показано, что однородная полносвязная сеть может организовываться в кольцо множеств, состоящих из синхронно функционирующих автоматов.
Дадим наглядную интерпретацию полученных результатов. Пусть автоматы расположены на плоскости. Генерацию импульсов автоматами некоторого множества будем
рассматривать как активацию черно-белого изображения. Сеть может бесконечно
долго хранить последовательность трех визуальных образов. Ее можно рассматривать как модель хранения информации в динамическом виде.
4.4. Синхронизация в слабо неоднородной сети НКА
Рассмотрим полносвязную слабо неоднородную сеть НКА, т. е. будем считать,
что каждый автомат имеет доступ ко всем остальным автоматам сети и синаптические веса друг от друга отличаются ненамного. Представим сеть автоматов в виде
объединения трех непустых, попарно непересекающихся множеств X1 , X2 , X3 , число
элементов в которых m1 , m2 , m3 соответственно. Как и выше, нас будут интересовать
39
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
условия, при которых последовательно и в цикле происходит синхронная генерация
импульсов автоматами первого, второго, третьего, снова первого и т. д. множеств.
Пронумеруем автоматы сети двумя индексами: первый — номер множества, которому принадлежит автомат,второй — порядковый номер автомата внутри множества.
Синаптический вес воздействия k-го элемента i-го множества на j-й НКА l-го
i,k
модуля обозначим через ql,j
> 0, i, l = 1, 2, 3, k = 1, 2, . . . , mi , j = 1, 2, . . . , ml .
Функционирование системы на промежутке между соседними по времени импульсами первого НКА первого множества назовем тактом прохождения волны возбуждения. Обозначим через tki,j (i = 1, 2, 3; j = 1, 2, mi ) моменты генерации импульсов
автоматами сети на k-м такте прохождения волны.
Мы изучаем колебательные режимы, для которых на любом такте прохождения
волны распределение моментов генерации импульсов автоматами сети подчинено следующим условиям.
• Импульсы элементов внутри множеств следуют в порядке возрастания номеров
элементов, и первый НКА i-го множества генерирует ненулевой выходной сигнал
вслед за последним mi−1 -м НКА i − 1-го множества. Выпишем соответствующие
неравенства:
tki,j+1 > tki,j ;
tki,1 > tki−1,mi−1 ;
tk1,1 > tk−1
3,m3 ;
(51)
j = 1, . . . , mi − 1).
(i = 1, 2, 3;
• Автоматы из множества Xi−1 оказывают непосредственное воздействие на автоматы из множества Xi . Под непосредственным воздействием мы понимаем,
что спайки НКА из множества Xi произошли раньше, чем разрушился бы сам
по себе медиатор, который выделился на синапсах под действием импульсов,
пришедших из множества Xi−1 , т. е.
tk1,m1 < tk−1
3,1 + T1 ;
tk2,m2 < tk1,1 + T1 ;
tk3,m3 < tk2,1 + T1 .
(52)
• Каждый автомат из множества Xi выходит из рефрактерного состояния к моменту генерации импульсов элементами Xi−1 -го множества, но не успевает спонтанно сгенерировать импульс:
k
k−1
tk−1
1,m1 + TR < t3,j < t1,1 + T2 ,
(53)
tk2,m2 + TR < tk1,j < tk2,1 + T2 ,
(54)
tk3,m3
(55)
+ TR <
tk2,j
<
tk3,1
+ T2 .
Предположим, что неравенства (51)–(55) выполнены на любом такте прохождения волны по сети. Это предположение позволяет использовать следующий алгоk−1
+ TR , tk−1
ритм исследования динамики системы НКА. Для любого t ∈ [t1,1
3,1 ] мы
можем вычислить значение мембранного потенциала и величину порога для первого НКА первого множества. Начиная с момента времени tk−1
3,1 этот НКА оказывается
под воздействием группы импульсов возбудительных НКА множества X3 . Учитывая,
что значение мембранного потенциала в момент генерации спайка равно пороговому,
можно вычислить tk1,1 — момент генерации нового импульса первого НКА множества
X1 . Аналогичные рассуждения позволят установить моменты новых импульсов tk1,j
40
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
и tk2,l tk3,l (l = 1, . . . , mi , i = 1, 2, 3) остальных автоматов множеств X1 , X2 , X3 . Проанализировав таким образом дальнейшую динамику всех НКА сети, получим систему
уравнений:
(tk1,1
−
t3k−1 )(1
+p+
m3
X
3,s
q1,1
)=
s=1
= (1 + p)(T2 +
k−1
t1,1
−
tk−1
3 )
+
m3
X
3,s k−1
q1,1
(t3,s − tk−1
3 ),
(56)
s=1
(tk1,i
−
t3k−1 )(1
+p+
m3
X
3,s
q1,1
+
s=1
= (1 + p)(T2 +
k−1
t1,i
i−1
X
1,r
q1,i
)=
r=1
−
tk−1
3 )
+
m3
X
3,s k−1
q1,i
(t3,s
−
tk−1
3 )
s=1
+
i−1
X
1,r k−1
q1,i
(t1,r − tk−1
3 ),
(57)
r=1
mj−1
(tkj,1
−
tkj−1 )(1
+p+
X
j−1,s
qj,1
)=
s=1
mj−1
= (1 + p)(T2 +
k−1
tj,1
−
tkj−1 )
+
mj−1
(tkj,i
−
tkj−1 )(1
+p+
X
j−1,s
+
qj,i
= (1 + p)(T2 +
j−1,s k
qj,1
(tj−1,s − tkj−1 ),
−
tkj−1 )
j,r
)=
qj,i
+
X
j−1,s k
qj,i
(tj−1,s
s=1
i = 2, ..., mj ,
(58)
s=1
i−1
X
r=1
mj−1
s=1
k−1
tj,i
X
−
tkj−1 )
+
i−1
X
j,r k
qj,i
(tj,r − tkj−1 ),
(59)
r=1
j = 1, 2, 3.
Здесь через tki обозначен усредненный момент времени генерации импульсов автомаP i k
тами множества Xi т. е. tki = m
s=1 ti,s /mi .
Сходимость итерационного процесса (56)–(59) удобно исследовать, используя обозначения для временных промежутков между моментами генерации импульсов.
k−1
Обозначим через ξ1,j
запаздывание спайка j-го НКА первого множества относительно tk−2
усредненного времени генерации импульсов автоматами множества X3 .
3
Временные рассогласования между k − 1-м моментом спайка j-го НКА s-го множества и tk−1
s−1 усредненным временем генерации импульсов автоматами s − 1-го множеk−1
ства (s = 2, 3) обозначим через ξs,j
.
k−1
k−1
Через µ[ξi ] обозначим среднее значение ξi,j
по данному множеству (i = 1, 2, 3),
т. е. временное рассогласование между усредненными моментами генерации импульсов автоматами соседних по номеру множеств.
k
Через ξi,j
и µ[ξik ] обозначим соответствующие величины на следующем такте прохождения волны возбуждения по сети.
Переходя к обозначениям через временные рассогласования, формулы (56)–(59)
41
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
можно представить в виде:
k
ξ1,1
(1 + p +
m3
X
3,s
q1,1
) = (1 + p)(T2 −
s=1
−
3
X
k−1
µ[ξsk−1 ] + ξ1,1
)+
k
ξ1,j
(1 + p +
j−1
3,s
q1,j
+
X
s=1
1,l
q1,j
) = (1 + p)(T2 −
l=1
−
3
X
k−1
µ[ξsk−1 ] + ξ1,j
)+
s=1
k
ξ2,1
(1 + p +
3,s k−1
(ξ3,s − µ[ξ3k−1 ]), (60)
q1,1
s=1
s=1
m3
X
m3
X
m1
X
m3
X
3,s k−1
(ξ3,s − µ[ξ3k−1 ]) +
q1,1
s=1
j−1
X
1,l k
q1,j
ξ1,l , (61)
l=1
1,s
q2,1
) = (1 + p)(T2 −
s=1
−
3
X
µ[ξsk−1 ]
−
µ[ξ1k ]
+
k−1
ξ2,1
)
+
+p+
m1
X
1,s
q2,j
+
j−1
X
s=1
2,l
q2,j
) = (1 + p)(T2 −
l=1
−
3
X
µ[ξsk−1 ]
−
µ[ξ1k ]
+
k−1
ξ2,j
)
+
s=2
k
ξ3,1
(1 + p +
1,s k
(ξ1,s − µ[ξ1k ]), (62)
q2,1
s=1
s=2
k
ξ2,j
(1
m1
X
m2
X
m1
X
1,s k
q2,j
(ξ1,s
−
µ[ξ1k ])
+
s=1
j−1
X
2,l k
q2,j
ξ2,l , (63)
l=1
2,s
q3,1
) = (1 + p)(T2 −
s=1
−
µ[ξ3k−1 ]
−
2
X
µ[ξsk ]
+
k−1
ξ3,1
)
+
s=1
k
ξ3,j
(1 + p +
m2
X
2,s
q3,j
+
s=1
j−1
X
m2
X
2,s k
q3,1
(ξ1,s − µ[ξ2k ]), (64)
s=1
3,l
q3,j
) = (1 + p)(T2 − µ[ξ3k−1 ]−
l=1
−
2
X
µ[ξsk ]
+
k−1
ξ3,j
)
s=1
+
m2
X
2,s k
q3,j
(ξ2,s
−
s=1
µ[ξ2k ])
+
j−1
X
3,l k
q3,j
ξ3,l , (65)
l=1
j = 2, ...mi , i = 1, 2, 3.
k
qi,j
k,l
k,l
Пусть qi,j
= q k,l + δi,j
. Вопрос о сходимости (60)–(65) рассмотрим при условии
= q k,l .
Очевидно, что из (60)–(65) вытекает:
k
ξi,j
−
k
ξi,j−1
k−1
k−1
(1 + p)(ξi,j
− ξi,j−1
)
=
,
m
P
1+p+
qis
i = 1, 2, 3;
j = 1, ..., mi .
s=1
k
k
Тем самым с ростом номера итераций разность ξi,j
− ξi,j−1
→ 0. Это означает,
k
что значения ξi,j с течением времени становятся близки к µ[ξik ]. Тогда вопрос о сходимости отображения (60)–(65) сводится к проверке сходимости отображения для
42
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
средних рассогласований:
(1 + p +
m3
X
q 3,s )µ[ξ1k ] + (1 + p)(µ[ξ2k−1 ] + µ[ξ3k−1 ] = (1 + p)T2 ,
s=1
m1
X
(1 + p +
q 1,s )µ[ξ2k ] + (1 + p)(µ[ξ1k ] + µ[ξ3k−1 ] = (1 + p)T2 ,
s=1
m2
X
(1 + p +
q 2,s )µ[ξ3k ] + (1 + p)(µ[ξ1k ] + µ[ξ2k ] = (1 + p)T2 .
(66)
(67)
(68)
s=1
Итерационный процесс (66)–(68), отражающий временные соотношения между
усредненными моментами генерации импульсов на последовательных тактах прохождения волны по сети, сходится. Эти соотношения представляют собой метод Зейделя
решения системы линейных уравнений с положительно определенной и симметрической матрицей.
Предельная точка процесса ξ 0 имеет координаты

, m
!−1 
mj
3
i
X
X
X
,
ξi0 = T2 (1 + p)
q i,s 1 + (1 + p)
q j,s
(i = 1, 2, 3).
(69)
s=1
j=1
s=1
Неравенства (51)–(55) для предельной точки имеют простой вид:
0 < ξi0 < T1 ,
TR <
3
X
ξj0 − ξi0 < T2 ,
(70)
(71)
j=1
(i = 1, 2, 3).
Из общей теории разностных уравнений следует, что сходимость процесса не нарушается при достаточно малых изменениях параметров, т. е. можно указать такое
k,l
δ, что при |δi,j
| < δ итерационный процесс (60)–(65) имеет предельную точку η 0 с
координатами, мало отличающимися от координат точки ξ 0 . Предельная точка η 0
удовлетворяет неравенствам (70)–(71).
Пусть начальные условия итерационного процесса выбраны в достаточно малой
окрестности точки ηi0 (i = 1, 2, 3). Стандартными рассуждениями можно показать,
k
что все итерации ξi,j
(i = 1, 2, 3; j = 1, 2, . . . , mi ) тоже удовлетворяют (70)–(71). Тем
самым доказана устойчивость предельного режима. Полученный результат можно
сформулировать в виде теоремы.
Теорема 4.2. Пусть числа q i,j таковы, что значения ξi0 (i = 1, 2, 3; j = 1, 2, ..., mi ),
определенные формулами (66), удовлетворяют неравенствам (70)–(71).
Тогда для любого ε > 0 можно указать такое δ > 0, что в сети с синапi,j
− q i,j | < δ (i, k = 1, 2, 3;
тическими весами, удовлетворяющими неравенству |qk,l
j = 1, 2, . . . , mi ; l = 1, 2, . . . , mk ), в предельном режиме промежутки времени между спайками автоматов в каждом множестве равны нулю, т. е. автоматы функционируют синхронно. При этом временные рассогласования ηi0 между импульсами
элементов i − 1-го и i-го множеств удовлетворяют неравенству |ηi0 − ξi0 | < ε.
43
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Показано, что неоднородная полносвязная сеть может также организовываться
в кольцо множеств синхронно функционирующих автоматов. При этом число множеств синхронно функционирующих автоматов может быть и больше трех.
Пусть число нейронов полносвязной слабо неоднородной сети достаточно велико. Сеть можно разбить на некоторое число N попарно непересекающихся множеств
X1 , . . . , XN так, что колебания НКА внутри каждого из них будут синхронны. Автоматы, входящие в выделенные множества X1 , . . . , XN , будут генерировать импульсы циклически: X1 , X2 , . . . , XN , X1 , X2 , . . .. Данный колебательный режим устойчив.
Естественно, возникают некоторые ограничения на число НКА сети, число подмножеств и синаптические веса. Эти ограничения аналогичны условиям теоремы 4.2.
44
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
5. Обобщенный нейронный элемент
На пути дальнейших упрощений модели импульсного нейрона в 2007 году в работе [9] была предложена новая феноменологическая модель — обобщенный нейронный
автомат (ОНА). По мере исследований модель ОНА без каких-либо содержательных
изменений стала называться обобщенным нейронным элементом (ОНЭ).
5.1. Описание модели обобщенного нейронного элемента
Модель обобщенного нейронного элемента (ОНЭ) задается набором следующих
параметров:
• p — пороговое значение мембранного потенциала;
• r — равновесное значение мембранного потенциала;
• α — скоростной параметр;
• TR — продолжительность периода рефрактерности (невосприимчивости к внешнему воздействию);
• n — количество входов (синапсов);
• m — количество выходов (синапсов);
• q1 , q2 , . . . , qn — величины синаптических весов;
• Tm — продолжительность периода синаптического воздействия (время жизни
медиаторов).
Положительные величины p, r, α, TR и Tm не меняются с течением времени и
одинаковы для всех элементов, входящих в состав нейронных сетей, состоящих из
данных элементов. Из биологических соображений вытекает неравенство Tm < TR ,
поскольку время жизни медиаторов у естественных нейронов существенно меньше
продолжительности периода рефрактерности. Число входов n (n = 1, 2, . . .) и выходов m (m = 0, 1, . . .) для каждого элемента фиксировано, но, вообще говоря,
может быть неодинаковым для разных элементов, в зависимости от архитектуры
конкретной нейронной сети. Входы каждого элемента (как синонимы будут использоваться термины синаптические входы“ или синапсы“) характеризуются величи”
”
нами q1 , q2 , . . . , qn , где n — число входов данного элемента. Синаптические веса qi
(i = 1, 2, . . . , n) определяют эффективность входного воздействия. Если вес данного
конкретного синаптического входа положителен, то воздействие через данный синапс считается возбудительным, в противном случае — тормозным. Каждый такой
вес характеризует однонаправленную синаптическую связь, которая соединяет выход одного элемента и вход другого.
Внутреннее состояние элемента в момент времени t задается следующими функциями:
• u(t) — функция зависимости величины мембранного потенциала от момента времени t;
• s(t) — состояние элемента;
45
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
• σ(t) — мгновенный выходной импульс.
Функция s(t) принимает следующие значения:


 восприимчивость
s(t) = генерация импульса


рефрактерность
Функция σ(t) равна единице, когда элемент генерирует выходной импульс (спайк).
Этот импульс поступает на все m выходов данного элемента. В остальные моменты
времени σ(t) = 0.
Входные импульсы σ1 (t),σ2 (t),. . .,σn (t) (n — число входов данного элемента) зависят от момента времени t. Здесь σi (t) = 1 во все такие моменты времени t, когда по
i-му входу пришел импульс (i = 1, 2, . . . , n). В остальные моменты времени σi (t) = 0.
Введем вспомогательные функции σ1m (t),σ2m (t),. . .,σnm (t). При каждом отдельном
i = 1, 2, . . . , n положим σim (t) = 1 при всех t ∈ [t∗ ; t∗ + Tm ], где t∗ такие, что одновременно s(t∗ ) = {восприимчивость} и σi (t∗ ) = 1. В остальные моменты времени
σim (t) = 0. Таким образом, функции σim (t) — ступенчатого вида. Ступени имеют
единичную высоту и длину, равную величине Tm .
Опишем теперь функционирование обобщенного нейронного элемента. В произвольный момент времени t возможен один из трех вариантов:
• ОНЭ генерирует импульс, т. е. s(t) = {генерация импульса};
• ОНЭ находится в состоянии рефрактерности, т. е. s(t) = {рефрактерность};
• ОНЭ находится в состоянии восприимчивости, т. е. s(t) = {восприимчивость}.
I. Пусть s(t) = {генерация импульса}. При этом u(t) = p, σ(t) = 1. Выходной импульс распространяется по всем синаптическим выходам данного элемента. Импульс
происходит мгновенно, после чего элемент переходит в состояние рефрактерности.
То есть при сколь угодно малом ε > 0: s(t + ε) = {рефрактерность}.
II. Пусть s(t) = {рефрактерность}. Тогда u(t) = 0, σ(t) = 0. В состоянии рефрактерности элемент невосприимчив к внешнему воздействию. Элемент находится
в состоянии рефрактерности в течение промежутка времени TR с момента генерации
спайка, после чего переходит в состояние восприимчивости. То есть s(tsp
1 + TR ) =
{восприимчивость}, где
tsp
1 = max{τ : σ(τ ) = 1}.
τ <t
(72)
III. Пусть s(t) = {восприимчивость}. Тогда σ(t) = 0, а функция мембранного
потенциала u(t) удовлетворяет дифференциальному уравнению:
u̇ = α(r + q − u),
(73)
где r — равновесное значение мембранного потенциала, α — скоростной параметр, а
величина q определяется следующим образом:
q=
n
X
qi σim (t).
i=1
46
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В качестве начального условия для уравнения (73) берется значение u(t0 ), которое
определяется следующим образом:
u(t0 ) = u(t0 − 0),
(
t∗ , если t∗ > tsp
1 + TR
0
t = sp
t1 + TR , если t∗ 6 tsp
1 + TR
,
где tsp
1 определяется из (72),
t∗ = max{t+ ; t− },
t+ = max max{τ : σi (τ ) = 1},
i
τ 6t
t− = max max{τ : σim (τ ) = 1, σim (τ + 0) = 0}.
i
τ 6t
+
Здесь tsp
1 — момент последнего по времени импульса данного элемента, t — момент
последнего по времени входного сигнала на данный элемент, t− — момент последнего
по времени завершения какого-либо входного воздействия на данный элемент.
Элемент генерирует импульс, когда функция мембранного потенциала u(t) равна
пороговому значению p. То есть s(tsp
2 ) = {генерация импульса}, где
tsp
2 = min{τ : u(τ ) = p}.
τ >t
Если u(τ ) < p при всех τ > t, то и s(τ ) = {восприимчивость} при всех τ > t.
Разобранные случаи полностью исчерпывают поведение обобщенного нейронного элемента. Формальное описание модели обобщенного нейронного элемента носит
математически строгий характер и выполнено на языке, принятом в теории систем
и теории управления. Однако при этом способе изложения теряется принципиальная простота модели и естественность ее функционирования. Поэтому далее будут
разобраны основные свойства модели и ее функционирование в важных частных
случаях.
5.2. Простейшие свойства модели
обобщенного нейронного элемента
Рассмотрим основные свойства модели обобщенного нейронного элемента. Оформим их в виде утверждений. Доказательства этих утверждений достаточно просты.
Кроме того, методика проведения этих доказательств широко используется в более
сложных аналитических исследованиях сетей обобщенных нейронных элементов. Поэтому приведем эти утверждения с полными доказательствами.
Утверждение 5.1. Для любого ОНЭ функция его мембранного потенциала u(t)
непрерывна при всех t, кроме t = t∗ таких, что s(t∗ ) ={генерация импульса}.
При этом для каждого такого t∗ : lim
u(t) = u(t∗ ) = p, lim
u(t) = 0.
∗
∗
t→t −0
47
t→t +0
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Доказательство. Из формального описания следует, что u(t) = 0 при всех t
таких, что s(t) = {рефрактерность}. Если s(t) = {восприимчивость}, то функция
мембранного потенциала u(t) удовлетворяет дифференциальному уравнению (73).
Величина q при каждом фиксированном t равна константе. Решение уравнения (73)
представляет собой непрерывную функцию при всех t.
Выберем момент времени t∗ такой, что s(t∗ ) ={генерация импульса}. Из формального описания вытекает, что u(t∗ ) = p. Функция u(t) непрерывна в левой окрестности
точки t∗ . Поэтому имеет место равенство lim
u(t) = u(t∗ ) = p.
∗
t→t −0
Генерация импульса происходит мгновенно. После этого элемент переходит в состояние рефрактерности. При сколь угодно малом ε > 0: s(t∗ +ε) = {рефрактерность}
и u(t∗ +ε) = 0. Поэтому имеет место равенство lim
u(t) = 0. Утверждение доказано.
∗
t→t +0
Утверждение 5.2. Пусть синаптические веса qi удовлетворяют неравенству
qi > 0 при всех i = 1, . . . , n. Тогда на участках непрерывности функция u(t) неубывающая.
Доказательство. Из формального описания следует, что u(t) = 0 при всех t
таких, что s(t) = {рефрактерность}. Если s(t) = {восприимчивость}, то функция
мембранного потенциала u(t) удовлетворяет дифференциальному уравнению (73).
n
P
Причем величина q =
qi σim (t) при каждом фиксированном t и условии qi > 0
i=1
равна неотрицательной константе. Величины r и α положительны. Поэтому решение
уравнения (73) представляет собой возрастающую функцию. Утверждение доказано.
Утверждение 5.3. Пусть qi > 0 при всех i = 1, . . . , n, и найдется такой момент времени t∗ , что 0 6 u(t∗ ) 6 p. Тогда функция u(t) удовлетворяет неравенству
0 6 u(t) 6 p при всех t > t∗ .
Доказательство. Результат утверждения следует из утверждений 5.1 и 5.2.
Таким образом, если для произвольного ОНЭ в нулевой момент времени задать
такое значение мембранного потенциала u(0), что 0 6 u(0) 6 p, то обеспечивается
выполнение неравенства 0 6 u(t) 6 p при всех t > 0. Для всех элементов конкретной
нейронной сети условие 0 6 u(0) 6 p далее будем предполагать выполненным и
опускать.
5.3. Частные случаи функционирования обобщенного нейронного элемента
Отдельно рассмотрим два важных частных случая функционирования обобщенного нейронного элемента. Во-первых, поведение ОНЭ при отсутствии входных импульсов (без внешнего воздействия). Во-вторых, поведение ОНЭ при поступлении
одного входного импульса (под действием одного внешнего воздействия). Оформим
результаты в виде двух утверждений.
sp
Утверждение 5.4. Пусть σi (t) ≡ 0 при всех i = 1, . . . , n и t ∈ (tsp
1 + TR ; t2 ), где
sp
sp
моменты времени tsp
1 и t2 такие, что σ(t1 ) = 1, а

 min {τ : σ(τ ) = 1},
τ >tsp
1
tsp
=
.
2
∞, если σ(τ ) = 0 при всех τ > tsp
1
48
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
sp
Тогда при t ∈ (tsp
1 + TR ; t2 ) функция u(t) определяется следующим образом:
sp
u(t) = r − re−α(t−t1
−TR )
.
(74)
sp
Доказательство. При t ∈ (tsp
1 + TR ; t2 ): s(t) ={восприимчивость}. Поэтому,
согласно формальному описанию, функция u(t) удовлетворяет дифференциальному уравнению (73). Условие σi (t) ≡ 0 (i = 1, 2, . . . , n) означает, что q = 0 при
sp
t ∈ [tsp
1 + TR ; t2 ]. Поэтому уравнение (73) принимает вид:
u̇ = α(r − u).
(75)
Начальное условие: u(tsp
1 + TR ) = 0. Решение уравнения (75) задается формулой (74).
Утверждение доказано.
sp
Отметим, что если tsp
2 6= ∞, то в момент времени t2 ОНЭ вновь сгенерирует
выходной импульс (спайк). После этого ОНЭ окажется в состоянии рефрактерности,
sp
выйдет из него в момент времени tsp
2 +TR , и так далее. Если t2 = ∞, то есть равенство
u(t) = p не будет достигнуто ни при каком t > tsp
1 , то мембранный потенциал будет
стремиться к состоянию равновесия r.
Перейдем теперь к рассмотрению более сложного поведения ОНЭ в случае одного
внешнего воздействия.
Утверждение 5.5. Пусть существуют единственные номер i (i = 1, . . . , n) и
sp
sp
∗
момент времени t∗ ∈ (tsp
1 + TR ; t2 ) такие, что σi (t ) = 1. Моменты времени t1 и
sp
t2 < ∞ определены в утверждении 5.4. в предположении, что существует τ > tsp
1
такое, что σ(τ ) = 1. Кроме того, выполняется неравенство t∗ + Tm > tsp
2 .
∗
Тогда при t ∈ (tsp
1 + TR ; t ] функция u(t) определяется по формуле (74), а при
sp
t ∈ (t∗ ; t2 ) — следующим образом:
∗
u(t) = r + qi + e−α(t−t ) [u(t∗ ) − r − qi ].
(76)
sp
Доказательство. При t ∈ (tsp
1 + TR ; t2 ): s(t) ={восприимчивость}. Функция u(t)
удовлетворяет дифференциальному уравнению (73).
∗
Пусть t ∈ (tsp
1 + TR ; t ). Тогда выполняются условия σi (t) ≡ 0 (i = 1, 2, . . . , n) и
sp
∗
q = 0 при t ∈ (t1 + TR ; t ). Поэтому уравнение (73) принимает вид (75) с начальным
условием: u(tsp
1 + TR ) = 0. Решение уравнения определяется формулой (74).
Пусть t = t∗ . Тогда, по условию утверждения, q = qi , где qi — синаптический вес
i-го входа. Уравнение (73) принимает вид:
u̇ = α(r + qi − u).
(77)
В качестве начального условия берется u(t∗ ). Поэтому
∗ −tsp −T )
R
1
u(t) = u(t∗ ) = r − re−α(t
(t∗ ; tsp
2 ). Тогда, согласно условиям
m
Tm > tsp
2 и σi (t) = 1 при всех t
.
Пусть теперь t ∈
утверждения, tsp
2 — конечное
число. Причем t∗ +
∈ (t∗ ; tsp
).
То
есть
имеющее2
ся воздействие не завершится раньше, чем исследуемый ОНЭ сгенерирует импульс.
Кроме того, q = qi , где qi — синаптический вес i-го входа. Поэтому уравнение (73)
принимает вид (77) с начальным условием u(t∗ ). Решение уравнения определяется
формулой (76). Утверждение доказано.
Эти утверждения будут использоваться при дальнейшем изучении нейронных
сетей ОНЭ различной архитектуры.
49
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
5.4. Универсальный характер
обобщенного нейронного элемента
Предлагаемая модель обобщенного нейронного элемента носит универсальный характер. А именно, обобщенный нейронный элемент, в зависимости от выбранных
параметров, может вести себя и как нейрон-детектор и как нейрон-автогенератор.
Утверждение 5.6. Пусть на произвольный обобщенный нейронный элемент не
оказывается внешнего воздействия. Тогда если p < r, то элемент ведет себя как
автогенератор, то есть периодически генерирует импульсы. Временной промежуток автогенерации TA определяется из соотношения:
e−α(TA −TR ) =
r−p
.
r
(78)
Если p > r, то элемент ведет себя как нейрон-детектор, то есть не будет генерировать импульсы.
Доказательство. Рассмотрим произвольный обобщенный нейронный элемент,
sp
sp
который сгенерировал импульс в момент времени tsp
1 . Величины t1 и t2 определены в
sp
утверждении 5.4. Согласно данному утверждению, при t ∈ (tsp
1 +TR ; t2 ) функция u(t)
задается формулой (74). В частности, при всех t имеет место неравенство u(t) < r.
Обобщенный нейронный элемент генерирует импульс, когда имеет место равенство
u(t) = p. Отсюда вытекает, что если p > r, то элемент не сможет сгенерировать ни
одного импульса при t > tsp
1 + TR .
Пусть теперь p < r. Тогда элемент генерирует импульс в момент времени tsp
2 ,
определяемый из соотношения
sp
r − re−α(t2
−tsp
1 −TR )
= p.
sp
Выражая отсюда величину TA = tsp
2 − t1 , получаем формулу (78). Утверждение
доказано.
С учетом доказанных утверждений поясним формальное описание модели. Обобщенный нейронный элемент имитирует деятельность биологического нейрона. Элемент способен находиться в одном из трех состояний — восприимчивости, генерации
импульса (спайка) и рефрактерности. Процесс перехода зависит как от внутреннего
состояния элемента, так и от сигналов, поступающих на входы данного элемента от
других элементов. Переход от восприимчивости к генерации импульса осуществляется мгновенно пороговым образом и сопровождается генерацией единичного выходного сигнала. После этого элемент так же мгновенно переходит в состояние рефрактерности. Через некоторый промежуток времени после генерации спайка элемент
возвращается в состояние восприимчивости.
Формально определенная динамика мембранного потенциала обобщенного нейронного элемента соответствует развитию потенциала биологического нейрона. Действительно, в течение периода рефрактерности мембранный потенциал принимает
наименьшее значение (для удобства исследования взятое равным нулю). После выхода элемента из состояния рефрактерности мембранный потенциал растет в соответствии с дифференциальным уравнением (75) и утверждением 5.2. В случае внешнего
воздействия мембранный потенциал испытывает ускоренный рост при возбудительном воздействии и замедленный — при тормозном. Это вытекает из уравнения (73)
и его частного случая (77).
50
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Модель обобщенного нейронного элемента близка к уже рассмотренной импульсной модели нейрона. При этом модель обобщенного нейронного элемента отличается
простотой описания и позволяет избежать технических трудностей, связанных с интегрированием систем дифференциальных уравнений с запаздыванием. Кроме того,
данная модель объединяет свойства автогенератора и детектора. Поэтому сети на ее
основе способны решать более широкий класс задач, чем специализированные сети
детекторов или автогенераторов.
В дальнейшем предлагается рассмотреть задачи хранения и воспроизведения информации при помощи различных типов нейронных сетей, состоящих из обобщенных
нейронных элементов. Для этого целесообразно ввести следующую терминологию.
Обобщенный нейронный элемент, для которого выполняется условие p < r, будет
называться ОНЭ-автогенератором. Обобщенный нейронный элемент, для которого
выполняется условие p > r, будет называться ОНЭ-детектором. Нейронные сети,
состоящие из обобщенных нейронных элементов, будем называть ОНЭ-сетями.
51
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
6. Аналитические исследования ОНЭ-сетей
6.1. Кольцевые структуры обобщенных нейронных элементов
Как уже отмечалось, кольцевые структуры – наиболее удобный и биологически
естественный объект для нейросетевых исследований. Поэтому изучение сетей обобщенных нейронных элементов также начнем с кольцевых структур. Методика и результаты исследования колец ОНЭ-автогенераторов и ОНЭ-детекторов при некоторых различиях обладают большим сходством. Поэтому одновременно будет проводиться изучение обоих этих типов кольцевых структур. Там же, где возникает специфика, будут делаться соответствующие пояснения. Результаты раздела опубликованы в [4], [9].
Опишем интересующую нас кольцевую структуру. Рассмотрим N обобщенных
нейронных элементов (N > 3). Соединим данные элементы в кольцо и последовательно занумеруем их от 1 до N . Каждый i − 1-й элемент имеет однонаправленную
синаптическую связь с i-м элементом (i = 2, 3, . . . , N ). Элемент с номером N связан
с первым элементом. Других связей в кольце нет. Параметры p, r, α, TR , Tm , n = 1
и m = 1 одинаковы для всех элементов кольца. Обозначим qi−1,i — синаптический
вес связи, ведущей от i − 1-го элемента к i-му элементу (i = 2, 3, . . . , N ). Синаптический вес связи, ведущей от N -го элемента к первому, обозначим qN,1 . Сейчас и далее
сумму и разность индексов будем считать по модулю N .
В случае кольцевой структуры ОНЭ-автогенераторов для каждого элемента кольца выполняется неравенство p < r (пороговое значение мембранного потенциала
меньше равновесного значения). В случае кольцевой структуры ОНЭ-детекторов для
каждого элемента кольца выполняется неравенство p > r (пороговое значение мембранного потенциала больше равновесного значения). Как уже доказано, ОНЭ-детекторы не способны к генерации импульсов без внешнего воздействия. Для возникновения нейронной активности в предложенной сети необходимо однократное воздействие
извне (инициализация). Поэтому снабдим первый элемент дополнительным внешним
входом (синапсом) с весом q. Этот внешний вход будет использоваться только в начальный момент времени для однократного воздействия. Для ОНЭ-автогенераторов
необходимости в инициализации не возникает и данная связь не нужна. Полученные таким образом две нейронные сети будем называть кольцевыми структурами
ОНЭ-автогенераторов и ОНЭ-детекторов.
Поставим следующую задачу: выбрать синаптические веса qi−1,i (i = 1, 2, . . . , N )
так, чтобы в кольцевой структуре существовал устойчивый колебательный режим,
при котором элементы циклически генерируют импульсы в порядке возрастания их
номеров. При этом установившимися с течением времени рассогласованиями в генерации импульсов между соседними элементами можно управлять заранее. Тем самым задачи хранения последовательности импульсов в кольцевых структурах ОНЭавтогенераторов и ОНЭ-детекторов будут решены. Отметим, что не утверждается
единственность данного режима и его глобальная устойчивость.
Для существования в кольцевой структуре ОНЭ-детекторов описанного колебательного режима необходимо наложить условия на синаптические веса. Во-первых,
воздействие по внешнему входу с весом q должно быть достаточно сильным, чтобы первый элемент сумел сгенерировать импульс. Во-вторых, все веса связей qi−1,i
(i = 1, 2, . . . , N ) внутри кольца должны быть достаточно велики. Эти условия гаран-
52
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
тируются неравенствами:
(
q >p−r
qi−1,i > p − r
,
(79)
при всех i = 1, 2, . . . , N . Отметим, что эти условия являются специфическими для
кольцевой структуры ОНЭ-детекторов. Для кольцевой структуры ОНЭ-автогенераторов они не требуются. Теперь в предложенной сети может возникнуть волна нейронной активности.
Режим работы кольцевой структуры, автоматы которой генерируют импульсы
через заданные промежутки времени, зависит от начальных условий. Обсудим два
способа задания таких начальных условий. Задать начальное состояние системы автоматов означает, что нужно указать для всех элементов состояние в начальный момент времени. Для тех элементов, у которых s(0) = {восприимчивость}, необходимо
указать, во-первых, значения мембранных потенциалов u(0), во-вторых, какие синапсы активны и сколько времени они будут находиться в активном состоянии. Кроме
того, необходимо учитывать, какие элементы осуществляют воздействие на каждый
конкретный ОНЭ и сколько времени каждое такое воздействие будет длиться. Для
тех элементов, у которых s(0) = {рефрактерность}, нужно указать время, через которое они выйдут из состояния рефрактерности. Такой способ задания начального
состояния используется при компьютерном моделировании ОНЭ-сетей, о чем пойдет речь далее. Но проследить за динамикой системы аналитическими методами в
этом случае сложно. Другой способ задания начального состояние системы элементов заключается в следующем. Определим для элементов сети априорные моменты
их первых импульсов. При этом потребуем выполнения определенных условий для
этих моментов импульсов. Такой способ и будет использоваться при аналитических
исследованиях.
Обозначим состояние i-го элемента кольцевой структуры как si (t), а функцию его
мембранного потенциала как ui (t). Поскольку у каждого элемента кольцевой структуры оказывается по одному входу, то обозначим входную функцию i-го элемента для
m
входа с весом qi−1,i как σi,1
(t). Пусть tji — момент j-го импульса i-го элементов. В этих
обозначениях i = 1, 2, . . . , N , j > 1. Будем считать, что в нулевой момент времени
N -й ОНЭ-автогенератор генерирует импульс. То есть t0N = 0. Для ОНЭ-детекторов в
нулевой момент времени на первый элемент кольцевой структуры по внешнему входу
с весом q поступает воздействие. Формально обозначим этот момент времени также
t0N = 0. Данное воздействие инициирует активность элементов кольцевой структуры.
Разберем условия существования описанного колебательного режима. Последовательность прохождения импульсов по кольцу (от 1-го элемента к N -му элементу)
будем называть тактом прохождения волны. Первый такт прохождения волны начинается в момент времени t11 и продолжается до момента времени t21 . Второй такт
прохождения волны начинается в момент времени t21 и продолжается до момента времени t31 . Аналогично, k-й такт начинается в момент времени tk1 и продолжается до
момента времени tk+1
1 .
Для исследуемого режима распределение моментов импульсов элементов должно
удовлетворять следующим условиям:
• импульсы элементов на каждом такте волны должны следовать в порядке возрастания номеров. То есть при k = 1, 2, . . .:
tk−1
< tk1 < tk2 < . . . < tkN < tk+1
1 ; k = 1, 2, . . .
N
53
(80)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
• импульс i-го элемента происходит раньше, чем закончилось воздействие на него
со стороны i − 1-го элемента. То есть при i = 2, 3, . . . , N ; k = 1, 2, . . .:
(
tk1 < tk−1
N + Tm
(81)
k
k
ti < ti−1 + Tm
• волна возбуждения, порожденная импульсом i-го элемента, пробегая по кольцу,
индуцирует импульс этого элемента уже после того, как он вышел из рефрактерного состояния. То есть при i = 2, 3, . . . , N ; k = 1, 2, . . .:
(
tkN > tk1 + TR
(82)
k
tk+1
i−1 > ti + TR
• все импульсы носят индуцированный характер. Как было доказано ранее, ОНЭавтогенераторы обладают авторитмичностью. Волна, порожденная импульсом
i-го элемента, должна возвратиться к нему раньше, чем элемент успел спонтанно
сгенерировать следующий импульс. То есть при i = 2, 3, . . . , N ; k = 1, 2, . . .:
(
tkN < tk1 + TA
,
(83)
k
tk+1
i−1 < ti + TA
где TA — период автогенерации, определяемый из соотношения (78) утверждения 5.6.
Условия (80)—(82) носят общий характер и должны выполняться как для ОНЭавтогенераторов, так и для ОНЭ-детекторов. Условие (83) специфично для ОНЭавтогенераторов, поскольку ОНЭ-детекторы не способны к самостоятельной генерации импульсов, и величина TA теряет смысл. Тем не менее для общности рассуждений
положим величину TA в случае ОНЭ-детекторов равной бесконечности.
Для удобства дальнейших исследований введем обозначения для временных рассогласований ξik между импульсами i − 1-го и i-го элементов (i = 1, 2, . . . , N ) на k-м
такте прохождения волны (k = 1, 2, . . .). Положим:
(
tk1 − tk−1
N , если i = 1, или
k
ξi = k
k
ti − ti−1 , если i > 1.
Условия (80)—(83) применительно к временным рассогласованиям означают, что, вопервых,
0 < ξik < Tm ,
(84)
во-вторых,
TR <
N
X
ξjk − ξik < TA ,
(85)
j=1
где i = 1, 2, . . . , N ; k = 1, 2, . . .
С учетом выписанных условий детально опишем процесс последовательной генерации спайков элементами кольца. В нулевой момент времени первый элемент кольца
находится в состоянии восприимчивости. Пусть в некоторый положительный момент
54
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
времени t11 состоялся спайк первого элемента. Для ОНЭ-детекторов это происходит
в силу достаточно большого веса q, согласно первому условию (79). Согласно второму условию (79), веса qi−1,i в кольце также достаточно велики. Второй элемент в
момент времени t11 находится в состоянии восприимчивости. Спустя некоторое время
ξ21 под воздействием спайка первого элемента происходит генерация спайка вторым
элементом. Это происходит в момент времени t12 . В силу обозначений ξik имеет место равенство: t12 = ξ11 + ξ21 . В момент времени t13 состоялся спайк третьего элемента.
При этом t13 = ξ11 + ξ21 + ξ31 . Далее, в порядке возрастания номеров, следуют моменты
спайков остальных элементов кольца: t14 < . . . < t1N . Спайк последнего N -го элеменN
P
та состоится в момент времени t1N , причем t1N =
ξi1 . Описанный на промежутке
i=1
[t11 ; t1N ] процесс представляет собой первый такт прохождения волны возбуждения по
кольцу.
К моменту времени t1N первый элемент кольца, согласно условиям (82)—(83), уже
вышел из состояния рефрактерности (в момент времени t11 + TR ), но не успел самостоятельно сгенерировать импульс (если он — автогенератор). Находясь в состоянии
восприимчивости, он подвергается воздействию N -го элемента. В результате происходит генерация импульса первым элементом (для него уже вторая по счету) в момент
времени t21 . Начинается второй такт прохождения волны. С момента предыдущего
импульса того же, первого, элемента прошло t21 − t11 единиц времени. В дальнейшем
генерация импульсов элементами кольца происходит аналогично, циклическим образом.
Сформулируем лемму, которая связывает временные рассогласования на первом
и втором тактах прохождения волны возбуждения по кольцевой структуре. В целях
удобства временные рассогласования ξi1 между импульсами i−1-го и i-го элементов на
первом такте прохождения волны переобозначим как ξi (i = 1, 2, . . . , N ). Аналогично
временные рассогласования ξi2 между импульсами i − 1-го и i-го элементов на втором
такте прохождения волны переобозначим как ξi0 (i = 1, 2, . . . , N ). Применительно к
рассогласованиям ξi и ξi0 условия (84)—(85) будут выглядеть следующим образом:
0 < ξi < Tm ,
0 < ξi0 < Tm ,
TR <
TR <
N
P
j=1
N
P
(86)
ξj − ξi < TA ,
(87)
ξj0
−
ξi0
< TA ,
j=1
где i = 1, 2, . . . , N .
Лемма 6.1. Пусть в кольцевой структуре обобщенных нейронных элементов существует описанный колебательный режим на протяжении по крайней мере двух
первых тактов. При этом величины рассогласований ξi и ξi0 между импульсами соседних элементов на первом и втором тактах удовлетворяют условиям (86)—(87).
55
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Тогда справедливы следующие равенства:

N
P
−α(
ξi −TR )

0

i=2

re
+ qN,1 − eαξ1 (r − p + qN,1 ) = 0



k−1
N
P
P
−α(
ξi0 +
ξi −TR )
0
re i=1 i=k+1
+ qk−1,k − eαξk (r − p + qk−1,k ) = 0,



N
−1
P


 −α( i=1 ξi0 −TR )
0
re
+ qN −1,N − eαξN (r − p + qN −1,N ) = 0
(88)
где k = 2, 3, . . . , N − 1.
Идея доказательства заключается в следующем. Зная моменты времени t1i (i =
1, 2, . . . , N ), мы можем вычислить момент времени t21 генерации второго спайка первым элементом и указать рассогласование ξ10 между вторым спайком первого элемента и первым спайком N -го элемента. Далее рассуждения проводятся последовательно
для второго, третьего и так далее элементов. Определяются новые рассогласования
ξi0 (i = 2, 3, . . . , N ) между спайками элементов на втором такте прохождения волны
возбуждения по кольцу. Каждый раз при этом величина ξi0 (i = 2, 3, . . . , N ) выра0
жается через величины ξi+1 , ξi+2 , . . . , ξN , ξ10 , ξ20 , . . . , ξi−1
. Таким образом и возникает
система уравнений (88).
Результат леммы 6.1 может быть легко обобщен на случай двух любых подряд
идущих тактов распространения волны. Тогда в системе (88) будут фигурировать
не рассогласования ξi и ξi0 на первых двух тактах волны, а величины ξin и ξin+1 (n =
2, 3, . . .), представляющие собой рассогласования на n-м и n + 1-м тактах.
Следствие 6.1. Пусть в кольцевой структуре обобщенных нейронных элементов существует описанный колебательный режим на протяжении по крайней мере n + 1 первых тактов. При этом для величин рассогласований ξin и ξin+1 между импульсами соседних элементов на n-м и n + 1-м тактах выполняются условия (84)—(85).
Тогда справедливы следующие равенства:

N
P
−α(
ξik −TR )


αξ1k+1
i=2

re
+
q
=
e
(r − p + qN,1 )

N,1


l−1
N
P k+1
P
−α(
ξi +
ξik −TR )
k+1
,
(89)
i=1
i=l+1
re
+ ql−1,l = eαξl (r − p + ql−1,l )



NP
−1


k+1
 −α( i=1 ξik+1 −TR )
re
+ qN −1,N = eαξN (r − p + qN −1,N )
где l = 2, 3, . . . , N − 1, а k — любое натуральное число.
Доказательство данного следствия проводится в точности аналогично доказательству леммы 6.1. Случай n = 1 в точности соответствует этой лемме.
Таким образом, временные рассогласования на третьем такте прохождения волны возбуждения по кольцу выражаются через соответствующие рассогласования на
втором такте и так далее. Возникает итерационный процесс. В дальнейшем будет
доказано, что он сходится. Но прежде чем исследовать сходимость к предельным
рассогласованиям, покажем существование неподвижной точки отображения (89).
Обозначим через ξi0 ожидаемые в стационарном режиме значения промежутков
времени между импульсами i − 1-го и i-го элементов (i = 1, . . . , N ). Полный период
N
P
ξi0 . При этом необходимо учесть следующее. Во-первых, возсистемы есть T =
i=1
буждение от любого элемента, возвратившись к нему, должно попадать на период
56
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
восприимчивости, то есть T −ξi0 > TR для любого i = 1, 2, . . . , N . Во-вторых, все спайки должны носить индуцированный характер (являются результатом воздействия),
то есть ξi0 < Tm . Кроме того, поскольку ОНЭ-автогенераторы обладают авторитмичностью с периодом TA , то T − ξi0 < TA для любого i = 1, 2, . . . , N . То есть для
предельных рассогласований также должны выполняться условия:


0 < ξi0 < Tm
N
P
,
(90)

ξj0 − ξi0 < TA
TR <
j=1
при всех i = 1, 2, . . . , N .
Лемма 6.2. Пусть произвольные числа ξi0 (i = 1, 2, . . . , N ) удовлетворяют условиям (90). Синаптические веса qi−1,i в кольцевой структуре обобщенных нейронных
элементов определены формулами

qN,1 = −αξ10 [r − p − re−α(T −TR ) ]


1 −1
e

qk−1,k = −αξ10 [r − p − re−α(T −TR ) ]
,
(91)
k −1
e


1
q
[r − p − re−α(T −TR ) ]
=
N −1,N
e
−αξ0
N −1
где k = 2, 3, . . . , N − 1.
0
).
Тогда отображение (89) имеет неподвижную точку ξ 0 = (ξ10 , . . . , ξN
Идея доказательства состоит в следующем. Рассмотрим уравнения системы (89)
и подставим в каждое из них предельные рассогласования ξi0 . Выражая из этих уравнений величины синаптических весов qN,1 , q1,2 , . . ., qN −1,N , последовательно получаем формулы (91). Поэтому если мы распорядимся синаптическими весами в соответствии с формулами (91), то отображение (89) будет иметь неподвижную точку
0
).
ξ 0 = (ξ10 , . . . , ξN
Теперь сформулируем и докажем теорему об устойчивости исследуемого режима
нейронной активности.
Теорема 6.1. Пусть произвольные числа ξi0 (i = 1, 2, . . . , N ) удовлетворяют
условиям (90). Синаптические веса qi−1,i в кольцевой структуре обобщенных нейронных элементов определены формулами (91).
Тогда в кольцевой структуре обобщенных нейронных элементов в окрестности
неподвижной точки существует устойчивый режим нейронной активности, при
котором спайки элементов циклически следуют в порядке возрастания номеров.
Предельные временные рассогласования между спайками i − 1-го и i-го элементов
(i = 1, 2, . . . , N ) принимают значения ξi0 .
Доказательство этой теоремы устроено достаточно сложным образом. Поскольку
для существования описанного колебательного режима необходимо выполнение условий (84)—(85), то делается априорное предположение, что эти условия выполняются
на любом такте волны. Затем проводится линеаризация временных рассогласований на двух соседних тактах прохождения волны в окрестности неподвижной точки.
Для этого используется система (88). Строится линейная часть отображения (88) и
доказывается его сходимость в линейном приближении в окрестности неподвижной
точки. Затем доказывается, что нелинейная часть отображения (88) не нарушит его
сходимости к предельной точке в малой ее окрестности. Наконец, доказывается, что
57
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
если начальная точка лежит в малой окрестности неподвижной точки, то априорные
допущения (84)—(85) будут выполнены на любом такте прохождения волны.
Из теоремы 6.1 вытекает важное следствие.
Следствие 6.2. Пусть в кольцевой структуре обобщенных нейронных элементов существует устойчивый режим нейронной активности, при котором импульсы элементов циклически следуют в порядке возрастания номеров. Предельные значения временных рассогласований между спайками i − 1-го и i-го элементов (i =
1, 2, . . . , N ) принимают значения ξi0 .
Тогда для всех i, j = 1, 2, . . . , N имеют место следующие соотношения:
0
e−αξj − 1
qi−1,i
= −αξ0
.
qj−1,j
e i −1
(92)
Доказательство очевидно. Если i = j, то получается тривиальное тождество. Если i 6= j, то достаточно взять соответствующие выражения синаптических весов
qi−1,i и qj−1,j из системы (91). Разделив одно из них на другое, получаем в точности
соотношение (92).
Таким образом, задав заранее пару синаптических весов qi−1,i и qj−1,j и обеспечив
существование устойчивого колебательного режима в кольце, можно легко управлять
предельными рассогласованиями при генерации спайков соседними элементами.
В завершение отметим, что объектом исследования являлась ориентированная
кольцевая структура обобщенных нейронных элементов. При изучении ее поведения
использовались синаптические веса qi−1,i воздействия i−1-го элемента на i-й элемент.
Можно также рассмотреть неориентированную кольцевую структуру ОНЭ-автогенераторов. В этом случае добавятся синаптические веса qi,i−1 воздействия элемента
кольца на предыдущий элемент (i = 1, 2, . . . , N ). Таким образом, у каждого элемента будет по два входа и два выхода. Распространение возбуждения в такой кольцевой
структуре происходит более сложным образом. Тем не менее в неориентированной
кольцевой структуре также можно организовать исследуемый устойчивый колебательный режим. Кроме того, если выбрать веса qi−1,i таким же образом, как было
описано выше, можно организовать другой периодический режим работы кольца, а
именно такой, при котором волна возбуждения распространяется в противоположную сторону (убывания номеров элементов) и имеют заданные временные промежутки между спайками.
Еще более сложная организация синаптических связей в кольцевых структурах
приводит к более сложно устроенным колебательным режимам нейронной активности. Детальное исследование сложно связанных кольцевых структур затруднительно
провести аналитическими методами. Здесь на первый план исследований выходит
компьютерное моделирование.
58
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
6.2. Пачечная активность в ОНЭ-сетях
Пачечная активность (bursting) — способность одного нейрона генерировать не
один импульс, а целую серию импульсов с малыми внутренними временными рассогласованиями, без переходов в состояние рефрактерности. Этот феномен обнаруживается во многих биологических нейронных сетях, в том числе в человеческом мозге.
Соседние нервные клетки при этом подвергаются так называемому пачечному воздействию.
Предлагаемая модель обобщенного нейронного элемента неспособна сама проявлять пачечную активность. Но представляется возможным и целесообразным исследовать поведения ОНЭ под действием пачечной активности. При этом импульсы
пачки будут генерироваться разными элементами. Задача исследования поведения
ОНЭ под действием пачечной активности представляет самостоятельный интерес.
Кроме того, полученные формулы могут быть использованы в решении более сложных задач, связанных с дальнейшим изучением обобщенных нейронных элементов.
Поэтому представляется целесообразным решить задачу поведения ОНЭ под действием пачечной активности в общем случае — и для ОНЭ-автогенераторов и для
ОНЭ-детекторов. Результаты раздела опубликованы в [5].
Опишем нейронную сеть для изучения пачечного воздействия на обобщенный нейронный элемент. Рассмотрим некоторую произвольную нейронную сеть, состоящую
из N обобщенных нейронных элементов. Предположим, что m элементов данной сети
(m < N ) последовательно генерируют импульсы периодическим образом в моменты
времени t1 , t2 , . . . , tm ; t1 + T, t2 + T, . . . , tm + T ; . . .; t1 + kT, t2 + kT, . . . , tm + kT ; . . . При
этом каждый i-й элемент (i = 1, 2, . . . , m) генерирует импульсы, соответственно, в
моменты времени ti , ti + T, ti + 2T, . . . , ti + kT, . . . Ограничения на величину T будут
рассмотрены ниже.
Пусть каждый из этих m элементов соединен локальной синаптической связью с
еще одним m + 1-м элементом, поведение которого и будет исследоваться. Обозначим
соответствующие синаптические веса как q1 , q2 , . . . , qm ; qi > 0 при всех i = 1, 2, . . . , m.
Других связей у исследуемого m + 1-го элемента нет. Параметры p, r, α, TR и Tm
одинаковы для всех m+1 элементов сети. Исследуемый элемент имеет n = m входов.
Данный фрагмент произвольной нейронной сети будет служить объектом изучения
пачечного воздействия на обобщенный нейронный элемент. Подчеркнем, что все m+1
элементов могут быть либо ОНЭ-автогенераторами, либо ОНЭ-детекторами. Задача
пачечного воздействия будет решена в обоих этих случаях.
Дадим постановку задачи. Для этого введем необходимые обозначения и определения. Приурочим нулевой момент времени к выходу исследуемого элемента из
состояния рефрактерности перед поступлением первой пачки. В соответствии с описанием сети, моменты времени t1 , t2 , . . . , tm упорядочены следующим образом: 0 <
t1 6 t2 6, . . . , 6 tm . Согласно архитектуре сети, данная последовательность из m
импульсов воздействует на исследуемый m + 1 элемент.
Определение 6.1. Пусть исследуемый элемент в момент времени t1 находится
в состоянии восприимчивости. Если для моментов времени t1 , t2 , . . . , tm выполняется неравенство tm < t1 + Tm , то будем называть воздействие пачечным, а саму
последовательность из m таких импульсов — пачкой.
Биологический смысл данного определения в том, чтобы импульс последнего элемента пачки происходил перед тем, как разрушится медиатор в первом синапсе исследуемого элемента.
59
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Определение 6.2. Пусть на обобщенный нейронный элемент действует пачка
импульсов. Будем говорить, что он непосредственно реагирует на эту пачку, если
выполняется неравенство tm < tsp < t1 + Tm , где tsp — момент импульса исследуемого элемента.
Биологический смысл данного определения в том, чтобы импульс исследуемого
элемента происходит после начала выделения медиатора в m-м синапсе, но раньше,
чем распался медиатор в первом синапсе.
Наложим на рассматриваемую нейронную сеть необходимые ограничения. Величину T , введенную ранее, будем называть периодом пачечного воздействия. В том
случае, если рассматриваемая нейронная сеть состоит из ОНЭ-автогенераторов, то
положим:
Tm + TR < T < TA ,
(93)
где TA — период автогенерации импульсов ОНЭ-автогенератором, определяемый по
формуле (78). В том случае, если рассматриваемая нейронная сеть состоит из ОНЭдетекторов, то положим:
Tm + TR < T.
(94)
Поясним эти неравенства. Величина T не должна быть слишком малой, чтобы к моменту начала очередной пачки исследуемый элемент успел отреагировать на предыдущую пачку и выйти из состояния рефрактерности. С другой стороны, период воздействия не должен быть слишком велик, чтобы исследуемый элемент не успевал
самостоятельно сгенерировать импульс — в случае ОНЭ-автогенераторов. Для ОНЭдетекторов это не обязательно, поскольку они не способны к самостоятельной генерации импульсов и величина TA теряет смысл.
Кроме того, если рассматриваемая нейронная сеть состоит из ОНЭ-детекторов,
то веса q1 , q2 , . . . , qm должны удовлетворять неравенству
r+
m
X
qi > p.
(95)
i=1
В противном случае пачечное воздействие окажется слишком слабым и ОНЭ-детектор не сможет сгенерировать импульс. В случае ОНЭ-автогенераторов данное условие не обязательно.
Поставим задачу исследовать поведение обобщенного нейронного элемента под
действием периодического пачечного воздействия. Решим эту задачу как в случае
ОНЭ-автогенераторов, так и в случае ОНЭ-детекторов.
Введем дополнительные обозначения. Состояние исследуемого ОНЭ обозначим
s(t), функцию его мембранного потенциала — u(t). В нулевой момент времени исследуемый элемент вышел из состояния рефрактерности перед поступлением первой
пачки. То есть s(0) = {восприимчивость}, u(0) = 0.
Для удобства дальнейших вычислений переобозначим моменты ti + (j − 1)T j-го
импульса i-го элемента как tji . Будем называть j-й пачкой (j = 1, 2, . . .) последовательность импульсов в моменты времени tj1 , tj2 , . . . , tjm . Момент генерации спайка
исследуемым элементом под действием j-й пачки обозначим как tjsp . Введем также
обозначения ξi для временных рассогласований между моментами i-го и (i − 1)-го
импульсов пачки:
ξi = tji − tji−1 ,
60
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
где i = 2, 3, . . . , m. Запаздывание спайка исследуемого элемента относительно последнего импульса пачки обозначим как ξ j = tjsp − tjm .
Для условия пачечного воздействия k штук пачек необходимо, чтобы моменты
времени tji , tjsp удовлетворяли следующему неравенству:
j
j
j
j
j
tj−1
sp + TR < t1 6 t2 6, . . . , 6 tm < tsp < t1 + Tm ,
(96)
при всех j = 1, 2, . . . , k.
Применительно к временным рассогласованиям ξi , ξ j условие (96) записывается
в виде:

ξi > 0


 j
ξ >0
,
(97)
m
P


j
 ξ +ξ <T
i
m
i=2
при всех i = 2, 3, . . . , m; j = 1, 2, . . . , k.
Лемма 6.3. Пусть две одинаковые пачки из m импульсов поступают на синапсы обобщенного нейронного элемента с периодом T . Данный элемент непосредственно реагирует на каждую такую пачку, то есть величины рассогласований ξi ,
ξ j удовлетворяют условиям (97) при i = 2, 3, . . . , m; j = 1, 2. При этом в случае
ОНЭ-автогенераторов выполняется условие (93), а в случае ОНЭ-детекторов —
условия (94)—(95).
Тогда рассогласование ξ 2 может быть выражено через рассогласования ξ2 , ξ3 , . . . ,
ξm , ξ 1 следующим образом:
m
P
2
eαξ = eαξ
1
−α
qi e
m
P
ξj
j=i+1
re−α(T −TR )
+ i=1 P
.
m
m
P
r+
qi − p
r+
qi − p
i=1
(98)
i=1
Идея доказательства заключается в следующем. Рассмотрим поведение исследуемого элемента при t > t1sp , то есть начиная с момента генерации им первого своего
спайка. На промежутке времени [t1sp ; t1sp + TR ] ОНЭ находится в состоянии рефрактерности. В момент времени t1sp + TR исследуемый элемент выходит из состояния
рефрактерности, u(t1sp + TR ) = 0. С этого момента величина мембранного потенциала u(t) возрастает. Первый импульс второй пачки поступил в момент времени t21
(t21 > t1sp + TR ). Под действием пачки импульсов величина мембранного потенциала
исследуемого элемента u(t) увеличивается и со временем достигает величины порогового значения p. Как только величина мембранного потенциала становится равной
пороговому значению, исследуемый элемент генерирует импульс. Это происходит в
момент времени t2sp (t2sp > t2m ).
Рассмотрим промежуток времени [t2m ; t2sp ]. На этом промежутке времени формула
изменения мембранного потенциала исследуемого элемента, в соответствии с общим
дифференциальным уравнением (73) модели ОНЭ, имеет вид:
u(t) = r +
m
X
qi + e
−α(t−t2m )
i=1
[u(t2m )
−r−
m
X
i=1
61
qi ].
(99)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Значение мембранного потенциала u(t2m ) выражается следующим образом:
u(t2m ) = r +
m−1
X
2
2
qi + e−α(tm −tm−1 ) [u(t2m−1 ) − r −
i=1
m−1
X
qi ].
i=1
Рассуждая аналогичным образом и последовательно рассматривая моменты времени
t2m−1 , t2m−2 , . . . , t22 , получаем в общем виде:
u(t2m−n )
=r+
m−n−1
X
−α(t2m−n −t2m−n−1 )
qi + e
[u(t2m−n−1 )
−r−
i=1
m−n−1
X
qi ],
(100)
i=1
где n принимает значения 1, 2, . . . m − 2. В момент времени t21 имеем:
2
1
u(t21 ) = r − re−α(t1 −tsp −TR ) .
(101)
Последовательно подставим выражения (100) и (101) в формулу (99). Проводя
дальнейшие преобразования формулы (99) и приравнивая правую часть к пороговому значению p в момент времени t2sp (когда происходит генерация импульса), получаем соотношение (98).
Данная лемма связывает рассогласования ξ 1 и ξ 2 исследуемого элемента, то есть
задержки в генерации им спайков под влиянием первой и второй пачек соответственно.
Результат леммы 6.3 может быть легко обобщен на случай двух любых поступающих друг за другом пачек. Тогда в соотношении (98) будут фигурировать не
рассогласования ξ 1 и ξ 2 , а величины ξ k и ξ k+1 (k > 1), представляющие собой задержки в генерации спайка исследуемым элементом под действием k-й и (k + 1)-й
пачек соответственно.
Следствие 6.3. Пусть обобщенный нейронный элемент непосредственно реагирует на k-ю и (k +1)-ю пачки из m импульсов. При этом (k +1)-я пачка начинается
через промежуток времени T после начала k-й пачки. Величины рассогласований ξi ,
ξ j удовлетворяют условиям (97) при всех i = 2, 3, . . . , m; j = 1, 2, . . . , k + 1. Кроме
того, в случае ОНЭ-автогенераторов выполняется условие (93), а в случае ОНЭдетекторов — условия (94)—(95).
Тогда рассогласование ξ k+1 может быть выражено через рассогласования ξ2 , ξ3 ,
. . . , ξm , ξ k следующим образом:
m
P
eαξ
k+1
= eαξ
k
−α
qi e
m
P
ξj
j=i+1
re−α(T −TR )
+ i=1 P
.
m
m
P
r+
qi − p
r+
qi − p
i=1
(102)
i=1
Отметим два важных частных случая. Если все синаптические веса связей одинаковы, т. е. q1 = q2 = . . . = qm = q, то формула (102) приобретает вид:
eαξ
k+1
= eαξ
k
re−α(T −TR )
+
r + mq − p
62
q
m
P
−α
e
m
P
ξj
j=i+1
i=1
r + mq − p
.
(103)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Если в состав пачки входят только два элемента, то есть m = 2, то формула (102)
приобретает вид:
eαξ
k+1
= eαξ
k
re−α(T −TR )
q1 e−αξ2 + q2
+
.
r + q1 + q2 − p r + q1 + q2 − p
(104)
Эта формула будет использоваться в задаче адаптации ОНЭ-автогенератора в следующем разделе.
Рассмотрим теперь поведение обобщенного нейронного элемента, когда на него
воздействует бесконечная последовательность одинаковых пачек.
Теорема 6.2. Пусть одна и та же пачка из m импульсов поступает на синапсы
обобщенного нейронного элемента с периодом T . Данный элемент непосредственно
реагирует на каждую такую пачку. Величины рассогласований ξi , ξ j удовлетворяют условиям (97) при всех i = 2, 3, . . . , m; j = 1, 2, . . . Кроме того, в случае ОНЭавтогенераторов выполняется условие (93), а в случае ОНЭ-детекторов — условия (94)—(95).
Если выполняется неравенство
re
−α(T −TR )
<r+
m
X
qi − p,
(105)
i=1
то периодическое пачечное воздействие навязывает исследуемому элементу свою
частоту генерации импульсов. При этом последовательность рассогласований {ξ j }
(j = 1, 2, . . .) имеет предел ξ ∗ , который может быть найден по формуле:
B
1
∗
,
(106)
ξ = ln
α
1−A
где
A = (re−α(T −TR ) )/(r +
m
P
qi − p),
B=(
i=1
m
P
−α
qi e
m
P
ξj
j=i+1
)/(r +
i=1
m
P
qi − p).
i=1
Доказательство сравнительно простое. Условия теоремы таковы, что выполняется
только что доказанное следствие 6.3. В формуле (102) положим:
A = (re−α(T −TR ) )/(r +
m
P
i=1
qi − p), B = (
m
P
m
P
−α
qi e
j=i+1
i=1
ξj
)/(r +
m
P
i
qi − p), yi = eαξ ,
i=1
где i = 1, 2, . . .
В этих обозначениях формула (102) примет вид:
yk+1 = Ayk + B,
где k = 2, 3, . . .
Из условия (105) следует, что A < 1. Поэтому для выписанного рекуррентного
∗
соотношения yk → y ∗ при k → ∞, где y ∗ = B/(1 − A). С другой стороны, y ∗ = eαξ .
∗
Из равенства eαξ = B/(1 − A) получается в точности формула (106). Таким образом,
для последовательности {ξ i } (i = 1, 2, . . .) существует предел ξ ∗ , который может быть
найден по формуле (106). Теорема доказана.
Аналогичный результат можно получить для соотношений (103) и (104) как частных случаев формулы (102). Доказанная теорема носит общий характер, будучи верной и для ОНЭ-автогенераторов и для ОНЭ-детекторов.
63
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
6.3. Адаптация в ОНЭ-сетях
Способность нейронных сетей к обучению является важнейшим их свойством.
В результате обучения целенаправленно меняются величины синаптических весов в
сети. Поэтому вопрос о выборе синаптических весов в нейронных системах чрезвычайно важен для обучения и дальнейшей корректной работы нейронной сети. Существуют два принципиально различных подхода к решению задачи обучения.
Согласно одному из них, веса вычисляются вне нейронной сети, а затем импортируются в синапсы. Нахождение весов обычно сводится к решению некоторой оптимизационной задачи. В случае классических нейронных сетей часто минимизируют
суммарное квадратичное рассогласование желаемого и реального состояния выходов
нейронов. Направление, связанное с импортом весов, широко распространено, но при
моделировании биологических систем не представляется естественным.
Согласно второму подходу к системе обучения, синаптические веса подстраиваются в процессе функционирования нейронной сети. Такое постепенное изменение
весов часто называют адаптацией. Наличие механизма адаптации считается неотъемлемым признаком нейронной системы. Этот подход является более естественным с
биологической точки зрения и далее он будет использован применительно к обобщенным нейронным элементам. В случае сложно устроенных динамических сред исследование механизма адаптации аналитическими методами затруднительно. Однако
для отдельного ОНЭ-автогенератора удается провести адаптацию и аналитически
доказать ее результативность.
Решается следующая задача. Пусть дана нейронная сеть, состоящая из обобщенных нейронных элементов автогенераторного типа. Выделим в этой сети два ОНЭавтогенератора, первый из которых соединен со вторым однонаправленной синаптической связью с весом q0 > 0. Эти два автогенератора будем называть первым
и вторым эталонными элементами. Предположим, вся сеть работает так, что два
рассматриваемых элемента функционируют в периодическом режиме. А именно, импульсы этих двух элементов следуют друг за другом в порядке нумерации с одним и
тем же внутренним рассогласованием ξ 0 и повторяются через промежуток времени
T . Ниже будут даны условия на эти величины. Предположим также, что в момент
генерации импульса первым по счету элементом второй находится в состоянии восприимчивости.
Пусть эти два эталонных элемента соединены однонаправленными синаптическими связями с третьим ОНЭ-автогенератором, который будем называть адаптивным.
Для этого элемента и будет решаться задача адаптации. Синаптический вес воздействия q второго эталонного элемента на адаптивный фиксирован и достаточно велик.
Синаптический вес воздействия Q первого эталонного элемента на адаптивный будет меняться в процессе функционирования сети. Первоначальное значение веса Q
обозначим как Q0 (0 < Q0 < q0 ). Будем решать задачу: провести с течением времени целенаправленную адаптацию веса Q так, чтобы начиная с некоторого момента
времени адаптивный элемент функционировал в точности как второй эталонный элемент.
Введем дополнительные обозначения и выпишем необходимые условия для процедуры адаптации. Предположим, что рассматриваемая тройка элементов (два эталонных и адаптивный) генерирует первые свои импульсы в следующем порядке: сначала
первый эталонный, затем второй эталонный (с рассогласованием ξ 0 ), а затем адаптивный. Приурочим нулевой момент времени к генерации импульса первым эталонным
элементом. Запаздывание импульса адаптивного элемента относительно второго эта64
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
лонного будем обозначать η, причем в данном предположении η > 0. Ниже будет
доказана лемма о том, что существует такое начальное состояние адаптивного элемента, при котором данное предположение выполняется. Наложим на величину ξ 0
следующее условие:
0 < ξ 0 < Tm .
(107)
При выполнении данного условия импульсы эталонных элементов образуют пачку.
Величина T оказывается периодом пачечного воздействия, а потому должна удовлетворять условию (93).
Можно показать, что при увеличении в процессе адаптации синаптического веса
Q величина η уменьшается. То есть адаптивный элемент начинает в своем функционировании "подтягиваться" ко второму эталонному элементу. На данном факте
основана идея подстройки синаптических весов.
Детально опишем механизм адаптации. В нулевой момент времени происходит
импульс первого эталонного элемента. В момент времени ξ 0 происходит импульс второго эталонного элемента. В момент времени ξ 0 + η происходит импульс адаптивного
элемента. Далее, в момент времени t = ξ 0 + η + TR , адаптивный элемент выходит из
состояния рефрактерности. Модификацию синаптического веса Q естественно проводить на промежутке времени t ∈ [ξ 0 + η; ξ 0 + η + TAd ] после импульса адаптивного
элемента. Фиксированная положительная величина TAd задается заранее и определяет длительность каждого отдельного изменения синаптического веса Q. Поскольку
адаптивный элемент находится в состоянии рефрактерности (TAd < TR ), то на указанном промежутке времени соответствующий синапс не используется.
После каждого изменения веса Q запаздывание импульса η адаптивного элемента
в ответ на следующую пачку, вообще говоря, меняется. Поэтому можно говорить о
последовательности рассогласований η (k) , где k = 1, 2, . . . Каждое рассогласование
η (k) представляет собой запаздывание импульса адаптивного элемента после поступления k-й пачки.
Адаптацию будем проводить в соответствии с рекуррентной формулой
Q(k+1) = Q(k) + γ(eαη
(k+1)
− 1).
(108)
(1)
При k = 0: Q(1) = Q0 + γ(eαη − 1). Здесь γ — заранее выбранная малая константа,
определяющая скорость адаптации. Необходимые ограничения на величину γ будут
даны ниже, в теореме 6.3. Величины Q(k) и Q(k+1) представляют собой последовательные значения веса Q до и после адаптации соответственно. Каждая такая адаптация
веса проводится на промежутке времени t ∈ [T (k−1)+ξ 0 +η (k) ; T (k−1)+ξ 0 +η (k) +TAd ].
Таким образом, функция Q(t) изменения веса Q — ступенчатого вида:

0
(1)

Q0 , при 0 > t > ξ + η
Q(t) = Q(1) , при ξ 0 + η (1) + TAd > t > T + ξ 0 + η (2)
,

 (k)
0
(k)
0
(k+1)
Q , при T (k − 1) + ξ + η + TAd > t > T k + ξ + η
где k = 2, 3, . . .
Независимо от адаптивного элемента пара эталонных элементов периодически генерирует пачки импульсов. При решении задачи пачечной активности была получена
формула (104), которая в имеющихся обозначениях принимает следующий вид:
eαη
(k+1)
= A(Q)eαη
65
(k)
+ B(Q),
(109)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
где
0
A(Q) = (re−α(T −TR ) )/(r + q + Q(k) − p), B(Q) = (Q(k) e−αξ + q)/(r + q + Q(k) − p).
В соответствии с этой формулой, по величине η (k) определяется η (k+1) — новое запаздывание импульса адаптивного элемента в ответ на следующую (k + 1)-ю пачку.
Таким образом, между величинами рассогласования η (k) и веса Q(k) существует взаимосвязь. А именно, исходя из величины η (1) , происходит изменение веса Q с
величины Q0 на Q(1) . Это приводит к изменению величины η (2) . По значению η (2) происходит вычисление веса Q(2) и т. д. Возникает итерационный процесс, отражающий
последовательные такты процедуры адаптации.
Можно показать, что отображение (108)—(109) имеет неподвижную точку η = 0,
Q = q0 . Исследуем вопрос о сходимости итерационного процесса, который априорно
будем рассматривать в области: 0 < Q 6 q0 , 0 6 η (k) < Tm − ξ 0 , где k = 1, 2, . . . Верна
следующая теорема, которая здесь приводится без доказательства.
Теорема 6.3. Пусть адаптивный ОНЭ-автогенератор непосредственно реагирует на пачки из двух импульсов, поступающих с внутренним рассогласованием
ξ 0 и периодом T , которые удовлетворяют условиям (93) и (107).
Если синаптический вес q и малая константа γ удовлетворяют неравенствам


q > p
(110)
γp < (q0 − Q0 )(r + q + Q0 − p) ,
p


2
γϕ(0)/q0 < (1 − A(0))
где
ϕ(0) = (p − r(1 − e−α(T −TR ) ))/(r + q − p),
A(0) = (re−α(T −TR ) )/(r + q − p),
то итерационный процесс (108)—(109) сходится к точке η = 0, Q = q0 .
Описанный процесс адаптации и теорема 6.3 существенно дополняют представления о свойствах обобщенных нейронных элементов. Оказалось, что такие элементы, будучи объединены в нейронные структуры, могут не только хранить волновые
пакеты, но и подстраиваться в своем функционировании друг к другу. Это свойство позволяет проводить целенаправленную адаптацию в более сложных нейронных
структурах, в частности кольцевых.
Схему адаптации допустимо рассматривать как модель запоминания и дублирования информации, представленной в волновом виде. При этом совершенно не важна
природа эталонной последовательности импульсов. В качестве нее может выступать
последовательность спайков, порожденная сенсорными структурами мозга или же,
например, каким-нибудь кольцевым образованием. В последнем случае речь может
идти о воспроизводстве идентичных колец. На основе описанного механизма адаптации в процессе обмена информацией между нейронными системами оказывается
возможным создание копий. При исследовании адаптации в сложных сетях, как и во
многих других случаях, на первый план выходит численное моделирование.
66
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
7. Численные исследования ОНЭ-сетей
Численные исследования — важный, а иногда и единственно возможный метод
изучения функционирования нейронных сетей. Чем сложнее модель отдельного элемента и топология нейронной сети, тем сложнее изучать поведение последней аналитическими методами. Ситуация еще больше усложняется, если в изучаемой нейронной сети происходит динамическое изменение синаптических весов (адаптация).
Поэтому для изучения сложных нейросетей, насчитывающих десятки и сотни элементов, соединенных сотнями различных (возможно, меняющихся) синаптических весов,
численные исследования незаменимы. С развитием компьютерной техники возникла
мощная и удобная техническая база для проведения таких исследований. Численные
исследования нейросетей включают в себя обычно два этапа. Во-первых, написание
компьютерной программы, имитирующей поведение нейронной сети и позволяющей
отслеживать различные параметры и характеристики. Во-вторых, собственно исследование такого поведения с точки зрения решаемой задачи.
К важным достоинствам численных (компьютерных) исследований нейросетей
относятся:
• визуальный характер генерации импульсов и взаимного влияния нейронов;
• возможность легко отследить поведение сети в момент времени, сколь угодно
далекий от начального;
• удобный механизм проверки гипотез, связанных с предельными режимами функционирования нейросетей;
• легкость расширения топологии исследуемой сети.
Тем не менее при организации компьютерных исследований возникает ряд сложностей. Первая и главная из них — необходимость перехода от аналитических (или
имитационных) моделей нейронного элемента и взаимодействия этих элементов к
соответствующим алгоритмическим моделям. Кроме того, для нейронных моделей,
функционирующих в непрерывном времени, возникает и еще одна трудность. Как известно, компьютер оперирует дискретной информацией и функционирование любого
алгоритма также дискретно. Поэтому приходится разрабатывать способы имитации
поведения алгоритмической модели в реальном времени. Возникают сложности и с
заданием начального состояния системы, поскольку используемый в аналитических
исследованиях способ сделать это, очевидно, не годится.
7.1. Общий алгоритм программ для численных исследований
ОНЭ-сетей
Рассмотрим один из возможных способов организации алгоритма для численных
исследований произвольной сети, состоящей из обобщенных нейронных элементов.
Наиболее естественным способом программной реализации нейронной сети является
разработка параллельного алгоритма. В соответствии с такими алгоритмами происходит функционирование нейрокомпьютеров. Но для стандартных вычислительных
систем использование параллельных алгоритмов, в соответствии с которыми нейроны на самом деле функционируют одновременно, затруднительно.
67
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Модель обобщенного нейронного элемента такова, что ОНЭ-сети допускают и последовательную алгоритмическую реализацию их поведения. Прежде чем привести
этот алгоритм, рассмотрим задание начального состояния ОНЭ-сети при компьютерном исследовании.
Рассмотрим произвольную ОНЭ-сеть в начальный момент времени t0 = 0. Будем считать, что все синаптические веса в сети заданы заранее и не меняются в
процессе функционирования сети. Для корректного задания начального состояния
сети необходимо, во-первых, определить состояние каждого элемента сети. А именно, одна часть элементов сети находится в состоянии рефрактерности. Для каждого
из таких элементов необходимо указать, сколько времени осталось до его выхода из
рефрактерности (или как давно он находится в состоянии рефрактерности). Величина мембранного потенциала u(t0 ) для таких элементов, в соответствии с описанием
модели, равна нулю. В силу неравенства Tm < TR можно считать, что на данный
элемент не осуществляется никакого воздействия со стороны соседних элементов.
Другая часть элементов сети в момент времени t0 находится в состоянии восприимчивости. Для каждого из таких элементов необходимо задать величину мембранного потенциала u(t0 ). Кроме того, необходимо указать, осуществляется ли воздействие на данный элемент по какой-то из синаптических связей, ведущих к данному
элементу. Перечень таких связей (и соответствующих весов) должен быть определен
для каждого элемента. Наконец, для каждой такой связи необходимо указать, сколько времени осталось до прекращения воздействия по этой связи (или как давно это
воздействие осуществляется).
Третья часть элементов в момент времени t0 находится в состоянии генерации
импульса. Величины мембранных потенциалов у всех таких элементов u(t0 ) равны
пороговому значению p. Таким образом происходит задание начального состояния
ОНЭ-сети. Оно определяет всю последующую динамику, поэтому начальное состояние задает пользователь.
После задания начального состояния вся дальнейшая динамика сети носит детерминированный характер. Это и позволяет в любой момент времени t "просчитать по
шагам" дальнейшее поведение сети. Поэтому идея алгоритма программной реализации состоит в следующем. При отсутствии новых внешних воздействий изменение
функции мембранного потенциала обобщенного нейронного элемента известно. Кроме того, известны ее правила изменения в случае внешних воздействий, а значит,
ее значение может быть вычислено в любой произвольный момент времени до генерации импульса соответствующим элементом. Это позволяет найти предполагаемый
момент времени tsp
i ближайшего спайка каждого i-го элемента из числа тех, которые
находятся в момент времени t в состоянии восприимчивости. В частности, если в момент времени t элемент с номером i генерирует импульс, то для него tsp
i = 0. Для того
же i-го элемента, который в момент времени t находится в состоянии рефрактерности, известно время tri , через которое элемент выйдет из состояния рефрактерности.
Таким образом, для каждого элемента сети известен промежуток времени до смены элементом своего состояния — в предположении, что на данный элемент не придет
новое внешнее воздействие или не закончится старое воздействие соседнего элемента. Новое внешнее воздействие есть продукт генерации импульса одним из соседних
элементов. Если в течение некоторого промежутка времени есть гарантия, что этого не произойдет, то новое внешнее воздействие на этом промежутке времени будет
отсутствовать. Что касается прекращения одного из уже имеющихся воздействий
на данный элемент, то это также детерминированная величина, поскольку длитель-
68
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ность всех воздействий Tm известна, а моменты времени в прошлом, когда пришло
каждое такое воздействие, можно отследить и хранить в памяти. Поэтому для каждого i-го элемента из числа тех, которые находятся в момент времени t в состоянии
восприимчивости, можно определить величину tm
i — ближайший момент времени,
когда прекратится одно из внешних воздействий (если хотя бы одно из них имеется).
Число элементов в сети конечно, поэтому среди всех найденных в момент времени
r
m
t положительных величин tsp
i , ti и ti существует наименьшая по всем номерам i,
которую обозначим δ. Рассмотрим поведение сети на временном промежутке (t; t+δ).
По построению на этом промежутке ни один элемент сети не сгенерирует импульс, а
следовательно не окажет нового внешнего воздействия на своих соседей. Кроме того,
ни один элемент сети не выйдет из рефрактерности (из тех, что находятся в этом
состоянии). Наконец, не прекратится ни одно уже имеющееся внешнее воздействие
одного элемента на другой. Будем говорить, что в этом случае в сети не происходит
никакого события.
Итак, на временном промежутке (t; t + δ) в сети не происходит никакого события. Это значит, что если в момент времени t все параметры и характеристики сети
известны (состояния элементов, величины мембранных потенциалов, перечни активных синаптических связей), то можно достаточно легко пересчитать все параметры и
характеристики сети в любой следующий момент времени вплоть до момента времени t + δ. Именно в этот момент времени в сети происходит событие, причем известно
какое. В зависимости от того, какое происходит событие, производятся дополнительные действия и особенным образом пересчитываются характеристики того элемента,
который участвует в этом событии (если событие — генерация импульса, то и у его
восприимчивых соседей). Всё это, в свою очередь позволяет определить все параметры и характеристики сети в момент времени t+δ. После этого вновь ищется величина
m
r
δ на основе уже новых величин tsp
i , ti и ti , и так далее.
На каждом шаге этого алгоритма также производится отрисовка некоторых визуальных эффектов, связанных с генерацией импульса, выходом из рефрактерности
или проявлением воздействия одного элемента на другой. После этого для имитации
работы сети в реальном времени задается пауза, прямо пропорциональная величине
δ на каждом шаге алгоритма. Таким образом, последовательно осуществляя шаги алгоритма, можно численно смоделировать поведение ОНЭ-сети в течение сколь угодно
долгого промежутка времени.
Прежде чем более строго сформулировать предложенный алгоритм, введем необходимые параметры и характеристики сети в целом и отдельных обобщенных нейронных элементов. Пусть исследуемая сеть состоит из N нейронов, часть которых
соединена однонаправленными синаптическими связями с весами qij , положительными и не меняющимися во времени. А именно, i-й элемент соединен с j-м связью
с весом qij . Для элементов, не связанных между собой, положим qij = 0. Эти веса удобно хранить в матрице (двумерном массиве) Q размером N ∗ N , но можно
организовать и другое хранение синаптических весов, когда для каждого элемента
заводится отдельный одномерный массив весов связей, заканчивающихся на данном
элементе. Последний способ предпочтительнее, поскольку снимается ограничение на
изначальное количество элементов в сети, а в случае динамических массивов и ограничение на количество связей, ведущих к данному элементу. К тому же при больших
N объем памяти под вещественную матрицу Q и время работы с ней резко увеличиваются. Поэтому рассмотрим хранение синаптических весов в одномерных массивах.
Для сети в целом обозначим (и будем хранить в подходящих типах данных) сле-
69
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
дующие параметры:
• N — количество элементов;
• p — пороговое значение мембранного потенциала;
• r — равновесное значение мембранного потенциала;
• alpha — скоростной параметр;
• T _R — продолжительность периода рефрактерности;
• T _m — продолжительность периода синаптического воздействия.
Эти параметры едины для всех элементов сети, задаются пользователем на этапе
проектирования сети и не меняются в дальнейшем. Что касается топологии сети,
то она либо может быть жестко заданной в соответствии с решаемой задачей, либо
задаваться пользователем. В последнем случае можно говорить о программе-конструкторе ОНЭ-сетей, существенно более универсальной.
Для каждого из N элементов обозначим (и будем хранить в подходящих типах
данных) следующие статические параметры:
• n_i — число входов данного элемента (синаптических связей, заканчивающихся
на данном элементе);
• m_i — число выходов данного элемента (синаптических связей, начинающихся
на данном элементе);
• num_in_i — одномерный массив длиной n_i с номерами элементов, имеющих
связь по направлению к данному элементу;
• num_out_i — одномерный массив длиной m_i с номерами элементов, имеющих
связь по направлению от данного элемента;
• q_i — одномерный массив длиной n_i с весами связей, ведущих к данному
элементу.
Эти параметры, вообще говоря, различны у разных элементов сети, задаются пользователем на этапе проектирования сети и не меняются в дальнейшем.
Кроме того, для каждого из N элементов обозначим (и будем хранить в подходящих типах данных) следующие динамические параметры:
• s_i — текущее состояние;
• u_i — текущая величина мембранного потенциала;
• t_event_i — время до события;
• sigma_i — одномерный массив длиной n_i индикаторов тех связей, ведущих
к данному элементу, по которым в текущий момент времени осуществляется
воздействие. В этом же массиве хранится время, оставшееся до прекращения
воздействия по соответствующей связи.
70
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Определим величину s_i, например, следующим образом:


1, если в текущий момент времени элемент восприимчив
s_i = 0, если в текущий момент времени элемент генерирует импульс


−1, если в текущий момент времени элемент рефрактерен
Отметим, что время до события t_event_i в случае ОНЭ-детекторов может быть
и бесконечным. Необходимо отслеживать эту ситуацию и соответствующим образом
кодировать ее в переменной t_event_i, записывая в нее, например, очень большое
значение.
Определим массив sigma_i, например, следующим образом. Положим sigma_i[j]
равным времени, оставшемуся до прекращения воздействия по j-й связи, если по ней
в текущий момент времени осуществляется воздействие (j = 1, 2, . . . , n). В противном
случае положим sigma_i[j] равным нулю. Все эти параметры различны у разных элементов сети, задаются пользователем в начальный момент времени, а в дальнейшем
меняются.
Другие важные характеристики сети и соответствующие им переменные:
• t — текущий момент времени;
• delta — временной промежуток до ближайшего события в сети;
• type_event — тип события;
• num — номер элемента, с которым происходит событие.
Определим величину type_event, например, следующим образом:


1, если событие — генерация импульса
type_event = 0, если событие — прекращение внешнего воздействия


−1, если событие — выход из рефрактерности
Алгоритм программы для численных исследований ОНЭ-сетей включает в себя
следующие стадии.
I. Задание пользователем параметров N , p, r, alpha, T _R и T _m сети в целом.
II. Программная отрисовка конкретной ОНЭ-сети или задание пользователем ее
топологии в интерактивном режиме. При этом определяются статические параметры
n_i и m_i для каждого нейрона сети. Также определяются и программно заполняются массивы num_in_i, num_out_i и q_i для каждого нейрона сети.
III. Задание начального состояния сети, а именно определение переменных s_i,
u_i и массива sigma_i для каждого нейрона сети.
Если для i-го нейрона s_i = −1 (рефрактерность), то нужно задать и время
t_event_i, в данном случае до выхода из рефрактерности.
Если для i-го нейрона s_i = 1 (восприимчивость), то время t_event_i, в данном
случае до генерации импульса, задавать не нужно. Оно функционально определяется
остальными параметрами данного нейрона:
t_event_i =
u_i − r − sum_i
1
ln
,
alpha
p − r − sum_i
(111)
где величина sum_i — сумма чисел q_i[j] по всем таким j = 1, 2, . . . , n_i, что
sigma_i[j] > 0. Отметим, что эта формула применима только в том случае, если
71
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
r + sum_i > p. Если же r + sum_i < p, то без дополнительного воздействия нейрон
не сможет сгенерировать импульс и величина t_event_i теряет смысл. Тогда для
общности результатов в переменную t_event_i программно записывается соответствующее значение.
Покажем, как получается формула (111). Согласно модели обобщенного нейронного элемента, динамика функции мембранного потенциала u(t) в состоянии восприимчивости описывается уравнением, которое в имеющихся обозначениях выглядит
так:
u̇ = alpha ∗ (r + sum_i − u).
В качестве начального условия берется u(0) = u_i. Поэтому при t > 0 и вплоть до
предполагаемой генерации импульса i-м нейроном в момент времени t_event_i:
u(t) = r + sum_i + e−alpha∗t (u_i − r − sum_i).
В предполагаемый момент генерации импульса t_event_i, в том случае если r +
sum_i > p, правая часть этой формулы равна величине p:
r + sum_i + e−alpha∗t_event_i (u_i − r − sum_i) = p,
откуда и получается формула (111).
Наконец, если для i-го нейрона s_i = 0 (генерация импульса), то время t_event_i
для него просто равно нулю.
После задания начального состояния сеть готова к функционированию. Переменная t обнуляется.
IV. В цикле по всем нейронам сети вызывается функция, которая обновляет величину t_event_i для каждого восприимчивого нейрона. А именно, если для i-го
нейрона s_i = 1, то t_event_i заново вычисляется в соответствии с формулой (111)
— в том случае, если r + sum_i > p. Если же r + sum_i < p, то без дополнительного воздействия нейрон не сможет сгенерировать импульс и в переменную t_event_i
записывается соответствующее значение.
Затем также в цикле по всем нейронам сети определяется величина
delta = min
min {t_event_i, sigma_i[j]}.
16i6N 16j6n_i
В этой формуле берутся только положительные элементы sigma_i[j] (иначе величина delta всякий раз будет равна нулю).
Одновременно находятся величины type_event и num. Это легко сделать в том
же цикле, где ищется величина delta. Все найденные величины записываются в соответствующие переменные.
V. Зная тип события type_event, номер нейрона num и время delta, переходим к
пересчету всей сети. В зависимости от типа события это происходит по-разному.
В любом случае сначала для всех, кроме num-го, нейронов сети, находящихся в
восприимчивости, обновляются величины мембранных потенциалов u_i по формуле
u_i := r + sum_i + e−alpha∗delta [u_i − r − sum_i].
(112)
5.1. Если type_event = −1 (событие — выход из рефрактерности), то для num-го
нейрона s_i := 1, а величина t_event_i вычисляется по формуле (111).
72
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
5.2. Если type_event = 0 (событие — прекращение внешнего воздействия), то
для num-го нейрона величина его мембранного потенциала u_i пересчитывается по
формуле (112).
Кроме того, для num-го нейрона все положительные величины sigma_i[j], а также величина t_event_i уменьшаются на величину delta.
5.3. Если type_event = 1 (событие — генерация импульса), то для num-го нейрона:
s_i := −1, u_i := 0, t_event_i := T _R и sigma_i[j] := 0 для всех j = 1, 2, . . . , n_i.
В этом случае происходит воздействие num-го нейрона на тех из его соседей,
которые находятся в состоянии восприимчивости. Поэтому производятся следующие
действия. В массиве num_out_i для num-го нейрона выбираются те номера соседних
с ним нейронов, у которых s_i := 1. Затем для каждого из найденных нейронов-приемников в его массиве num_in_i ищется индекс k такой, что num_in_i[k] = num.
Зная этот индекс (связь, по которой пришло воздействие), меняем соответствующий
элемент в массиве sigma_i нейрона-приемника: sigma_i[k] := T _m. На этом заканчиваются специфические операции, осуществляемые в каждом из случаев.
Наконец, в любом случае для всех нейронов сети, кроме num-го, все положительные величины sigma_i[j], а также все величины t_event_i уменьшаются на
величину delta.
VI. Для наглядного представления динамики сети на экране имитируется визуальная пауза, а затем происходит отрисовка произошедшего события. На этом переход
сети от состояния, соответствующего моменту времени t, к состоянию, соответствующему моменту времени t + delta, закончен. Поэтому переменная delta обнуляется,
а общее время функционирования сети t пересчитывается: t := t + delta.
Далее происходит переход к шагу IV, и шаги IV — VI повторяются до тех пор,
пока пользователь не остановит функционирование сети. Изложение алгоритма закончено.
Данный алгоритм способен работать сколь угодно долго, и посредством его можно
получить состояние сети в любой момент времени. Кроме того, алгоритм устроен так,
что он легко может осуществляться и по шагам, и непрерывным образом. Пошаговое
выполнение удобно для контроля над характеристиками сети в конкретный момент
времени. Возможность такого контроля (наблюдения за такими характеристиками,
но не изменения их) должна быть предоставлена пользователю. К важнейшим таким
характеристикам относятся: величины мембранных потенциалов, последовательные
рассогласования между импульсами одного и того же элемента, последовательные
рассогласования между импульсами соседних элементов.
7.2. Численные исследования кольцевых структур
В рамках численных исследований ОНЭ-сетей в 2010–2011 годах была разработана программа-конструктор, способная в интерактивном режиме строить нейронные
сети из обобщенных нейронных элементов произвольной структуры. Также в этой
программе реализована возможность сохранения и загрузки построенных структур
нейронных сетей, возможность добавления к ним комментариев. В соответствии с
предложенным алгоритмом реализована схема последовательного функционирования ОНЭ-сетей (как по шагам, так и в непрерывном времени). При этом пользователю предоставлена возможность наблюдать за всеми параметрами сети в целом и
отдельных нейронов, изменять эти параметры в соответствии с требованиями конкретной задачи, в том числе прямо во время функционирования ОНЭ-сети. Все это
73
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
делает разработанную программу мощным инструментом решения разнообразных
задач для ОНЭ-сетей различной топологии.
Первым объектом численных исследований ОНЭ-сетей стали кольцевые структуры. Были подтверждены имеющиеся теоретические результаты, касающиеся предельных режимов функционирования кольцевых структур. А именно, показано существование в кольцевых структурах устойчивого колебательного режима с рассогласованиями между импульсами, которые можно задавать заранее с помощью величин
синаптических весов. Исследована скорость сходимости колебательных режимов в
таких кольцевых структурах к предельным режимам. Также получена информация
о величине бассейна притяжения к изучаемому предельному режиму в таких структурах. Эта информация полезна при дальнейших исследованиях помехоустойчивости кольцевых структур обобщенных нейронных элементов. Оказалось, что случаям
ОНЭ-автогенераторов и ОНЭ-детекторов соответствуют различные скорости сходимости и бассейны притяжения. Для более детального анализа необходимы дальнейшие исследования.
Для наглядности получаемых результатов разработан механизм построения графиков рассогласований между выбранными парами нейронов. Это позволяет визуально продемонстрировать, как итерационный процесс сходится к предельному режиму. Также исследованы некоторые случаи расхождения итерационного процесса
при некорректном задании начального состояния.
Исследования кольцевых структур с разным числом элементов позволили получить ряд результатов. Например, для ОНЭ-автогенераторов с ростом числа элементов в кольце происходит сужение бассейна притяжения к предельному режиму. В
случае ОНЭ-детекторов этого не происходит.
Продемонстрирована возможность существования в кольцевых структурах и других устойчивых колебательных режимов, например кратных волн. В этом случае элементами кольца по очереди генерируется не один импульс, а несколько, смещенных
по фазе друг от друга. Использование кратных волн вместо одинарных позволяет
хранить в той же кольцевой структуре больший объем информации в динамическом
виде.
Более подробные исследования кольцевых структур и ОНЭ-сетей другой топологии еще предстоит осуществить.
7.3. Дальнейшие исследования ОНЭ-сетей
В рамках дальнейших исследований сетей обобщенных нейронных элементов можно указать ряд направлений. Во-первых, речь идет о продолжении аналитических
исследований. В качестве объектов таких исследований могут выступать локальные
или полносвязные сети сравнительно простой топологии. С точки зрения величин
синаптических весов можно выделить однородные (все веса одинаковые) и неоднородные (веса различаются между собой) сети. В первую очередь интересуют условия синхронизации и десинхронизации в таких сетях. Кроме того, важным является
поиск устойчивых колебательных режимов (например, по типу ведущего центра),
выявление условий их существования.
Аналитические исследования больших по размеру сетей, как уже отмечалось,
затруднительно. Тем не менее, пользуясь результатами уже решенных задач, естественно исследовать ОНЭ-сети модульной архитектуры. В таких сетях выделяются
74
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
отдельные группы элементов (модули). Элементы каждого модули соединены только с элементами своего модуля и соседнего (или двух соседних) модуля. Сами модули могут образовывать иерархическую структуру (имитация обработки, например,
зрительной информации) или объединяться в кольцо. В последнем случае можно реализовать механизм динамического хранения бинарных векторов, представленных
паттернами нейронной активности в разных модулях. Перспективными выглядят
также исследования ОНЭ-сетей комбинированной топологии.
Еще одним перспективным направлением аналитических и, в большей степени,
численных исследований является изучение ОНЭ-сетей с динамически меняющимися
весами. Примерами таких исследований являются задача адаптации в кольцевых
структурах ОНЭ-автогенераторов, изучение кольцевых структур с динамическими
весами.
Численные исследования могут проводиться для ОНЭ-сетей практически любого размера и любой топологии. Наиболее предпочтительными объектами выступают
здесь большие локальные сети, сети модульной архитектуры, полносвязные сети,
в том числе с меняющимися синаптическими весами. Основными в таких исследованиях являются вопросы синхронизации и десинхронизации в нейронных ансамблях, возможность функционирования заранее известным образом, устойчивость к
искажениям колебательного режима и несанкционированной нейронной активности.
Применительно к сетям модульной архитектуры можно говорить об исследовании
возможности хранения и воспроизведения динамической информации в виде паттернов нейронной активности. Применительно к кольцевым структурам естественно
разработать биологически адекватный механизм записи информации в кольцевые
структуры (формирования синаптических весов) и считывания этой информации.
Отдельным направлением является исследование взаимодействия (в том числе тормозного) двух нейронных ансамблей, при котором возникают низкочастотные колебания общей интенсивности спайков в каждом ансамбле (имитация работы, например,
дыхательного центра). Кроме этого, численные исследования могут подтверждать
теоретические результаты и способствовать возникновению новых гипотез, касающихся поведения тех или иных ОНЭ-сетей.
75
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Литература
1. Бахвалов Н. С., Жидков Н. П., Кобельков Г. М. Численные методы. М.: Наука,
1987. 600 с.
2. Винер Н., Розенблют А. Проведение импульсов в сердечной мышце // Кибернетический сборник. М.: Изд-во иностранной литературы, 1961. Т. 3. С. 3–56.
3. Грин Н., Стаут У., Тейлор Д. Биология: в 3 т. М.: Мир, 1993.
4. Коновалов Е. В. Устойчивый колебательный режим в нейронной сети обобщенных нейронных автоматов-детекторов // Моделирование и анализ информационных систем. Ярославль: ЯрГУ, 2007. Т.14, № 2. С. 30–35.
5. Коновалов Е. В. Задача о пачечном воздействии на обобщенный нейронный автомат // Моделирование и анализ информационных систем. Ярославль: ЯрГУ,
2007. Т.14, № 3. С. 43–49.
6. Майоров В. В., Мышкин И. Ю. Математическое моделирование нейронов сети
на основе уравнений с запаздыванием // Математическое моделирование. 1990.
Т.2, № 11. С. 64–76.
7. Майоров В. В., Ануфриенко С. Е. Импульсные нейросети: учебное пособие. Ярославль: ЯрГУ, 2006. 98 с.
8. Майоров В. В., Шабаршина Г. В., Коновалов Е. В. Самоорганизация в полносвязной однородной сети нейронных клеточных автоматов возбудительного типа //
Сборник научных трудов VIII Всероссийской научно-технической конференции
Нейроинформатика-2006“. Ч. 1. М.: МИФИ, 2006. С. 67–72.
”
9. Майоров В. В., Коновалов Е. В. Обобщенный нейронный автомат в задаче распространения волны возбуждения по нейронной сети // Нейрокомпьютеры: Разработка, применение. М.: Радиотехника, 2007. № 7. С. 3–8.
10. Мак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной
активности // Автоматы, под ред. К. Э. Шеннона и Дж. М. Маккарти. М.: ИЛ,
1956. С. 362–384.
11. фон Нейман Дж. Теория самовоспроизводящихся автоматов. М.: Мир, 1971. 382 с.
12. Шабаршина Г. В. Проведение возбуждения по кольцевой структуре нейронных
клеточных автоматов // Моделирование и анализ информационных систем. Ярославль: ЯрГУ, 1994. № 2. С. 116–121.
13. Шабаршина Г. В. Самоорганизация в полносвязной однородной сети нейронных
клеточных автоматов возбудительного типа // АиТ, 1999. В. 2. С. 112–119.
14. Шабаршина Г. В. Самоорганизация в слабо неоднородной полносвязной сети //
Моделирование и анализ информационных систем. Ярославль: ЯрГУ, 2000. Т. 7,
№ 1. С. 44–49.
15. Экклс Дж. Физиология синапсов. М.: Мир, 1966. 395 с.
76
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
16. Hebb D. O. The organization of behaviour: a neuropsychological theory. N.Y.: J. Wiley
and Sons, 1949. 436 с.
17. Hodgkin A. L., Huxely A. F. A quantitative description of membrane current and
its applications to conduction and excitation in nerve // J. Physiol. London, 1952 V.
117. P. 500–544.
77
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Учебное издание
Ануфриенко Сергей Евгеньевич
Коновалов Евгений Владиславович
Нейронные модели
на основе импульсного нейрона
Учебное пособие
Редактор, корректор М. Э. Левакова
Компьютерный набор, верстка С. Е. Ануфриенко, Е. В. Коновалов
Подписано в печать 11.04.12. Формат 60×84/8. Бумага Data Copy.
Усл. печ. л. 9,30. Уч.-изд. л. 5,0. Тираж 40 экз. Заказ
Оригинал-макет подготовлен в редакционно-издательском отделе
Ярославского государственного университета им. П. Г. Демидова.
Отпечатано на ризографе.
Ярославский государственный университет им. П. Г. Демидова.
150000, Ярославль, ул. Советская, 14.
Документ
Категория
Без категории
Просмотров
23
Размер файла
710 Кб
Теги
нейронные, 768, нейроны, импульсного, ануфриенко, основы, модель
1/--страниц
Пожаловаться на содержимое документа