close

Вход

Забыли?

вход по аккаунту

?

Ответы к экзамену

код для вставкиСкачать
 Области применения интеллектуальных информационных систем (ИИС)
ИИС применяются во всех сферах жизни. Основные области применения:
Разработка ИИС основанных на знаниях - разработка моделей представления и структурирования знаний, изучение проблем создания баз знаний.
Разработка естественно-языковых интерфейсов и машинный перевод - обеспечивают быстрый доступ к информации, оперативность перевода больших потоков в виде научно-технических текстов. Генерация и распознавание речи - создаются в целях повышения скорости ввода информации в ЭВМ, разгрузки зрения и рук, а также для речевого общения на значительном расстоянии. Обработка визуальной информации - решаются задачи обработки, анализа и синтеза изображений. Обучение и самообучение - включает модели, методы и алгоритмы, ориентированные на автоматическое накопление и формирование знаний с использованием процедур анализа и обобщения данных. Распознавание образов - распознавание объектов осуществляется на основании применения специального математического аппарата, обеспечивающего отнесение объектов к классам, а классы описываются совокупностями определенных значений признаков.
Игры и машинное творчество.
Программное обеспечение систем ИИ. Новые архитектуры компьютеров - связано с созданием компьютеров не фон-неймановской архитектуры, ориентированных на обработку символьной информации. Интеллектуальные роботы. Классификация интеллектуальных информационных систем
ИИС основана на идее использования базы знаний для создания алгоритмов решения задач различных классов в зависимости от конкретных потребностей пользователей. Различные системы могут обладать одним или несколькими признаками интеллектуальности с различной степенью проявления. Для ИИС характерны следующие признаки:
развитые коммуникативные способности;
умение решать сложные плохо формализуемые задачи, которые требуют построения оригинального алгоритма решения для различных ситуаций и исходных данных, знаний;
способность к самообучению - умение системы автоматически извлекать знания из накопленного опыта и применять их для решения задач;
адаптивность - способность системы к развитию в соответствии с изменениями в области знаний.
Классификация ИИС Системы с интеллектуальным интерфейсом (Коммуникативные системы)
Интеллектуальные БД
Естественно-языковой интерфейс
Гипертекстовые системы
Системы контекстной помощи
Когнитивная графика
Экспертные системы (Решение сложных, плохо формализуемых задач)
Классифицирующие
Доопределяющие
Трансформирующие Мультиагентные
Самообучающиеся системы
Нейронные сети
Системы, основанные на прецедентах
Информационные хранилища
Индуктивные системы
Адаптивные информационные системы
Компонентные технологии
CASE - технологии
Самообучающиеся системы.
Самообучающиеся интеллектуальные системы основаны на методах автоматической классификации ситуаций из реальной практики, или на методах обучения на примерах.
Примеры реальных ситуаций составляют так называемую обучающую выборку, которая формируется в течение определенного исторического периода.
Стратегия "обучения с учителем" предполагает задание специалистом для каждого примера значений признаков, показывающих его принадлежность к определенному классу ситуаций. При обучении "без учителя" система должна самостоятельно выделять классы ситуаций по степени близости значений.
В процессе обучения проводится автоматическое построение обобщающих правил или функций, описывающих принадлежность ситуаций к классам. Из обобщающих правил, в свою очередь, автоматически формируется база знаний, которая периодически корректируется по мере накопления информации об анализируемых ситуациях.
Недостатки:
относительно низкая адекватность баз знаний из-за неполноты обучающей выборки;
низкая степень объяснимости полученных результатов;
поверхностное описание проблемной области;
узкая направленность применения.
Адаптивные информационные системы Потребность в АИС возникает, когда проблемные области постоянно развиваются. Требования к адаптивным системам:
адекватно отражать знания проблемной области в каждый момент времени;
способность к быстрой реконструкции при изменении проблемной среды.
В процессе разработки АИС применяется оригинальное или типовое проектирование. Оригинальное проектирование предполагает разработку информационной системы с "чистого листа" на основе представленных требований. Реализация этого подхода основана на использовании систем автоматизированного проектирования, или CASE-технологий.
При типовом проектировании осуществляется адаптация типовых разработок к особенностям проблемной области. Для реализации этого подхода применяются инструментальные средства компонентного (сборочного) проектирования ИС. Отличие: при использовании CASE-технологии при изменении проблемной области каждый раз выполняется генерация программного обеспечения, а при использовании сборочной технологии - конфигурирование программ и только в редких случаях переработка программ.
Экспертные системы. Общие сведения об экспертных системах. ЭС - это быстро прогрессирующее направление в области искусственного интеллекта. Современные ЭС - сложные программные комплексы, собирающие знания специалистов и распространяющие этот опыт для консультирования менее квалифицированных пользователей. ЭС как самостоятельное направление в искусственном интеллекте сформировалось в конце 1970-х гг. Одним из важных свойств ЭС является способность объяснить ход своих рассуждений понятным для пользователя образом.
Область исследования ЭС называют "инженерией знаний". ЭС применяются для решения проблем и задач со следующими характеристиками:
задачи не могут быть представлены в числовой форме;
исходные данные и знания обладают неоднозначностью, неточностью, противоречивостью;
цели нельзя выразить с помощью четко определенной целевой функции;
не существует однозначного алгоритмического решения задачи;
алгоритмическое решение существует, но его нельзя использовать по причине большой размерности пространства решений и ограничений на ресурсы (времени, памяти).
Главное отличие ЭС и систем искусственного интеллекта от систем обработки данных состоит в том, что в них используется символьный, а не числовой способ представления данных.
ЭС охватывают области: бизнес, производство, медицина, проектирование и системы управления. Кроме того, ЭС может выступать в роли:
консультанта для неопытных или непрофессиональных пользователей; ассистента эксперта в процессе анализа вариантов решений;
партнера эксперта в процессе решения задач с использованием знаний из разных областей.
Экспертные системы. Статические экспертные системы.
СЭС предназначены для решения задач с постоянными данными и знаниями в процессе решения.
База знаний ЭС предназначена для хранения долгосрочных данных о рассматриваемой области, и правил, описывающих преобразования данных этой области.
База данных (рабочая память) служит для хранения текущих данных решаемой задачи.
Решатель (интерпретатор) формирует последовательность применения правил и осуществляет их обработку, используя данные из БД и знания из БЗ.
Система объяснений показывает, каким образом система получила решение задачи, и какие знания при этом использовались. Это облегчает тестирование системы и повышает доверие пользователя к полученному результату.
Компоненты приобретения знаний необходимы для заполнения ЭС знаниями в диалоге с пользователем-экспертом, а также для добавления и модификации заложенных в систему знаний.
Структура статической экспертной системы.
Экспертные системы. Динамические экспертные системы.
ДЭС предназначены для решения задач с изменяемыми в процессе решения данными и знаниями.
Структура динамической экспертной системы.
Подсистема моделирования внешнего мира необходима для прогнозирования, анализа и адекватной оценки состояния внешней среды. Изменения окружения решаемой задачи требуют изменения хранимых в ЭС знаний, с тем, чтобы отразить временную логику происходящих в реальном мире событий. Компонента связи с внешним миром актуальна для автономных интеллектуальных систем (роботов), а также для интеллектуальных систем управления. Связь с внешним миром осуществляется через систему датчиков и контроллеров.
Экспертные системы. Этапы разработки
Этапы промышленной технологии создания интеллектуальных систем:
исследование выполнимости проекта;
разработка общей концепции системы;
разработку и тестирование серии прототипов;
разработку и испытание головного образца;
разработку и проверку расширенных версий системы;
привязку системы к реальной рабочей среде.
Традиционная технология реализации ЭС включает шесть основных этапов (рисунок): На 1 этапе определяются задачи для решения, цели разработки, эксперты и типы пользователей.
На 2 этапе проводится анализ проблемной области, выявляются используемые понятия и их взаимосвязи, определяются методы решения задач.
На 3 этапе выбираются инструментальные средства и способы представления всех видов знаний, формализуются основные понятия, определяются способы интерпретации знаний, моделируется работа системы, оценивается адекватность системы зафиксированных понятий, методов решения.
На 4 этапе осуществляется заполнение базы знаний. Т.к. основой ЭС являются знания, данный этап является одним из самых важных и самых трудоемких. На 5 этапе эксперт и инженер по знаниям в интерактивном режиме с использованием диалоговых и объяснительных средств, проверяют компетентность ЭС. На 6 этапе проверяется пригодность ЭС для конечных пользователей. Экспертные системы. Классификационные признаки ЭС.
ЭС классифицируются по следующим параметрам:
1.Тип приложения
1.1 Взаимодействие приложения с другими программными средствами:
а) изолированное приложение;
б) интегрированное приложение.
1.2 Исполнение приложения на разнородной аппаратуре и перенос его на различные платформы:
а) закрытые приложения - исполняются только в программной среде;
б) открытые приложения.
1.3Архитектура приложения:
а) централизованное приложение - реализуется на базе центр-ой ЭВМ;
б) распределенное пр-ие - обычно исп-ся архитектура клиент-сервер.
2. Стадия существования характ-ет степень завершенности разработки ЭС:
а) исследовательский прототип (для разработки надо 2-4 месяца);
б) действующий прототип (требует примерно 6 - 9 месяцев);
в) промышленная система (требует не менее 12-18 месяцев);
г) коммерческая система (примерно 1,5-2 года). 3. Масштаб ЭС характ-ет сложность решаемых задач и связан с типом используемой ЭВМ. а) малые ЭС;
б) средние ЭС;
в) большие ЭС;
г) символьные ЭС.
4. Тип проблемной среды 4.1 Тип предметной области:
а) статический;
б) динамический.
4.2 Способ описания сущностей предметной области:
а) сов-ть атрибутов и их значений (фиксированный состав сущностей);
б) сов-ть классов (объектов) и их экземпляров.
4.3 Способ организации сущностей в БЗ:
а) неструктурированная БЗ;
б) структурирование сущностей в БЗ по различным иерархиям. 5. В ЭС различают следующие типы решения задач:
а) интерпретация данных - определение смысла данных;
б) диагностика;
в) мониторинг;
г) проектирование;
д) прогнозирование;
е) планирование
ж) обучение;
з) управление;
и) поддержка принятия решений.
ЭС. Прямой и обратный вывод в ЭС продукционного типа.
Механизм вывода выполняет две основные функции:
просмотр существующих в БД фактов и правил из БП, и добавление в БД новых фактов;
опред-ие порядка(м.б. прямым и обратным) просмотра и применения правил. Прямой порядок - от фактов к заключениям. В ЭС по известным фактам отыскивается заключение, которое из этих фактов следует. Если такое заключение удается найти, оно заносится в БД. Обратный порядок вывода - от заключений к фактам. Вначале выдвигается некоторая гипотеза, а затем механизм вывода пытается найти в рабочей памяти факты, которые могли бы подтвердить или опровергнуть выдвинутую гипотезу. Компонента вывода ЭС может работать в условиях недостатка информации.
Цикл работы вывода.
1 - сопоставление - образец правила сравнивается с имеющимися в БД фактами;
2 - конфликтный набор - выбор одного из нескольких правил в том случае, если их можно применить одновременно; 3 - Критерии выбора правил; 4 - БД; 5 - БП; 6 - разрешение конфликта;
7 - действие - изменение содержимого БД путем добавления туда заключения сработавшего правила;
8- срабатывание правила - при совпадении образца правила в БП с фактами в БД.
Стратегия поиска в глубину.
Ниже приведена древовидная структура в виде простейшего фрагмента И-ИЛИ-графа.
Стратегия поиска в ширину.
Рис. 13. Поиск в ширину при обратном выводе
Экспертные системы. Обработка знаний в ЭС с фреймовым представлением.
Для представления знания используется три способа управления логическим выводом: демоны, присоединенные процедуры
механизм наследования.
Демоном называется процедура, автоматически запускаемая при выполнении некоторого условия. Для фреймовых объектно-ориентированных систем механизм наследования является единственным основным механизмом вывода. Управленческие функции механизма наследования заключаются в автоматическом поиске и определении значений слотов фреймов нижележащих уровней по значениям слотов фреймов верхних уровней.
В ЭС с фреймовым представлением знаний невозможно четко отделить процедурные знания от декларативных знаний. Присоединенные процедуры и демоны одновременно являются знаниями и средствами управления логическим выводом. Характеристика инструментальных средств разработки ИИС.
Трудоемкость разработки ИИС в значительной степени зависит от используемых инструментальных средств (ИС). Классификация ИС: А. Мощность и универсальность языка программирования определяет трудоемкость разработки ЭС:
традиционные языки программирования типа С, C++ ;
специальные языки программирования;
инструментальные средства, содержащие многие, но не все компоненты ЭС.
оболочки ЭС общего назначения, содержащие все программные компоненты, но не имеющие знаний о конкретных предметных средах. Проблемно/предметно-ориентированные оболочки и среды:
проблемно-ориентированные средства, предназначенные для решения задач определенного класса;
предметно-ориентированные средства, использующие знания о типах предметных областей.
Б. Способы реализации механизма исполняемых утверждений часто называют парадигмами программирования. К основным парадигмам относят следующие:
процедурное программирование;
программирование, ориентированное на данные;
программирование, ориентированное на правила;
объектно-ориентированное программирование.
В. Наличие многих способов представления знаний вызвано стремлением представить различные типы проблемных сред с наибольшей эффективностью. Обычно способ представления знаний в ЭС характеризуют моделью представления знаний. Типичными моделями представления знаний являются правила (продукции), фреймы (или объекты), семантические сети, логические формулы. Г. В статических ЭС единственным агентом, изменяющим информацию, является механизм вывода экспертной системы. В динамических ЭС изменение данных происходит не только вследствие функционирования механизма исполняемых утверждений, но также в связи с изменениями окружения задачи, которые моделируются специальной подсистемой или поступают извне. Д. В инструментальных системах средства приобретения знаний характеризуются следующими признаками:
Уровень языка приобретения знаний
Тип приобретаемых знаний Тип приобретаемых данных
Представление знаний в интеллектуальных системах. Особенности знаний. Переход от БД к БЗ.
Знания - это закономерности предметной области, полученные в рез - те практической деятельности и профессионального опыта, позволяющие специалистам ставить и решать задачи в этой области. По своей природе знания: Декларативные знания - это описания фактов и явлений. Процедурные знания - это описания действий, которые возможны при манипулировании фактами и явлениями для достижения намеченных целей.
По способу приобретения знания можно разделить на факты и эвристику (правила, которые позволяют сделать выбор при отсутствии точных теоретических обоснований). Первая категория знаний обычно указывает на хорошо известные в данной предметной области обстоятельства. Вторая категория знаний основана на собственном опыте эксперта, работающего в конкретной предметной области, накопленном в результате многолетней практики.
По типу представления знания:
Факты - это знания типа "А - это А", такие знания характерны для баз данных и сетевых моделей. Правила - это знания типа "если А, то В".
Кроме фактов и правил существуют еще метазнания - знания о знаниях. Они необходимы для управления БЗ и для эффективной организации процедур логического вывода.
БЗ являются моделями человеческих знаний. Для решения сложных задач БЗ должна иметь достаточно большой объем, иначе неизбежно возникают проблемы управления такой базой. Поэтому при выборе модели представления знаний следует учитывать такие факторы, как однородность представления и простота понимания. Представление знаний в интеллектуальных системах. Модели ПЗ. Общая классификация.
Выбор модели ПЗ: декларативное (ДП) и процедурное представление (ПП). Различие между ДП и ПП выражено в вопросах "знать, что?" и "знать, как?". Модели представления знаний обычно делят:
Логические модели - отношения, существующие между отдельными единицами знаний, выражаются только с помощью синтаксических правил используемой формальной системы. Формальные модели - имеют разнообразный набор средств, передающих специфические особенности той или иной проблемной области. Формальные модели превосходят логические как по возможности адекватно представить проблемную среду, так и по эффективности используемых правил вывода. Модели делятся на: модульные - используются для представления поверхностных знаний. Поверхностные знания - знания о видимых взаимосвязях между отдельными событиями и фактами в предметной области;
сетевые - используются для представления глубинных знаний. Глубинные знания - абстракции, аналогии, схемы, отображающие структуру и природу процессов, протекающих в предметной области. Эти знания объясняют явления и могут использоваться для прогнозирования поведения объектов.
Представление знаний в интеллектуальных системах. Продукционная модель.
ПМ основана на правилах и позволяет представить знания в виде предложений типа "если (условие), то (действие)". Под "условием" понимается предложение - образец, по которому осуществляется поиск в БЗ. Под "действием" понимаются действия, выполняемые при успешном исходе поиска. Истинность пары атрибут-значение устанавливается в процессе решения конкретной задачи к текущему моменту времени. При описании реальных знаний конкретной предметной области может быть недостаточно представление фактов с помощью пар атрибут-значение. Широкие возможности имеет способ описания: объект-атрибут-значение. Существуют два типа продукционных систем - с прямыми и обратными выводами. Прямые выводы реализуют стратегию "от фактов к заключениям". При обратных выводах выдвигаются гипотезы вероятных заключений, которые могут быть подтверждены или опровергнуты на основании фактов, поступающих в БД. Существуют также системы с двунаправленными выводами.
Основные достоинства продукционных систем связаны с простотой представления знаний и организации логического вывода. Недостатки: отличие от структур знаний, свойственных человеку; неясность взаимных отношений правил; сложность оценки целостного образа знаний; низкая эффективность обработки знаний.
Представление знаний в интел-ых системах. Фреймовая модель.
Фреймовая модель представления знаний основана на теории фреймов М. Минского, которая представляет собой систематизированную психологическую модель памяти человека и его сознания. Под фреймом понимается абстрактный образ предст-ия объекта или ситуации.
Различают фреймы-образцы (прототипы), хранящиеся в БЗ, и фреймы-экземпляры, которые создаются для отображения фактических ситуаций на основе поступающих данных. Структура фрейма как список свойств (табл. 3). Имя фреймаИмя слотаЗначение слотаСпособ получения значенияПрисоединенная процедура Слоты - это незаполненные значения некоторых атрибутов объекта или ситуации. "способ получения значения" и "присоединенная процедура" предназначены для описания слотом его значения, и возможного присоединения к тому или иному слоту специальных процедур. Фрейм имеет имя, служащее для идентификации описываемого им понятия, и содержит ряд описаний - слотов, с помощью которых определяются основные структурные элементы этого понятия. За слотами следуют пункты с данными, представляющие текущие значения слотов. Слот может содержать как конкретное значение, так и имя процедуры, позволяющей вычислить это значение по заданному алгоритму.
Значение слота может представлять собой некоторый диапазон или перечень возможных значений, арифметическое выражение, фрагмент текста и т.д. Значение слота должно соответствовать указанному типу данных и условию наследования.
Представление знаний в инт-х сис-х. Модель семантические сети.
Семантическая - значит смысловая, а семантика - это наука, устанавливающая отношения между символами и объектами, которые они обозначают, то есть наука, определяющая смысл знаков. Семантическая сеть - это ориентированный граф, вершины которого это понятия, а дуги - отношения между ними.
В семантических сетях используются следующие отношения:
-элемент класса;
-атрибутные связи;
-значение свойства;
-пример элемента класса;
-связи типа "часть-целое";
-количественные (больше, меньше, равно ...);
-пространственные (далеко от, близко от, за, под, над ...);
-временные (раньше, позже, в течение...);
-логические связи (и, или, не) и др.
Проблема поиска решения в БЗ типа семантической сети сводится к задаче поиска фрагмента сети или подсети, соответствующей поставленному вопросу.
Методы приобретения знаний.
На первом уровне возможной классификации методов извлечения знаний выделены два больших класса. Первый класс - коммуникативные методы, ориентированные на непосредственный контакт инженера по знаниям с экспертом (источником знаний), которые разделяются:
Пассивные методы - ведущую роль играет эксперт. Включают в себя:
Наблюдение - фиксирование всех действий, реплик и объяснений эксперта;
Анализ протоколов "мыслей вслух" - эксперт не только комментирует свои действия, но и объясняет цепочку своих рассуждений, приводящих к решению;
Процедуры извлечения знаний из лекций - эксперт передаёт опыт в виде лекций.
Активные методы - ведущую роль играет инженер по знаниям. Подразделяются:
Индивидуальные - знания получают от единственного эксперта;
Метод анкетирование - анкета или вопросник составляются инженером по знаниям заранее и используются для опроса экспертов;
Интервьюирование - позволяет аналитику опускать ряд вопросов, вставлять новые вопросы в анкету и разнообразить ситуацию общения;
Свободный диалог - позволяет извлечь знания в виде беседы с экспертом;
Игра с экспертом - базируются на деловых, диагностических и компьютерных играх. По числу участников бывают: индивидуальные (игры с экспертом) и групповые (ролевые игры в группе).
Групповые - знания получают от множества экспертов.
Второй класс - текстологические методы, основанные на приобретении знаний из документов и специальной литературы. Они включают методы извлечения знаний основанные на изучении текстов учебников, специальной литературы и документов.
Метод "мозгового штурма" эффективен при решении не слишком сложных задач общего организационного характера, когда проблема хорошо знакома всем участникам заседания и по рассматриваемому вопросу имеется достаточная информация. Метод дискуссии за круглым столом предполагает равноправное обсуждение экспертами поставленной проблемы. Нечеткие знания и способы их обработки.
Компонентами нечеткости знаний являются: недетерминированность выводов, многозначность, ненадежность, неполнота, неточность. В области некорректных задач точные знания о проблеме получить невозможно, поэтому приходиться сталкиваться с неточными знаниями, которые не могут быть интерпретированы как полностью истинные или ложные. Для оценки их достоверности также нельзя применить двухбалльную шкалу: логические true/false или 0/1. Существуют знания, достоверность которых выражается промежуточной цифрой, которая может изменяться от 0 до 1. Для учета нечетких знаний при разработке ИИС используется формальный аппарат нечеткой алгебры и нечеткой логики. Одно из главных понятий в нечеткой логике - это понятие лингвистической переменной (ЛП), значение которой определяется набором словесных (вербальных) хар-к некоторого св-ва. Процесс обработки нечетких правил вывода в ЭС состоит из четырех этапов:
Определение степени принадлежности входных значений нечеткого множества (НМ), указанным в левой части правил вывода;
Модификация НМ, указанных в правой части правил вывода в соответствии со значениями истинности, полученными на первом этапе;
Объединение (суперпозиция) модифицированных множеств;
Скаляризация результата суперпозиции, то есть переход от НМ к скалярным значениям.
Искусственные нейронные сети. Модель искусственного нейрона.
Биологический нейрон - сложная система, математическая модель которого до сих пор полностью не построена. Искусственная нейронная сеть (ИНС) - это упрощенная модель биологического мозга (нервной ткани). Нейрон имеет несколько входных сигналов x и один выходной сигнал OUT. Параметрами нейрона, определяющими его работу, являются: вектор весов w, пороговый уровень θ и вид функции активации F.
Функционирование нейрона определяется формулами:
NET=∑_i▒〖w_i x_i 〗,(1)
OUT=F(NET-θ), (2)
где x_i- входные сигналы, совокупность всех входных сигналов нейрона образует вектор x;
w_i- весовые коэффициенты, совокупность весовых коэффициентов образует вектор весов w;
NET - взвешенная сумма входных сигналов, значение NET передается на нелинейный элемент;
θ - пороговый уровень данного нейрона;
F - нелинейная функция, называемая функцией активации.
Искусственные нейронные сети. Применение.
Классификация образов. Задача состоит в определении принадлежности входного образа, представленного вектором признаков к одному или нескольким предварительно определенным классам (распознавание букв, распознавание языка).
Кластеризация/категоризация. Алгоритм кластеризации основан на подобии образов и помещает похожие образы в один кластер (добыча знаний, сжатие данных, исследование свойств данных).
Аппроксимация функций. Нахождение неизвестной функции F по обучающей выборке((x1,y1), (x2,y2)..., (xn,yn)), которая генерируется этой функцией, искаженной шумом. Предвидение/прогноз. Пусть заданы n дискретных отсчетов {y(t1), y(t2), ..., y(tn)} в последовательные моменты времени t1, t2,..., tn . Задача состоит в предвидении y(tn+1) в следующий момент времени tn+1. Оптимизация. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию.
Управление. Дана динамическая система, заданная совокупностью {u(t), y(t)}, где u(t) - входное управляющее воздействие, а y(t) - выход системы в момент времени t. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при котором система действует по желательной траектории, заданной эталонной моделью. Примером является оптимальное управление двигателем.
Искусственные нейронные сети. Многослойный перцептрон.
Самый распространенный вид объединения нейронов в сети - многослойный перцептрон.
Сеть состоит из произвольного количества слоев нейронов. Нейроны каждого слоя соединяются с нейронами предыдущего и последующего слоев по принципу "каждый с каждым". Первый слой слева называется сенсорным (входным), внутренние слои называются скрытыми (ассоциативными), последний (самый правый, на рисунке состоит из одного нейрона) - выходным (результативным).
Количество нейронов в слоях может быть произвольным. Обычно во всех скрытых слоях одинаковое количество нейронов.
Входной слой: NI нейронов; NH нейронов в каждом скрытом слое; NO выходных нейронов. x - вектор входных сигналы сети, y - вектор выходных сигналов.
Обозначим через NL полное количество слоев в сети, считая входной.
Работа многослойного перцептрона (МСП) описывается формулами:
NET jl =Σw ijl x ijl (1)
OUT jl = F(NET jl -θ jl) (2)
x ij(l+1) =OUT il (3)
где индексом i всегда будем обозначать номер входа, j - номер нейрона в слое, l - номер слоя.
x ijl - i-й входной сигнал j-го нейрона в слое l;
w ijl - весовой коэффициент i-го входа нейрона номер j в слое l;
NET jl - сигнал NET j-го нейрона в слое l;
OUTjl - выходной сигнал нейрона;
θ jl - пороговый уровень нейрона j в слое l;
Введем обозначения: w jl - вектор-столбец весов для всех входов нейрона j в слое l; Wl - матрица весов всех нейронов в слоя l. В столбцах матрицы расположены вектора w jl. Аналогично x jl - входной вектор-столбец слоя l.
Для многослойных сетей функция активации должна быть нелинейной, иначе можно построить эквивалентную однослойную сеть.
Искусственные нейронные сети. Алгоритмы обучения с учителем. Алгоритм обратного распространения ошибки.
Алгоритм с учителем - при обучении известны и входные, и выходные вектора сети. Имеются пары вход + выход - известные условия задачи и решение. В процессе обучения сеть меняет свои параметры и учится давать нужное отображение X→Y . Сеть учится давать результаты, которые нам уже известны. За счет способности к обобщению сетью могут быть получены новые результаты, если подать на вход вектор, который не встречался при обучении.
{xs ,ds}, s =1...S , где {xs} = {x1, ... xS}- формализованное условие задачи, {ds}= {d1 , ... , dS} - известное решение для этого условия. Совокупность пар {xs ,ds} составляет обучающее множество. S - количество элементов в обучающем множестве - должно быть достаточным для обучения сети, чтобы под управлением алгоритма сформировать набор параметров сети, дающий нужное отображение X→Y .
Если вектор xs и подать на вход сети, то на выходе получится некоторый вектор ys . Ошибка сети будет для каждой пары (xs ,ds). Чаще всего для оценки качества обучения выбирают суммарную квадратическую ошибку: .
Задачей обучения перцептрона является подбор таких значений параметров сети, чтобы ошибка была минимальна для данного обучающего множества {xs ,ds}.
В алгоритме обратного распространения ошибки происходит распространение ошибки от выходов НС ко входам, то есть в направлении обратном распространению сигналов обычного режима работы. Согласно методу наименьших квадратов, минимизируемой целевой функцией ошибки НС является величина: E(w)=1/2 ∑_(j p)▒〖(y_jp^((N) )-d_jp)〗^2 где y_jp^((N) ) реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы р- го образа; d_jp- желаемое (идеальное) выходное состояние этого нейрона.
Обучение методом обратного распространения ошибки происходит так:
1. Подать на входы НС образец, выбранный случайным образом и в режиме обычного функционирования НС рассчитать ее выходы.
2. Рассчитать дельту ошибки для выходного слоя по формуле: δ_j^((N) )=(y_l^((N) )-d_l)∙(∂y_l)/(∂S_l )
3. Рассчитать изменения весов для выходного слоя N по формуле: ∆w_ij^((n))=-η∙δ_j^((n) ) y_i^((n-1) ) (3)
4. Рассчитать ошибки и изменения весов (формула 3) для всех остальных слоев по формулам: δ_j^((n) )=[∑_k▒〖δ_k^((n+1) )∙〗 w_jk^((n+1) ) ]∙(∂y_l)/(∂S_l )
5. Скоректировать все веса нейронной сети по формуле: w_ij^((n) ) (t)=w_ij^((n) ) (t-1)+w_ij^((n) ) (t)
6. Если ошибка сети существенна, то перейти на шаг 1. В противном случае - конец обучения.
Изменение весов нейронной сети можно вести также с помощью формулы: где - коэффициент инерционности. Эта формула позволяет "гладко" изменять веса, что приводит к понижению перепадов ошибки. Ее целесообразно применять в конце обучения, когда ошибка близка к заданной.
Искусственные нейронные сети. Сеть встречного распространения.
Ошибки рассматриваемой сети предназначены для начального быстрого моделирования. Автор сети Хехт-Нильсен объединил возможности обобщения сети Кохонена и простоту обучения выходной звезды Гроссберга. Она принадлежит к классу сетей, обучающихся без учителя.
Сеть ВР работает с двоичными векторами, состоящими из нулей и единиц. В результате обучения входные векторы ассоциируются с выходными и, когда сеть обучена, подача входных образов приводит к получению выходных. Правильный выход может получится и когда вход является несколько неверным. Сеть ВР работает в двух режимах: обучения и использования. В первом случае на входы подам вектора X и Y, корректируем весовые коэффициенты; во втором режиме на вход уже обученной сети подан X или Y, а с выхода снимаем и X, и Y.
Общий метод функционирования сети: на вход подаем образ X, в каждом нейроне слоя Кохонена рассчитывается активация . На выходе одного нейрона будет единица, а именно 〖OUT〗_j^k={█(1, если A_j=max┬p⁡Ap@0, в другом случае)┤ Очевидно, что веса максимально близки к компонентам входного вектора. Далее - коррекция весовых коэффициентов Слой Гроссберга функционирует подобно слою Кохонена. Активация нейронов слоя Дальше корректируем веса и подаем на вход сети следующий образ. В результате многократного выполнения указанной процедуры весовые коэффициенты слоя Гроссберга должны совпадать или быть достаточно близкими к входным образам. Искусственные нейронные сети. Алгоритмы обучения без учителя. Главная особенность - это "самостоятельность". Процесс обучения заключается в подстраивании весов синапсов. Некоторые алгоритмы, правда, изменяют и структуру сети, то есть количество нейронов и их взаимосвязи, но такие преобразования правильнее назвать более широким термином - самоорганизацией. Подстройка синапсов может проводиться только на основании информации, доступной в нейроне, то есть его состояния и уже имеющихся весовых коэффициентов. Исходя из этого соображения итпо аналогии с известными принципами самоорганизации нервных клеток, построены алгоритмы обучения Хебба.
Сигнальный метод обучения Хебба заключается в изменении весов по следующему правилу:
w_ij^ (t)=w_ij^ (t-1)+〖α∙y〗_i^((n-1) )∙y_j^((n) )(1), где yi(n-1) - выходное значение нейрона i слоя (n-1) ; yj(n) - выходное значение нейрона j слоя n; wij(t) и wij(t-1) - весовой к-т синапса, соединяющий эти нейроны, на циклах t и t-1
a - коэффициент скорости обучения;
n - произвольный слой сети. При обучении по данному методу усиливаются связи между возбужденными нейронами.
Другой алгоритм обучения без учителя - алгоритм Кохонена - предусматривает подстройку синапсов на основании их значений от предыдущей итерации.
w_ij^ (t)=w_ij^ (t-1)+〖α∙[y〗_i^((n-1) )-w_ij^ (t-1)](3)
Обучение сводится к минимизации разницы между входными сигналами нейрона, поступающими с выходов нейронов предыдущего слоя yi(n-1), и весовыми коэффициентами его синапсов.
Искусственные нейронные сети. Сети Кохонена.
С их помощью решаются задачи классификации - разбиение объектов на классы, когда основой разбиения служит вектор параметров объекта. Объекты в пределах одного класса считаются эквивалентными с точки зрения критерия разбиения. Будем характеризовать объекты, подлежащие классификации, вектором параметров xp ∈ X , имеющим N компонент, компоненты обозначаем нижним индексом: Xp=(X1p,...,XNp)T. Вектор параметров - единственная характеристика объектов при их классификации.
Введем множество классов C1,...CM={Cm} в пространстве классов С: .
Пространство классов может не совпадать с пространством объектов X и иметь другую размерность. Когда пространства классов и объектов совпадают, X = C, классы представляют собой области пространства X, и объект xp будет отнесен к одному из классов m0, если . В общем случае X и C различны.
Определим ядра классов в пространстве классов C, как объекты, типические для своего класса. Введем меру близости - скалярную функцию от объекта и ядра класса, которая тем меньше, чем больше объект похож на ядро класса. Чаще всего применяется эвклидова мера: или "city block": Задавшись числом классов M, можно поставить задачу классификации: найти M ядер классов {cm}и разбить объекты {xp} на классы {Сm} , т.е. построить функцию m(p) таким образом, чтобы минимизировать сумму мер близости: Функция m(p), определяющая номер класса по индексу p множества объектов {xp}, задает разбиение на классы и является решением задачи классификации.
В простейшем случае X = C, пространство объектов X разбивается на области { Сm} , и если , то , и объект относят к классу m0.
Искусственные нейронные сети. Сети с обратными связями
Сети с обратными связями. В сетях с обратными связями информация с последующих слоев передается на предыдущие. Среди них выделяют:
слоисто-циклические - слои замкнуты в кольцо: последний слой передает свои вых. сигналы первому; слоисто-полносвязанные - каждый слой представляет собой полносвязную сеть, а сигналы передаются как от слоя к слою, так и внутри слоя; полносвязанно-слоистые.
В слабосвязанных нейронных сетях нейроны располагаются в узлах прямоугольной или гексагональной решетки. Каждый нейрон связан с 4, 6 или 8 своими ближайшими соседями.
НС можно разделить по типам структур нейронов: гомогенные (однородные) сети - состоят из нейронов одного типа с единой функцией активации
гетерогенные сети - в них входят нейроны с различными функциями активации.
Существуют бинарные и аналоговые сети. Первые из них оперируют только двоичными сигналами, и выход каждого нейрона может принимать значение либо логического ноля (заторможенное состояние), либо логической единицы (возбужденное состояние).
Еще одна классификация:
синхронные сети - в каждый момент времени лишь один нейрон меняет свое состояние
асинхронные сети - состояние меняется сразу у целой группы нейронов (у всего слоя).
Сети можно классифицировать также по числу слоев. Теоретически число слоев и число нейронов в каждом слое может быть произвольным, но фактически оно ограничено ресурсами компьютера или специализированных микросхем, на которых обычно реализуется нейронная сеть. Искусственные нейронные сети. Нейронные сети Хопфилда и Хэмминга
Это сети, которые не подходят ни под обучение с учителем, ни под обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится к этому расчету. Сеть Хопфилда и сеть Хэмминга обычно используются для организации ассоциативной памяти. Ниже приведена структурная схема сети Хопфилда.
Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Задача формулируется следующим образом. Известен некоторый набор двоичных сигналов (данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить ("вспомнить" по частичной информации) соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов. Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то есть достаточно получать номер образца, ассоциативную память успешно реализует сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m - число образцов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой отрицательными обратными синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.
Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.
Документ
Категория
Разное
Просмотров
171
Размер файла
972 Кб
Теги
ответы, шпаргалки, экзамену, шпоры
1/--страниц
Пожаловаться на содержимое документа