close

Вход

Забыли?

вход по аккаунту

?

Исследование нейросетевой системы распознавания образов в среде Matlab..pdf

код для вставкиСкачать
УДК 004.89.032.26
В.В. АНДРЕЕВ, Н.Н. ПОРФИРЬЕВА,
А.М. ПРОХОРОВ, А.М. ПРОХОРОВ
ИССЛЕДОВАНИЕ НЕЙРОСЕТЕВОЙ СИСТЕМЫ
РАСПОЗНАВАНИЯ ОБРАЗОВ В СРЕДЕ MATLAB
Ключевые слова: нейронная сеть, распознавание образов.
Исследовано распознавание образов с помощью нейросетевых технологий с применением пакета
расширения MATLAB по нейронным сетям Neural Networks Toolbox. Проанализированы зависимости качества обучения сети от ее структуры (числа входов, числа нейронов в скрытом слое), параметров обучения (количество циклов обучения, предельное значение критерия обучения).
V.V. ANDREEV, N.N. PORFIR’EVA, A.M. PROXOROV, A.M. PROXOROV
INVESTIGATION OF NEURAL NETWORK SYSTEM
OF IMAGES RECOGNITION IN MATLAB
Key words: neural network, images recognition.
In the given work recognition of images with application of neural networks technologies on the base of
the MATLAB package expansion on neural networks Neural Networks Toolbox is investigated. Dependences of a network training quality from its structure (inputs number, neural number in the latent layer),
parameters of training (quantity of training cycles, limiting value of training criterion) are analysed.
1. Введение. В данной работе исследовано распознавание образов с помощью нейросетевых технологий с применением пакета расширения
MATLAB по нейронным сетям Neural Networks Toolbox. Проанализированы
зависимости качества обучения сети от ее структуры (числа входов, числа
нейронов в скрытом слое), параметров обучения (количество циклов обучения, предельное значение критерия обучения).
В качестве входных образцов использованы фотографии оттенков серого
цвета размером 100×100 пикселей. Чтобы создать нейронную сеть, которая может обрабатывать зашумленные векторы входа, необходимо выполнить обучение сети как на идеальных, так и на зашумленных векторах. Сначала сеть обучается на идеальных векторах, пока не будет обеспечена заданная минимальная
сумма квадратов погрешностей. Затем сеть обучается на нескольких наборах
идеальных и зашумленных векторов. К сожалению, после того, как описанная
выше сеть обучается классифицировать сильно зашумленные векторы, она в
некоторых случаях теряет способность правильно классифицировать некоторые
входные векторы, свободные от шума. Следовательно, сеть снова надо обучить
на идеальных векторах. Это гарантирует, что сеть будет работать правильно,
когда на ее вход будет передан идеальный символ.
2. Исследование зависимости качества обучения от количества нейронов в скрытом слое нейронной сети. Исследование проведено на классической двухслойной нейронной сети с обучением по методу обратного распространения ошибки по 8 образцам, содержащим фотографии двух разных людей.
Пусть количество нейронов в скрытом слое сети равно 10. Результаты
анализа представлены на рис. 1-4. Из рис.1 видно, что обучение недостаточно
быстрое. Для достижения среднеквадратичной погрешности, равной 0.1, требуется 992 цикла обучения. В то же время повторное обучение не достигает
требуемого предельного минимального значения погрешности (рис. 2). При
этом распознанный образ отличается от идеального незначительно (рис. 3).
Таким образом, для решения несложной задачи 10 нейронов вполне достаточно. Если при данном количестве нейронов значительно увеличить число
подаваемых входных образов (с 8 до 16) и усложнить задачу распознавания,
сеть не сможет качественно обработать тестируемый образ (рис. 4). Следовательно, по мере усложнения задачи требуется увеличить количество нейронов, иначе тестируемый образ будет распознан неверно.
Рис.1. Зависимость ошибки обучения
на идеальных образах
от количества циклов
Рис.2. Зависимость ошибки при повторном
(после обучения на зашумленных образах)
обучении на идеальных образах от количества циклов
Рис.3. Сравнение тестируемого, распознанного и идеального образов
Рис.4. Сравнение тестируемого, распознанного и идеального образов
Пусть теперь количество нейронов в скрытом слое сети равно 30. Результаты
анализа представлены на рис. 5-7. По сравнению с предыдущим случаем в данном
случае обучение происходит более быстро. Из рис.5 видно, что заданное значение
среднеквадратичной погрешности, равное 0.1, достигается за 199 циклов. Из рис. 6
следует, что при повторном обучении на идеальных образах заданное минимальное значение погрешности также достигается за 657 циклов обучения. При этом
распознанный образ отличается от идеального незначительно (рис. 7).
Рис.5. Зависимость ошибки обучения
на идеальных образах от количества циклов
Рис.6. Зависимость ошибки при повторном
(после обучения на зашумленных образах)
обучении на идеальных образах
от количества циклов
Рис. 7. Сравнение тестируемого, распознанного и идеального образов
Увеличим количество нейронов в скрытом слое до 50. Из рис. 8 и 9 следует, что скорость обучения растет с увеличением числа нейронов. Сравнивая
рис. 4 и 11, можно сделать вывод, что с увеличением числа нейронов в скрытом слое, сеть способна решать более сложные задачи распознавания.
3. Исследование зависимости качества обучения от числа циклов
обучения. Исследование проведено на классической двухслойной нейронной
сети с обучением по методу обратного распространения ошибки по 8 входным образцам. При этом в скрытом слое находится 10 нейронов.
Пусть число циклов обучения составляет 100. Результаты исследования
представлены на рис. 12-14. Из-за недостаточного для достижения минимального значения погрешности числа циклов обучения нейронная сеть оказывается необученной. Поэтому образ распознан неверно (рис. 14). Чтобы
улучшить качество обучения, необходимо увеличить количество циклов обучения или число нейронов в скрытом слое сети.
Рис. 8. Зависимость ошибки обучения
на идеальных образах
от количества циклов
Рис. 9. Зависимость ошибки при повторном
(после обучения на зашумленных образах)
обучении на идеальных образах
от количества циклов
Рис.10. Сравнение тестируемого, распознанного и идеального образов
Рис.11. Сравнение тестируемого, распознанного и идеального образов
Рис. 12. Зависимость ошибки обучения
на идеальных образах
от количества циклов
Рис. 13. Зависимость ошибки при повторном
(после обучения на зашумленных образах)
обучении на идеальных образах
от количества циклов
Рис. 14. Сравнение тестируемого, распознанного и идеального образов
Рассмотрим случай с количеством циклов обучения, равным 900. Результаты исследования представлены на рис. 15-17. Несмотря на то, что при обучении не достигнута требуемая погрешность, сеть обучена достаточно хорошо, так как значение достигнутой погрешности отличается незначительно от
требуемой.
Рис.15. Зависимость ошибки обучения
на идеальных образах
от количества циклов
Рис.16. Зависимость ошибки при повторном
(после обучения на зашумленных образах)
обучении на идеальных образах
от количества циклов
Рис. 17. Тестируемый, распознанный и идеальный образы
Рассмотрим далее случай с количеством циклов обучения, равным 1500.
Результаты исследования представлены на рис. 18-20. В данном случае сеть
обучена, и предельные значения критерия ошибки обучения достигнуты на
всех стадиях обучения.
Рис. 18. Зависимость ошибки обучения
на идеальных образах
от количества циклов
Рис. 19. Зависимость ошибки при повторном (после
обучения на зашумленных образах) обучении
на идеальных образах от количества циклов
Рис.20. Тестируемый, распознанный и идеальный образы
4. Примеры неправильного распознавания образа. Исследуем случай
неправильного распознавания из-за недостаточного количества циклов обучения. В качестве примера использована классическая сеть с 8 входными образами, содержащими фотографии 2 людей.
Количество нейронов в скрытом слое равно 10, а количество циклов обучения
составляло 100. Результаты исследования представлены на рис. 21-23. Так как число циклов обучения недостаточно для достижения предельного значения критерия
обучения, поэтому сеть правильно не обучена. Следовательно, распознавание произведено неверно (рис. 23). Чтобы улучшить качество обучения необходимо увеличить количество циклов обучения или число нейронов в скрытом слое сети.
Рис. 21. Зависимость ошибки обучения
на идеальных образах
от количества циклов
Рис. 22. Зависимость ошибки при повторном (после
обучения на зашумленных образах) обучении
на идеальных образах от количества циклов
Рис. 23. Тестируемый, распознанный и идеальный образы
Исследуем случай неправильного распознавания из-за тестирования образа,
не имеющегося в базе данных. В данном случае применяется метод обучения
нейронной сети с учителем, поэтому если подать на вход образ, по которому
сеть не обучалась, то она попытается найти похожий образ среди уже имеющихся образов или соединить несколько (рис. 26) из набора соединенных вместе
среди уже имеющихся в базе образов. Это связано с тем, что для их успешного
функционирования необходимо наличие экспертов, создающих на предварительном этапе для каждого входного образа эталонный выходной.
Performance is 0.0965391, Goal is 0.1
3
Performance is 0.0996278, Goal is 0.1
0
10
10
2
Training-Blue Goal-Black
Training-Blue Goal-Black
10
1
10
0
10
-1
10
-1
10
-2
10
-2
0
20
40
60
125 Epochs
80
100
Рис. 24. Зависимость ошибки обучения
на идеальных образах
от количества циклов
120
10
0
50
100
150
267 Epochs
200
250
Рис. 25. Зависимость ошибки при повторном
(после обучения на зашумленных образах) обучении на идеальных образах от количества циклов
Рис. 26. Тестируемый, распознанный и идеальный образы
5. Заключение. Из анализа следует, что качество обучения увеличивается с увеличением количества входных образцов и/или количества нейронов в скрытом слое до некоторого значения, определяемого возникновением переобучения. Нейронные сети с большим количеством входов способны моделировать более сложные функции и почти всегда дают меньшую
ошибку, но это может свидетельствовать не о хорошем качестве модели, а о
переобучении. Сеть, возможно, будет точно следовать данным, принимая
при этом замысловатую форму, не имеющую никакого отношения к форме
настоящей зависимости.
Можно сделать также вывод, что чем меньше предельное значение критерия обучения (ошибки обучения), тем сеть будет лучше обучена и, соответственно, будет лучше распознавать образы. Если число циклов обучения
меньше необходимого для достижения предельного значения критерия обучения, то качество обучения снижается и распознавание будет неточным.
Литература
1. Медведев В.С. Нейронные сети. MATLAB 6 / В.С. Медведев, В.Г. Потемкин. М.:
ДИАЛОГ-МИФИ, 2001. 496 с.
2. Порфирьева Н.Н. Разработка автоматизированной системы распознавания образов с
применением нейросетевых технологий / Н.Н.Порфирьева, В.В. Андреев // Математика, компьютер, образование: сборник научных тезисов. М.; Ижевск: РХД, 2007. Вып. 14. С. 92.
3. Порфирьева Н.Н. Распознавание образов с помощью нейронной сети / Н.Н. Порфирьева //
Наука XXI века: сборник статей по материалам III Республиканского конкурса научноисследовательских работ студентов, аспирантов, молодых ученых и научно- технических работников
(в области естественно-математических и технических наук). Чебоксары: ЧГИГН, 2006. С. 36-39.
АНДРЕЕВ ВСЕВОЛОД ВЛАДИМИРОВИЧ родился в 1964 г. Окончил Чувашский государственный университет. Кандидат физико-математических наук, заведующий кафедрой телекоммуникационных систем и технологий. Область научных интересов – математическое
моделирование систем. Автор более 220 научных работ, включая 3 учебных пособия и 1 монографию.
ПОРФИРЬЕВА НАТАЛЬЯ НИКОЛАЕВНА родилась в 1985 г. Магистрантка 2 года
обучения Чувашского государственного университета. Область научных интересов –
распознавание образов. Автор 3 научных работ.
ПРОХОРОВ АНДРЕЙ МИХАЙЛОВИЧ родился в 1985 г. Окончил Чувашский государственный университет. Аспирант кафедры телекоммуникационных систем и технологий Чувашского университета. Область научных интересов – распознавание образов.
ПРОХОРОВ АЛЕКСАНДР МИХАЙЛОВИЧ родился в 1986 г. Окончил Чувашский
государственный университет. Область научных интересов – распознавание образов.
Документ
Категория
Без категории
Просмотров
23
Размер файла
497 Кб
Теги
нейросетевые, matlab, среды, образов, система, pdf, распознавание, исследование
1/--страниц
Пожаловаться на содержимое документа