close

Вход

Забыли?

вход по аккаунту

?

Vasin Diyazitdinov Kurinskij Rasshirenie funkcional'nyh vozmozhnostej sistem videonabludeniya

код для вставкиСкачать
Н.Н. Васин
Р.Р. Диязитдинов
В.Ю. Куринский
Расширение функциональных
возможностей систем
видеонаблюдения
Самара
2013
УДК 681.3
ББК 32.811.3
Т
УДК 681.3
ББК 32.811.3
Рецензенты:
докт. техн. наук, профессор Кацюба О.А.
докт. техн. наук, профессор Прохоров С.А.
Васин Н.Н., Диязитдинов Р.Р., Куринский В.Ю.
Расширение функциональных возможностей систем видеонаблюдения /
Поволжский государственный университет телекоммуникаций и
информатики. – Самара: ПГУТИ, 2013. – 223 с.
Монография посвящена анализу существующих методов и устройств
измерения скорости протяженных объектов. Разработана методика обработки
видеоизображения с целью получения информации о параметрах движения
протяженных объектов. Разработаны алгоритмы повышения точности
измерения параметров движения объектов, снижающие случайную
составляющую погрешности. Рассмотрены проблемы обнаружения
появляющихся на изображении объектов контроля. Разработаны методы и
алгоритмы обнаружения в условиях изменяющейся освещенности.
Монография представляет интерес для научных работников, аспирантов
и студентов старших курсов, специализирующихся в области обработки
сигналов систем видеонаблюдения.
Научное издание
Печатается в авторской редакции
Одобрено редакционно-издательским советом Поволжского
государственного университета телекоммуникаций и информатики
ISBN 978-5-904029-39-5
©
Н.Н. Васин, 2013
©
Р.Р. Диязитдинов, 2013,
©
В.Ю. Куринский, 2013
© Оформление ПГУТИ, 2013
2
Оглавление
Введение………………………………………………………..
Раздел 1 Измерение параметров движения протяженных объектов
по сигналам систем видеонаблюдения……………
Глава 1 Устройства и способы измерения параметров движения
протяженных объектов………
1.1 Обобщенная архитектура системы видеонаблюдения…
1.2 Устройства на основе доплеровского эффекта…..
1.3 Понятие протяженного объекта в системах видеонаблюдения
1.4. Обзор устройств и систем измерения скорости протяженных
объектов с использованием видеокамер……
1.4.1 Методика измерения скорости по всплескам яркости..
1.4.2 Методика выделения характерных точек……...............
1.4.3 Методика локализации зон видеоизображения……….
1.4.4 Методика измерения скорости движения объектов,
движущихся вдоль оси видеокамеры……………………….
1.4.5 Методы видеонаблюдения, сегментации и сопровождения
движущихся объектов………………………
1.4.6 Квазиоптимальные неадаптивные алгоритмы оценивания
межкадрового сдвига изображений…………….
1.5 Методика выделения характерных областей……………
1.6 Перспективы развития направления……………..............
Глава 2 Методика измерения с обработкой совокупности строк
2.1 Определение наличия протяженного объекта в зоне действия
системы видеонаблюдения………………………..
2.2 Методика измерения смещения по строкам высотой 1 пиксель
2.3 Методика измерения смещения по совокупности строк
изображения
2.4 Параметры прямоугольной области……………...............
Глава 3 Алгоритмы повышения точности…………………
3.1 Оценка результатов измерений…………………..............
3.2 Алгоритм поиска блока в расширенной области………..
3.3 Увеличение периода измерений………………………….
Глава 4 Техническая реализация……………………..............
4.1 Результаты экспериментов………………………………..
4.1.1 Четырехосный полувагон……………………………….
4.1.2 Четырехосная цистерна для бензина и светлых
нефтепродуктов
4.1.3 Измерение скорости движения трамвая .
4.1.4 Электровоз постоянного тока ВЛ10……………………
4.1.5 Ночная съемка эвакуатора………………………………
4.2 Структурная схема системы………………………………
4.3 Программное обеспечение системы измерения скорости
движения протяженного объекта………………….
3
5
7
7
7
11
13
15
16
16
17
18
20
21
22
35
37
38
41
48
54
61
61
75
78
84
84
84
89
92
95
98
101
102
Раздел 2 Обнаружение объектов контроля по сигналам систем
видеонаблюдения……………………………………..
Глава 5 Обзор методов и алгоритмов обнаружения объектов
контроля в системах видеонаблюдения…..............
5.1 Обнаружение объектов контроля с использованием
изображения фона для неподвижных систем видеонаблюдения
5.2 Обнаружение объектов контроля с предварительной оценкой
плотности распределения яркости элементов видеоизображения
5.3 Эвристические методы обнаружения объектов контроля
5.4 Обнаружение объектов контроля для движущихся систем
видеонаблюдения…………………………………….
Глава 6 Методика решения задач обнаружения объекта контроля на
видеоизображении………………………………
6.1 Постановка задачи обнаружения объектов контроля…..
6.2 Распределение яркости фона и объекта контроля в элементе
изображения………………………………………...
6.3 Модель видеоизображения фона и движущихся объектов
контроля на основе статистических характеристик их изображений
6.4 Математическая модель видеоизображения фона и движущихся
объектов контроля в условиях изменяющейся освещенности
6.5 Постановка задачи обнаружения объекта контроля для
движущихся систем видеонаблюдения………………………
Глава 7 Алгоритмы обнаружение объектов контроля………
7.1 Двухэтапный алгоритм обнаружения объектов контроля при
изменяющейся освещенности………………...
7.2 Трехэтапный алгоритм обнаружения объектов контроля при
изменяющейся освещенности……………………………
7.3 Реализация алгоритма…………………………………….
7.4 Алгоритмы обнаружения неподвижного объекта контроля при
съемке движущейся видеокамерой…..............
7.5 Определение мощности шума……………………………
Глава 8 Экспериментальная проверка разработанных алгоритмов
обнаружения объектов контроля……………….
8.1 Эффективность разработанного алгоритма при оценивании
яркости фона…………………………………….
8.2 Сравнение разработанного трехэтапного алгоритма с
существующими………………………………………………
8.3 Результаты экспериментальной проверки разработанных
алгоритмов обнаружения объектов контроля при изменениях
освещенности……………………
8.4 Результаты обнаружения объектов контроля на
видеоизображениях, полученных с видеокамер, установленных на
подвижных объектах
Заключение……………………………………………………
Литература……………………………………………..............
4
104
104
104
113
118
122
126
126
128
133
137
158
163
163
163
167
174
179
184
184
196
198
206
208
209
ВВЕДЕНИЕ
Технические возможности современных систем видеонаблюдения
позволяют обеспечивать выполнение задач мониторинга различной
сложности в зависимости от существующих потребностей. Традиционные
задачи использования видеокамер как «электронного глаза» уходит на второй
план и на первый план выходят задачи анализа видеоизображения с целью
управления технологическими процессами, а также для принятия решений,
когда ряд ситуаций, фиксируемых видеокамерами, игнорируется, позволяя
оператору сосредоточиться
на
факторах,
внушающих
опасения
(ситуационные центры, охранные ведомства в магазинах, на предприятиях,
аэро- и железнодорожных вокзалах и т.д.).
В настоящее время, системы, обладающие аналитическими
возможностями, как правило, используются при решении следующих задач:
1) измерение параметров движения объектов, фиксируемых в поле
зрения камеры;
2) определение наиболее вероятных траекторий передвижения
объектов;
3) обнаружение и слежение за объектами, появившимися в запретных
или охраняемых местах;
4) изменение обстановки окружающей среды;
5) фиксирование чрезвычайных ситуаций на начальных этапах
развития;
6) слежение за характером движения перемещающихся объектов;
7) классификация объектов (людей, животных, транспорта);
8) сопровождение движущихся объектов и т.д.
Системы видеонаблюдения прочно вошли в повседневную жизнь.
Использование современных цифровых систем видеонаблюдения позволило
в значительной степени расширить функциональные возможности,
перекладывая ряд работы за мониторингом ситуации на алгоритмы
обработки.
Первоначальная обработка видеоданных в силу достаточно большого
объема передаваемой информации и скромным возможностям цифровых
устройств обработки сводилась к вычислению математического ожидания,
дисперсии, корреляционных коэффициентов и других простейших
параметров, определяющих статистические характеристики сигналов.
В настоящий момент, когда цифровые устройства обладают
достаточно высоким быстродействием, системы видеонаблюдения
рассматриваются как еще один источник информации с некоторыми
особенностями, но при этом получаемые видеосигналы обладают
множеством
черт,
сближающих
их
с
традиционными
телекоммуникационными сигналами.
5
Благодаря этому сходству стало возможным использовать всю мощь
математического аппарата, в первую очередь вероятностных методов для
разработки узкоспециализированных алгоритмов обработки, которые
включают не только оценку отдельных параметров, но и позволяют
использовать дополнительную информацию, содержащуюся в изображении
или совокупности следующих друг за другом кадров. Это позволяет
уменьшить погрешности измерений и свести к минимуму ошибки
обнаружения или принятия решений.
В данной монографии представлены исследования систем
видеоаналитики, позволяющих проводить измерения скоростей протяженных
объектов, зафиксированных в поле зрения видеокамер, и обнаруживать
появляющиеся на изображении объекты.
6
Раздел 1 Измерение параметров движения
протяженных объектов
системами видеонаблюдения
Глава 1 Устройства и способы измерения параметров движения
протяженных объектов
1.1 Обобщенная архитектура системы видеонаблюдения
Настоящее время характеризуется бурным развитием систем
видеонаблюдения и внедрением их во все сферы деятельности
(промышленность, транспорт). Сегодняшние разработки позволяют
осуществлять IP-видеонаблюдение на объектах, а также строить
полнофункциональные видеосистемы, которые объединяют в единой
интегрированной архитектуре средства трансляции видео, информационных
данных и коммуникации. На базе этого оборудования можно создавать
масштабируемые системы видеонаблюдения, как с применением
установленных ранее аналоговых камер и видеосерверов, так и на основе
цифровых проводных и беспроводных IP-камер видеонаблюдения (рис. 1.1).
Внедрение методики обработки видеоизображений на сервере видео
аналитики позволяет существенно сократить исходящий трафик в сеть
интернет [1]. Так, например, видеопоток со скоростью 12-15 Мбит/с после
обработки сокращается до 64 кбит/с (рис. 1.1).
Построить видеосистему на базе IP-оборудования можно либо «с
нуля», либо с использованием уже эксплуатируемых аналоговых видеокамер.
Второй вариант позволит минимизировать затраты на создание системы IPвидеонаблюдения, повысить ее эффективность и расширить возможности. В
этом случае аналоговые камеры подключаются к сети системы через одноили четырехканальные видеосерверы (IP-шлюзы), которые выполняют
оцифровку видеосигнала, сжатие его в формат MPEG-4 и передачу по сети.
В зависимости от масштаба и конфигурации системы видеонаблюдения
можно выбрать либо автономные видеосерверы, либо модели в виде платы с
их установкой в 19" стойку, а для вывода видео на экран аналогового
монитора – декодеры.
7
Рис. 1.1 – Интегрированное решение для системы видеонаблюдения объекта
Для записи, хранения, поиска и воспроизведения данных,
поступивших через видеосерверы, в составе системы необходимо
использовать устройство ISP (Integrated Services Platform), подключаемое
непосредственно к IP-сети и выполняющее роль видеорегистратора. Такая
гибридная система видеонаблюдения может работать под управлением ПО
Video Surveillance Stream Manager с модулями конфигурирования,
администрирования и удаленного просмотра видео и записи на HDD.
Чтобы организовать централизованные или распределенные системы
видеонаблюдения на объектах среднего и крупного масштаба, необходимо
использовать IP-камеры видеонаблюдения, маршрутизаторы, хранилища и
программное обеспечение Video Surveillance Manager с функциями вебмониторинга, управления, записи и хранения аудио- и видеоинформации
(рис. 1.1). Это оборудование подключается непосредственно к IP-сети, а ПО
инсталлируется на сетевой персональный компьютер либо на
специализированный аппаратный компонент системы – Encoding Server. В
состав этого ПО входят базовые модули – VS Media Server для управления
видеопотоками системы видеонаблюдения и VS Operations Manager для
удаленного конфигурирования IP-оборудования, включая IP-камеры и
видеосерверы, а также модуль Virtual Matrix с функциями виртуального
матричного коммутатора. При необходимости, IP-видеонаблюдение можно
осуществлять и с помощью аналоговых камер, подключенных через
видеосерверы, а для хранения больших объемов видеоданных использовать
RAID-массивы. Такая система легко масштабируется и интегрируется с
другими приложениями, например, с системами контроля доступа.
8
Локальная система видеонаблюдения небольшого объекта может
быть создана на базе комбинированного маршрутизатора ISR (Integrated
Services Router), который способен играть в системе роль единой платформы
как для создания IP-сети объекта, так и для IP-видеонаблюдения. При этом
ISR обладает всеми функциями для приема видеоизображения от аналоговых
или цифровых проводных/беспроводных IP-камер видеонаблюдения,
просмотра видео в реальном времени, а также его записи, хранения и поиска
на средствах сторонних производителей.
В свободные слоты ISR можно установить отдельные сетевые
модули, обладающие необходимыми функциями для конкретной системы
видеонаблюдения. Модуль VMSS (Video Management and Storage System),
например, обеспечит управление и хранение видео, а AVG (Analog Video
Gateway) представляет собой 16-портовый видеосервер с поддержкой H.264 и
удаленного управления PTZ-функциями поворотных камер. Маршрутизатор
ISR снабжен предустановленным ПО Video Surveillance Media Server, а
рабочее место оператора системы видеонаблюдения оснащается клиентским
ПО – CVS Operations Manager для администрирования системных
компонентов, просмотра видео с IP-камер видеонаблюдения в режиме
реального времени, поиска и воспроизведения архивных видеоданных и
управления функциями системы.
Модель
Кадр/с
IP
Табл. 1.1 – Характеристики видеокамер
Разрешение
Чувствии-тельность
1280×720
1920×1080
720×480
+
720×576
640×480
+
Cisco 4300 IP 60
Camera
30
Cisco 2500 IP 30
Camera
25
AXIS 221
45
+
AXIS 211M
BD4070-K12
12
15
+
+
1280×1024
1920×1080
BD4070-HWB- 25
K220
BD4070-HWB- 25
K12
BD4070H-K220 25
+
1920×1080
+
1920×1080
+
1920×1080
BD4070WK220
BD4070HP-K
цветная
МВК-8152ц
ДВИ
25
+
704×576
25
+
1920×1080
550 твл
9
Инфракрасный
объектив
0.5
лк
(День)/
0.01(Ночь)
0.5
лк
(День)/
0.01(Ночь)
0.5
лк
(День)/
0.01(Ночь)
0.5
лк
(День)/
0.01(Ночь)
0.5
лк
(День)/
0.01(Ночь)
0.5
лк
(День)/
0.01(Ночь)
0,12 лк/0,06 лк
На сегодняшний день существует огромный выбор видеокамер для
систем видеонаблюдения. Каждая из них обладает преимуществами и
недостатками. Ниже приведена таблица с характеристиками видеокамер [120
– 125].
Табл. 1.2 – Характеристики видеокамер (продолжение)
Модель
Условия
Дополнительное
Цена
Угол
оборудование
обзора экспл.
Cisco 4300 IP
0 - 50 °C
60429
Camera
Cisco 2500 IP
0 - 50 °C
37768
Camera
AXIS 221
93˚-35˚ +5..50 °С
кожух
49100
AXIS 211
AXIS 211W
AXIS 211M
BD4070-K12
BD4070-HWBK220
BD4070-HWBK12
BD4070HK220
BD4070WK220
BD4070HP-K
цветная
МВК-8152ц
ДВИ с ИКподсветкой
42˚
67˚-27˚
93˚-37˚
-40..+50 °С
-40..+50 °С
Термокожух, 12В
Термокожух, 220В
23800
27900
30000
14160
22222
-40..+50 °С
Термокожух, 12В
21670
-40..+50 °С
Термокожух, 220В
18520
-40..+50 °С
Термокожух, 220В
15120
-30..+50 °С
20120
-40..+50 °С
Видеорегистратор SI-121 10085
RM
4000
Существенным преимуществом видеокамер является наличие IPинтерфейса и высокое разрешение, а так же возможность производить
видеосъемку в темное время. Наилучшими параметрами обладает Cisco 4300
IP Camera. При работе над монографией использовалась видеокамера
BD4070-HWB-K12, которая имеет высокое разрешение и возможность
съемки в инфракрасном спектре.
10
1.2 Устройства на основе доплеровского эффекта
Большое количество существующих систем [2, 3, 23],
предназначенных для измерения скорости движения как протяженных, так и
непротяженных объекта, основано на эффекте Доплера [4, 5].
Рис. 1.2 – Доплеровский радар
Сущность эффекта заключается в том, что если источник волн
движется относительно среды, то расстояние между гребнями волн (длина
волны) зависит от скорости и направления движения. Если источник
движется по направлению к приёмнику, то есть догоняет испускаемую им
волну, то длина волны уменьшается. Если удаляется – длина волны
увеличивается.

cv
(1.1)
0
где ω0 – частота, с которой источник испускает волны, c – скорость
распространения волн в среде, v – скорость источника волн относительно
среды (положительная, если источник приближается к приёмнику и
отрицательная, если удаляется).
Частота, регистрируемая неподвижным приёмником:

с

 0
1
 v
1  
 c
(1.2)
Аналогично, если приёмник движется навстречу волнам, он
регистрирует их гребни чаще и наоборот. Для неподвижного источника и
движущегося приёмника.


u
c
   0 1  
(1.3)
где u – скорость приёмника относительно среды (положительная, если он
движется по направлению к источнику).
11
Подставив значение частоты из формулы (1.3) в формулу (1.1),
получим формулу для общего случая.
 u
1  
c
  0 
 v
1  
 c
(1.4)
Способ и устройство измерения скорости движения объектов [3] был
предложен российскими учеными Черновым П.В., Чекурсковым В.В.,
Лукошковым В.С., Париловым В.А. и Колесниченко Н.Н. В его основе лежит
непрерывное излучение СВЧ-сигнала, прием отраженного от объекта сигнала
и его последующая обработка после гомодинного преобразования. Затем
осуществляется обработка выборок сигнала с помощью дискретного
преобразования Фурье с использованием алгоритма Герцеля, при этом в
промежутках между выборками определяют значение промежуточного
преобразования выборки сигнала, основная часть вычислений производится в
промежутках между выборками, применяют весовую обработку входных
данных, суммирование входных данных с наложением во времени,
“скачущее” дискретное преобразование Фурье [6, 45, 7, 8].
На основе способа, описанного выше, реализован ряд устройств:
 ручные доплеровские радары «Сокол-М-С» [9] и «Сокол-М-Д»
[10] предназначены для измерения скорости автотранспорта в общем потоке
с диапазоном измеряемых скоростей от 20 до 250 км/ч;
 ручные доплеровские радары «Искра-1», «Искра-1-В» и «Искра1-Д» [11] предназначены для измерения скорости автотранспорта в общем
потоке с диапазоном измеряемых скоростей от 30 до 220 км/ч;
 ручной доплеровский радар «Луч-2» [12] предназначен для
измерения скорости автотранспорта в общем потоке с диапазоном
измеряемых скоростей от 20 до 199 км/ч;
 радиолокационный индикатор скорости для железнодорожных
вагонов РИС-В3 [13] с рабочим диапазоном от 1,5 до 35 км/ч.
Системы на основе эффекта Доплера обладают функциональными
ограничениями. Измеритель обязательно должен устанавливаться вдоль оси
движения объекта и при наличии многих объектов необходимо использовать
много измерителей, что усложняет и удорожает систему.
12
1.3 Понятие протяженного объекта в системах видеонаблюдения
Системы видеонаблюдения реализуют сбор, передачу и обработку
информации. Они формируют значи¬тельные объемы передаваемых данных
и поэтому предъявляют повышенные требования к пропускной способности
линий связи, производительности программного и аппаратного обеспечения.
Причем, современные системы видеонаблюдения встраиваются в
автоматизированные системы управления технологическими процессами
(АСУ ТП) [14 – 19]. В ряде АСУ ТП расширение функциональных
возможностей систем видеонаблюдения по измерению параметров движения
протяженных объектов повышает их эффективность [20 – 27]. Примерами
использования систем видеонаблюдения, требующих определения
параметров движения протяженных объектов, являются:
 измерение скорости движения железнодорожных вагонов и
составов на станциях, на сортировочных горках, в депо;
 измерение скорости движения трамваев, троллейбусов и
автобусов;
 измерение скорости движения металлических листов на
прокатных станах.
Причем, в ряде случаев оптическая ось видеокамеры располагается
перпендикулярно направлению движения протяженного объекта, что
накладывает особые требования по обработке видеоинформации.
Ниже приведены фоновый кадр системы видеонаблюдения (рис. 1.3)
и модель протяженного движущегося объекта (рис. 1.4 а, б) на смежных
кадрах.
Рис. 1.3 - Фоновый кадр
13
Рис. 1.4 – Фоновый кадр с протяженным объектом.
Протяженными считаются такие объекты, геометрические размеры
которых сопоставимы с размерами поля зрения применяемых видеокамер
или существенно превосходят его [28].
В случае протяженного объекта возможны две ситуации:
 изображение объекта в определенные моменты времени
полностью умещается в кадре;
 размеры объекта превосходят поле зрения видеосистемы,
поэтому в процессе наблюдения в кадр попадают различные части объекта.
За период следования кадров τ протяженный объект перемещается на
расстояние S, а видеоизображение объекта смещается на s (рис. 1.4). При
известном расстоянии до объекта перемещение объекта будет:
(1.5)
S  K s
Т.е. по известному смещению видеоизбражения можно однозначно
оценить перемещение S объекта, поскольку коэффициент K будет
постоянным для заданной трассы движения объекта и известном расстоянии
от видеокамеры до объекта.
14
Скорость движения объекта составит:
v
S
(1.6)

Таким образом, измерение скорости движения объекта протяженного
объекта сводится к измерению смещения s видеоизображения за известное
время следования кадров τ. Время измерения может быть увеличено до nτ
при анализе смещения s изображения за несколько n кадров, если это
позволяет динамика процесса.
Это обусловлено тем, что измерение скорости объекта должно
производиться в режиме реального времени. Требование обработки
видеоизображения в режиме реального времени особенно актуально в АСУ
ТП, когда в зависимости от скорости объекта или ее измерения формируются
и передаются по каналу связи управляющее воздействие. Примером может
служить процесс управления торможением отцепами (вагонами или
совокупностью вагонов) на сортировочных горках, когда управляющее
воздействие может и должно изменять за доли секунды.
Измерение ускорения а производится путем нахождения разности
скоростей объекта за период следования кадров:
v  vi 1  vi , a 
v

где vi – это скорость объекта за время смены кадров между i-ым и i-1-ым
кадрами;
vi 1 – это скорость объекта за время смены кадров между i+1-ым и i-ым
кадрами.
1.4 Обзор устройств и систем измерения скорости протяженных
объектов с использованием видеокамер
Использование систем видеонаблюдения с дополнительными
функциональными возможностями позволяют снять ограничения устройств и
систем на Доплеровском эффекте и производить измерение параметров
протяженного объекта путем компьютерной обработки последовательности
кадров. При этом не возникает необходимости «ждать», пока протяженный
объект полностью «выйдет» из зоны действия видеокамеры. Видеокамера,
как правило, устанавливается перпендикулярно направлению движения.
Получаемые данные о параметрах движения могут передаваться по
узкополосному каналу связи, шириной не превышающей 64 кбит/с.
Работы [28 – 31] посвящены восстановлению формы и определению
геометрических параметров подвижных протяженных объектов путем
определения последовательности кадров систем видеонаблюдения.
Отмечено, что измерение параметров движения, прежде всего скорости,
15
является актуальным, но в настоящее время современными методами и
техническими средствами решено быть не может из-за аномальных
погрешностей.
1.4.1 Методика измерения скорости по всплескам яркости
Способ [32, 33], предложенный Абакумовым А.М., Бережной И.А.,
Денкевиц В.А., Кузнецовым П.К., Ляпидовым В.С., Мишиным В.Ю.,
Семавиным В.И., для измерения параметров движения протяженного объекта
со случайным распределением яркостей основан на проецировании его
изображения на экран приемника излучения, выделении в изображении
прямоугольной области и преобразовании элементов изображения в
электрические сигналы, пропорциональные яркости изображений в
выделенной области, дополнительном выделении второй прямоугольной
области, границы которой ориентированы параллельно границам первой
области, и получении в каждой из выделенных областей сигналов,
пропорциональных средним значениям яркости.
Недостатком данного способа является высокая погрешность
измерения, обусловленная вибрацией камеры, вызванной движением
объекта. Вторым недостатком является то, что способ основан на всплесках
яркости изображения при появлении объекта в области наблюдения
видеокамеры и при «выходе» объекта из этой области, что не применимо для
систем, измеряющих скорость движения протяженных объектов,
работающих в режиме реального времени.
1.4.2 Методика выделения характерных точек
В работе [34] предложено величину смещения объекта за период
следования кадров определить путем выделения характерных точек на i-ом
кадре и нахождении соответствующих точек на следующем i+1-ом кадре.
Используя алгоритмы поиска подобных точек (отождествление по уровню
яркости, корреляционные методы, отождествление по краям, интерполяция)
можно измерить смещение объекта. В работе [34] в силу различных причин,
связанных с неточностью позиционирования на дискретном изображении,
возможных ошибок нахождения расположения и т.п., надежность
использования всего одной пары точек для определения смещения и
скорости перемещения объекта недостаточна. Для увеличения надежности
следует базироваться на целом ряде подобных измерений. Однако из-за
сложности подобной методики система не была реализована.
Другим недостатком данной методики является высокая погрешность
измерения, обусловленная вибрацией камеры и вибрацией объекта,
движущегося по неровному пути.
16
1.4.3 Методика локализации зон видеоизображения
В работе [35] предложен способ, позволяющий осуществлять в
реальном масштабе времени идентификацию и локализацию зоны с
относительным перемещением протяженного объекта в сцене, наблюдаемой
системой видеонаблюдения. Для определения скорости и ориентированного
направления
перемещения,
производится
выполнение
следующей
последовательности операций над цифровым выходным видеосигналом:
 обработка сглаживания цифрового выходного видеосигнала с
использованием цифровой постоянной времени, численное значение которой
может изменяться независимо для каждого элемента изображения выходного
сигнала;
 запоминание, с одной стороны, кадра выходного сигнала после
сглаживания и, с другой стороны, постоянной времени сглаживания,
связанной с указанным кадром;
 временную обработку для каждого положения элемента
изображения, заключающуюся в определении, во-первых, наличия и, вовторых, амплитуды значимого изменения в амплитуде сигнала элемента
изображения между текущим кадром и непосредственно предыдущим
сглаженным и запомненным кадром;
 в генерировании двух цифровых сигналов, при этом первый
сигнал является двоичным, или однобитовым, одно из которых представляет
наличие, а другое представляет отсутствие значимого изменения между
двумя последовательными кадрами, и второй цифровой многобитовым
сигнал амплитуды с ограниченным числом битов, количественно
определяющих амплитуду изменения;
Так же проводится пространственная обработка, состоящая из
следующих этапов для каждого кадра:
 распределяют только значения части элементов изображения в
кадре в заданный момент наблюдения (части, которую сканируют по матрице
в течение длительности кадра), во-первых, указанного двоичного сигнала, а
во-вторых, указанного цифрового сигнала амплитуды, в матрицу с числом
рядов и столбцов, которое мало по сравнению с числом строк и числом
элементов изображения в строке в видеосигнале, соответственно, чтобы
охарактеризовать значения элементов изображения;
 определяют в этом двойном мгновенном матричном
представлении конкретную зону, в которой указанный двоичный сигнал
имеет искомое значение, представляющее наличие или отсутствие значимого
изменения, а указанный цифровой сигнал амплитуды изменяется или не
изменяется на значимую величину для соседних элементов изображения в
матрице вдоль ориентированного направления, начиная с исходного
элемента изображения, в той же самой части кадра, и поэтому в тот же самый
момент наблюдения;
17
 генерируют сигналы, представляющие наличие и локализацию
зоны с относительным перемещением и относительную межкадровую
скорость и ориентированное направление этого перемещения, если оно есть,
относительно окружающей ее среды, исходя из мгновенного матричного
распределения упомянутых двух цифровых сигналов – двоичного сигнала и
сигнала амплитуды.
Недостатками данного способа являются высокая потребность в
вычислительных ресурсах, высокая погрешность измерения параметров
подвижного протяженного объекта, обусловленная вибрацией протяженного
объекта при его движении по неровному пути, а также вибрацией
видеокамеры, вызванной движением объекта.
1.4.4 Методика измерения скорости движения объектов, движущихся
вдоль оси видеокамеры
В работе [36] предложено устройство по измерению скорости
движения движущегося транспортного средства с использованием
видеокамеры.
Рис. 1.5. Устройство измерения скорости
Устройство включает в себя:
 видеокамера для фотографирования с заранее определенным зоной
съемки, в которой происходит движение объекта с интервалом времени Т;
 проект для отображения информации о яркости каждого пикселя
изображения, получаемого с видеокамеры за интервал времени Т на ось
ординат по направлению движения объекта, и для суммирования каждого
уровня яркости по оси ординат для получения блоков с усредненным
значением яркости;
18
 буфер для хранения информации об усредненном значении
яркости блоков;
 детектор для определения скорости движущегося объекта в
заданной области обзора видеокамеры по сохранённой информации в буфере.
Сохраняемая информация в буфере позволяет делать вывод о значении
скорости по коэффициенту перемещения k, как показано на рис. 1.6.
Рис. 1.6. Определение коэффициента перемещения
Измеритель обязательно должен устанавливаться вдоль оси движения
объекта. При наличии многих объектов необходимо использовать много
измерителей, что усложняет и удорожает систему. Для определения скорости
требуется накопление информации за несколько кадров, что ограничивает
применение подобных устройств в системах реального времени.
19
1.4.5 Методы
видеонаблюдения, сегментации
движущихся объектов.
и сопровождения
Информация о скорости движения протяженного объекта при
построении панорамного изображения [37, 38, 39], одновременно с синтезом
изображения объекта интереса, позволяет Обуховой Н.А. зафиксировать
момент начала и окончания движения железнодорожного состава, определить
направление и скорость движения, реализовать счет вагонов и выполнить
идентификацию типа вагона.
Полученные результаты показывают, что синтезированное панорамное
изображение позволяет реализовать основные функциональные особенности
интеллектуальной системы видеонаблюдения протяженных объектов.
В многофункциональном оптико–электронном комплексе решены
задачи автоматизированного захвата и автоматического сопровождения
неточечных объектов интереса. Размеры объектов от 4*4 до 100*100 пикселей.
Скорость движения от 0 до 10 пикселей за кадр. Движение объектов
произвольное, возможно исчезновение длительностью до 10 сек. Число
главных объектов интереса от одного до четырех. Число второстепенных
объектов неограниченно. Эффективное отношение сигнал/шум (отношение
превышение сигнала цели над фоном к СКО шума) не менее 6 дБ.
Автоматизированный захват выполняет оператор.
В работах Обуховой Н.А. для построения системы измерения
используется широкоугольный объектив для видеокамер с высоким
коэффициентом искажения (рис.1.7). Поэтому для построения панорамного
изображения объекта происходит накопление информации (несколько
последовательных кадров видеоизрбажения), после чего происходит
вычисление скорости движения.
а)
20
б)
Рис. 1.7 – a) исходное изображение с нелинейными искажениями, б)
синтезированное изображение
1.4.6 Квазиоптимальные неадаптивные
межкадрового сдвига изображений.
алгоритмы
оценивания
Работа Ташлинского А.Г. [40] посвящена оценке малых деформаций
изображений (рис.1.8). Алгоритм вычисления суммы квадратов разностей
двух областей, используемый в [40] по форме и по вычислительным затратам
похож на общеизвестную структурную функцию. Использование
структурной функции позволяет эффективно измерять малые деформации
объекта при сравнительно небольшом быстродействии и объеме памяти
компьютера.
Рис. 1.8. Возможные деформации двух кадров.
Структурная функция применяется и в представленной монографии
для измерения скорости протяженного объекта путем определения смещения
изображения объекта за известный интервал времени, для чего анализируется
совокупность строк изображения.
21
1.5 Методика выделения характерных областей
Данная методика была исследована, но не использовались на
практике из-за требований больших вычислительных ресурсов и низкой
помехозащищенности [41 – 44]. Однако общий подход в использовании
разности смежных кадров или их части, а также применение некоторых
моделей и алгоритмов обработки сигналов систем видеонаблюдения привел к
необходимости описания этой методики в данном разделе.
Задача измерения скорости движения движущегося протяженного
объекта решается путем выделения характерных областей смежных кадров и
определения смещения этих областей за период следования кадров [45 – 50].
При этом необходимо полученное смещение изображения s преобразовать в
перемещение объекта S. Для этого построена геометрическая модель съемки
с учётом физических параметров видеокамеры: угол обзора и соотношение
сторон изображения.
В качестве объекта рассмотрен небольшой прямоугольник площадью
ΔS1 , нормальный к оси объектива видеокамеры (далее для простоты линза),
помещенный на расстояние – a от нее (см. рис. 1.8) [51–54]. Будем считать,
что среда слева и справа от линзы имеет одинаковый показатель
преломления n=1. Изображением ΔS1 будет прямоугольник площадью
ΔS 2 ,
расположенный на расстоянии b от линзы. В параксиальном
приближении:
2
ΔS2  b 
   2
ΔS1  a 
(1.7)
Рис. 1.9 – Объемная геометрическая модель
Если яркость объекта равна Lv , то через линзу пройдет световой
поток ΔФ v , значение которого определяется выражением:
ΔФ v  Lv ΔS2 ΔΩ2 ,
22
(1.8)
где ΔΩ2 – телесный угол, под которым линза видна из места расположения
объекта. Если обозначить диаметр линзы через d, то:
ΔΩ2 
d 2
(1.9)
4b 2
За счет поглощения света веществом линзы и частичного отражения
на ее поверхности поток света за линзой может только уменьшиться, т.е.
(1.10)
ΔФ'v  kΔФ v ,
где k – коэффициент потерь (меньше единицы).
Поток за линзой будет распространяться в пределах телесного угла ,
под которым линза видна с площадки, являющейся изображением.
Из рисунка видно, что
ΔΩ1 
d 2
4a
2
.
(1.11)
Обозначим через L'v яркость светового потока, формирующего
изображение, выражение для потока ΔФ' v можно записать следующим
образом:
ΔФ'v  L'v
или
Lv
d 2
4b
2
d 2
4a
ΔS2  kL'v
2
ΔS1.
d 2
4a
L'v  kLv
2
ΔS1
(1.12)
(1.13)
(1.14)
Таким образом, яркость изображения определяется только яркостью
объекта и потерями в линзе. Она не может превышать яркость объекта. Т.е.
можно в явном виде наблюдать искажающий фактор приема информации, но,
тем не менее, это не устранимое качество оптического приемника не является
критическим при обработке видеосигналов.
Рассмотрим геометрический аспект данной модели [41]. Для
нахождения коэффициентов пропорциональности рассмотрим следующий
рисунок (рис. 1.10)
23
Рис. 1.10. Модель съемки видеокамерой
На рис. 1.10 приняты следующие обозначения:
 OO1 – расстояние в метрах от объектива видеокамеры до
плоскости съемки;
 AD – длина прямоугольника ABCD в метрах, которое берется для
области обзора видеокамеры расположенной на расстоянии OO1;
 CD – ширина прямоугольника ABCD в метрах, которое берется
для области обзора видеокамеры расположенной на расстоянии OO1;
Ширина прямоугольника CD=b и длина AD=a, тогда коэффициент
отношения сторон будет равным a/b. Коэффициент пропорциональности a/b
дает возможность решить уравнение с одной переменной. Итак, известно
расстояние от камеры до плоскости съемки – L. А так же угол обзора
видеокамеры α. Таким образом, используя эти параметры можно вычислить
 
O1D  L  tg  . Далее находится значение AD. Для этого достаточно
2
ABD , где
применить теорему Пифагора
для
треугольника
 
BD  2  L  tg  . Наибольший интерес представляет катет треугольника,
2
который расположен параллельно вектору движения протяженного объекта.
В предположении, что это сторона AD, будет получено:
2

 
AD   2  L  tg    b 2
 2 

(1.15)
или
2

 
a   2  L  tg    b 2
 2 

(1.16)
Полученное уравнение содержит две переменные. Перейдем к
уравнению с одной переменной. Пусть стороны изображения относятся друг
к другу с некоторым коэффициентов k=X/Y, тогда a/b=k.
24
2

   a 
a   2  L  tg     
 2   k 

2
(1.17)
после решения которого получим выражение для расчета a через параметры
L и α.
a
2k
 
 L  tg 
1 k
2
(1.18)
Так как раньше было допущено предположение, что вектор движения
параллелен AD, то теперь необходимо получить коэффициент перехода от
размерности смещения изображения в перемещению объекта, а именно из
пикселей в метры. Для этого найдем, сколько пикселей приходится на один
метр:
a
1 2k
 
 
 L  tg 
X X 1 k
2
(1.19)
Последним шагом остается собрать все прилученные данные в одну
формулу для вычисления скорости. Результат получается следующим:
s 1 2k
 
V  3,6   
L  tg (км / ч)
 X 1 k
2
(1.20)
Таким образом, можно сказать, что расчет скорости движения
протяженного объекта по формуле 1.20 сводится к вычислению смещения
изображения.
Описанные выше геометрическая модель может быть использована
для случая, когда оптическая ось видеокамеры перпендикулярна вектору
движения протяженного объекта.
Рис. 1.11 – Кадр n
25
Рис. 1.12 – Кадр n+1
При съемке движения вагона (или другого транспортного средства)
изображения двух смежных кадров n и n+1 будут отличаться (см. рис. 1.11,
1.12).
Используя результаты [2, 55] можно определить значение
интересующей нас скорости по следующей методике:
 нахождения значения величины s = B2B1 (s [ед.]– смещение
объекта на смежных кадрах);
 нахождения значения величины S  s  L
a
(м), где S=A2A1 –
mb
истинное смещение объекта;
 нахождение
значения
скорости
объекта
v = S/τ (м/с)
Съемка камерой производится вблизи пути прохождения
протяженного объекта, что откладывает свой отпечаток на принимаемые
изображения. Один из существенных факторов – это невозможность
гарантировать стабильность положения телевизионной камеры вследствие
вибрации земли. Рис. 1.13 наглядно демонстрирует эту нестабильность.
Результатом воздействия помех [56, 57, 58] и нестабильности положения
видеокамеры является шум при формировании межкадровой разности [55].
На фоне шумовых помех выделить объекты, которые характеризуют
скорость движения состава, практически невозможно [29].
26
Рис. 1.13 – Межкадровая разность
Для получения межкадровой разности, содержащей минимум помех,
нужно преобразовать первоначальные кадры при использовании различных
методов обработки изображений:
 выделение контуров;
 обработка изображения скользящим «окном»;
 поэлементное преобразование изображения;
Задача выделения контуров состоит в построении изображения
границ объекта и очертаний однородных областей.
Поле изображения сканируется скользящим «окном», покрывающим
одновременно несколько пикселей. Все пиксели, попадающие в окно,
обрабатываются по некоторым правилам. Результатом обработки является
пиксель выходного изображения, обычно соответствующий центру окна.
Решение этой задачи является частным случаем обработки
изображения скользящим «окном» размером в один пиксель. Сущность этого
метода [55] заключается в том, что каждый пиксель изображения
обрабатывается при помощи определенной функциональной зависимости.
Наиболее распространенными задачами обработки изображения
являются [55, 58 – 66]: линейное контрастирование [59], пороговая обработка
[60] и препарирование [61]. В нашем случае наиболее подходящей является
задача пороговой обработки изображения. Решение этой задачи в общем виде
заключается в разделении всех элементов изображения на два класса по
признаку яркости, то есть в выполнении поэлементного преобразования вида:
 g max
g
 g min
при
f  f0 ,
при
f  f0 ,
(1.21)
где f 0 – некоторое пороговое значение яркости.
При выполнении пороговой обработки основной вопрос состоит в
выборе порога f 0 . На практике встречаются определенные трудности,
связанные с тем, что, во-первых, изображение искажено шумом и, во-вторых,
как для объекта, так и для фона характерен некоторый разброс яркостей.
27
Одно из решений, предложенное в [55, 60], является выбор порога f 0 ,
соответствующего положению минимума между модами, то есть
использовать функциональную зависимость поэлементного преобразования
следующего вида (рис. 1.14).
Приведенный выше метод является результатом обработки
идеального изображения. Так как он наиболее четко произведет разделение
изображения на полезную часть и не нужные составляющие. Именно этот
метод применять к поставленной задачи не целесообразно, так как нужно
найти необходимый порог по очень и очень строгим условиям.
Wr  f  – плотность распределения яркости
Рис. 1.14 – Совместное распределение яркости двух
объектов
Наибольший интерес представляет не отдельно взятое изображение
(кадр), а целая последовательность. Из этой серии можно выбирать наиболее
интересующие нас кадры, чтобы потом, используя их, применить к ним
разработанный нами алгоритм, включающий в себя следующие этапы:
 выборка последовательности для исследования;
 расположение кадров в нужной последовательности;
 преобразование цветного изображения в черно-белое;
 выделение объекта исследования из общей массы предметов;
 нахождение межкадровой разности;
 представление межкадровой разности в бинарном виде;
28
 линейная фильтрация полученного изображения;
 определение искомой величины на предмет измерения смещения
объекта исследования относительно предшествующего состояния.
Одной из основных методик данного алгоритма является
преобразование цветного изображения в черно-белое [67, 68, 69]. Обычно
цветная телевизионная камера производит съемку во всем видимом спектре
электромагнитного излучения. На настоящий момент разработан стандарт, с
помощью которого можно записать аналоговый поток данных в цифровой
вид. При этом качество изображения практически не меняется. Цифровой
стандарт имеет 224 количество цветов, т.е. на каждый из цветовых каналов
(красный (r), синий (b), зеленый (g)) приходится по 28  256 уровней
яркости [70 – 73]. Использование какого-либо отдельного цветового канала,
точнее его уровней яркости, для нашего метода приводит к значительным
искажениям в дальнейшем. Поэтому было решено использовать ни цветное
изображение в целом, ни цветовой канал в отдельности, ни совокупности
цветовых каналов, а его яркостную интерпретацию, т.е. только уровень
яркости каждого пикселя. Каждый из основных цветов откладывает свой
отпечаток на яркость пикселя, причем в ходе исследований было
обнаружено, что эта зависимость обладает абсолютной равномерностью, и
достаточно будет использовать коэффициенты пропорциональности, которые
в сумме дают единицу:
(1.22)
kr  0,30 ; k g  0,59 ; kb  0,11.
Таким образом, мы подавляем избыточность и снижаем количество
цветов до 256. Как известно цветное изображение представленное в
яркостной интерпретации есть не что иное, как черно-белое изображение.
Объект исследования в большинстве случаев имеет монотонную
окраску определенного цвета, что влияет на средний цвет изображения в
целом. Поэтому, определяя средний бит цвета, добиваемся выделения на
общем фоне исследуемого объекта.
Любое цифровое изображение состоит из пикселей. Каждый пиксель
имеет свой определенный цвет. В данном случае средний цвет изображения
определяется по следующей формуле:
n
Bср 
 Bi
i 1
n
,
(1.23)
где Bср – средний цвет изображения;
Bi – значение цвета каждого пикселя изображения;
n – общее количество пикселей, содержащихся в изображении.
Телевизионный кадр имеет определенное разрешение, установленное
нормами и стандартами, следовательно, можно найти ширину и высоту это
изображения. Тогда общее количество пикселей найдем по следующей
формуле:
29
n  h w,
(1.24)
где h – высота изображения;
w – ширина изображения.
Проводя аналогию с методом [51] Bср – это искомый порог яркости
( f 0 ). Были рассмотрены следующие функциональные зависимости,
позволяющие разделить все элементы по уровню яркости (рис. 1.15).
Рис. 1.15 – Ансамбль функциональных зависимостей
Ансамбль имеет следующий вид:
2
f(x)  D  e
5m
(x  Bср )
m
,
(1.25)
x
e 46 ,
g(x) 
y(x)  46  ln(x) ,
w(x)  10 2 x ,
2

(1.26)
(1.27)
(1.28)
x
e(x)  e
,
g ( x)  y ( x)
q(x) 
.
2
300
(1.29)
(1.30)
Наибольший интерес для нас представляет функция f  x  , которая
имеет следующий вид:
30
2
f(x)  D  e
5m
(x  Bср )
m
,
(1.31)
где D – максимальный уровень серого;
Bср – средний цвет изображения (порог яркости);
m – коэффициент пологости функциональной зависимости;
х – уровень серого.
Для корректной работы полученной зависимости коэффициент m
должен иметь только четные значения. В противном случае мы будем иметь
только одну ветвь (левую), что сыграет существенную роль в правильности
принятия решения.
Данная
функциональная
зависимость
позволяет
выделить
определенный интервал диапазона яркостей входного изображения. Детали,
не попавшие в интервал выделения, высветляются.
Применяя функцию порогового преобразования f  x  [55, 60] для
серии рис. 1.11 и рис. 1.12, получаем рис. 1.16 и рис. 1.17 соответственно.
Как видно, такое преобразование позволяет выделить интересующий нас
объект, но выделение получилось грубым, так как условия, предъявляемые к
пороговой функции, очень мягкие. Тем не менее, полученная
функциональная зависимость позволяет частично приблизиться к
идеальному решению.
Рис. 1.16 – Кадр n, после пороговой обработки
31
Рис. 1.17 – Кадр n+1, после пороговой обработки
Разность между кадрами находится довольно простым способом – это
разность между абсолютными значениями цвета соответствующих пикселей
исследуемых изображений [55, 70, 71]:
f ( x, y)  f n ( x, y)  f n 1 ( x, y) ,
(1.32)
где f n ( x, y ) – это значения цвета пикселя на кадре n с координатами (х,у),
f n1 ( x, y ) – это значения цвета пикселя на кадре n+1 с координатами (х,у).
Рис. 1.18 – Разность между кадрами n и n+1
Таким образом, мы получаем разностный кадр следующего вида (рис.
1.18). Оценивая рис. 1.13 и рис. 1.18, можно заметить существенные отличия
– это ярко выраженная интересующая разность и заметно сокращенная
избыточность.
Тем не менее, полученная разность между кадрами n и n+1 содержит
избыточный код битовой матрицы, количество содержащихся в ней уровней
8
серого равно 2 . Поэтому используется следующее преобразование, которое
более четко выделяет на фоне всего межразностного изображения область,
32
показывающую смещение объекта: представление межкадровой разности в
бинарном виде [72] (рис. 1.19).
Данное
преобразование
позволяет
не
только
сократить
информационную избыточность, но и оставить в нем только ту информацию,
которая нужна для решения поставленной задачи.
Однако шумовые составляющие (рис. 1.19) откладывают свой
отпечаток на конечный результат на всех этапах преобразований. Поэтому
необходимо использовать линейный фильтр [73, 74, 75], который не исказит
интересующую нас область, а наоборот удалит все скачкообразные области
(шум). В ходе исследований было решено использовать такой линейный
фильтр, который по заданному критерию восстановит наиболее правдиво
искаженное изображение. При этом он должен вносить минимальную
ошибку оценивания в каждой точке изображения. Реализация фильтра
складывается из следующих логических условий:
 исключение одиночных единичных и нулевых битов на бинарном
изображении по оси Х;
 исключение одиночных единичных и нулевых битов на бинарном
изображении по оси Y;
 исключение двойных единичных и нулевых битов на бинарном
изображении по оси Х;
Рис. 1.19. Разность между кадрами n и n+1 в бинарном виде
Применение подобного фильтра позволило получить изображение
(рис. 1.20) практически свободное от шума.
33
Рис. 1.20. Разность между кадрами n и n+1 в бинарном виде после
фильтрации
Для нахождения самого смещения, характеризующего скорость,
определялась
интегральная
ширины
криволинейной
трапеции.
Криволинейной трапецией наиболее четко отвечающей поставленной задаче
будет объект, состоящий из единичных битов ограниченных нулевыми.
Причем, таких объектов на конечном изображении может оказаться
неограниченное множество. Из этого множества выделяется фигура,
имеющая наибольшую площадь [76 – 81].
При анализе, не трудно заметить, что на полученном изображении
присутствует большое количество криволинейных объектов не нулевого
уровня яркости. Среди них находится тот объект, который отвечает за
параметр движения вагонов – это скорость. Одним из основных критериев
выборки является наибольшая длина участка xmax , имеющего единичную
высоту и заключенного между двумя нулевыми пикселями. Поэтому
необходимо и достаточно выбрать первые десять участков для последующего
анализа. Конечно же, эта выборка не дает возможность подвести итог.
Вторым параметром будет являться наибольший отрезок ymax n ,
направленным в перпендикулярном направлении и имеющего общую точку
пересечения с найденным. Таким образом, определяются линейные
параметры объектов.
На рис. 1.21 показан процесс поиска. Белыми линиями показаны
параметры криволинейных областей, не удовлетворяющих условию
наибольшей площади, а серыми (цвет линии отличен от цвета объекта) –
параметры области, отвечающей всем выше приведенным требованиям.
Поиск параметров необходим для оценки площади криволинейных
объектов (здесь под параметрами движения следует понимать наибольшее
значение высоты и ширины криволинейного объекта). Для определения
смещения протяженного объекта наиболее рационально получить
интегральное значение ширины выбранной криволинейной трапеции lср.
Как видно, lср является смещением изображения протяженного объекта s.
34
Рис. 1.21 – Поиск объекта с наибольшей площадью на
межразностном кадре
Недостатком описанной методики является высокая потребность в
вычислительных ресурсах, что не отвечает требованиям обработки сигналов
систем видеонаблюдения в реальном масштабе времени [82]. Неточность
позиционирования характерных областей изображения, возможные ошибки
нахождения расположения этих областей для определения смещения
изображения и скорости перемещения объекта не позволяет использовать
методику в реальных системах видеонаблюдения для измерения параметров
движения протяженных объектов.
1.6.
Перспективы развития направления
Во главе 1 показано, что существующие системы видеонаблюдения
не обладают функциями измерения параметров движения объектов. По
мнению таких компаний как IBM и Cisco, высказанному на конференции
Cisco Expo 2010 в ноябре 2010 года, измерение параметров движения
объектов является важным направлением развития систем видеонаблюдения.
Существующие алгоритмы и устройства измерения скорости объектов на
базе других принципов не обладают достаточным быстродействием,
масштабируемостью и точностью. Это ограничивает внедрение систем
видеонаблюдения в АСУ ТП, работающих в режиме реального времени.
Кроме того, в системах видеонаблюдения, число которых в стране
исчисляется десятками тысяч, важно эффективно использовать цифровые
каналы с малой шириной полосы пропускания за счет предобработки
видеосигналов для передачи данных о параметрах движения объектов.
Задача по разработке методов и алгоритмов, расширяющих
функциональные возможности систем видеонаблюдения, для измерения
35
параметров движения особенно усложняется в случае протяженных
объектов, когда размеры изображения выходят за пределы кадра.
В последующих главах монографии представлено описание методик
и алгоритмов, позволяющих расширить функциональные возможности
систем видеонаблюдения.
36
Глава 2 Методика измерения с обработкой совокупности строк
Данная методика [45] предполагает размещение средства регистрации
изображения (цифровой видеокамеры) так, как представлено на рис. 2.1. Ось
видеокамеры расположена перпендикулярно направлению движения
протяженного объекта.
Рис. 2.1 – Геометрическая модель съемки
Образ перемещаемого объекта (вагона или состава), находясь в
положении A1, регистрируется на цифровом изображении таким образом, что
точка объекта А1 отображается в точку изображения В1. Через определенное
время τ производится повторная регистрация объекта. В этот момент объект
находится в положении A2, и та же точка объекта, отмеченная на рисунке как
А2, отображается на цифровом изображении в точку В2. Цифровые
изображения подвижного состава, получаемые устройством регистрации R,
последовательно поступают на вычислительный блок С, осуществляющий
автоматический расчет параметров движения состава. Результаты
вычислений отправляются на удаленное вычислительное устройство
(ПЭВМ), цель которого – определение необходимости торможения и степени
воздействия на подвижный состав. Видеокамера или отдельная ПЗС-матрица
обеспечивают непосредственную регистрацию цифрового изображения,
которое передается в дальнейшем для обработки. В качестве изображения
может выступать либо двумерный массив зарегистрированных цифровых
данных (для видеокамеры или ПЗС-матрицы), либо одномерный массив
чисел, поступающих от ПЗС-линейки.
37
При измерении скорости движения железнодорожных вагонов на
сортировочной горке была принята упрощенная схема системы измерения и
передачи данных, включающая в себя следующие элементы:
 промышленную видеокамеру с IP-интерфейсом;
 ПЭВМ с Ethernet адаптером.
Основная содержательная часть обработки данных, полученных с
видеокамеры, включает в себя решение следующих задач:
 определение наличия объекта на текущем изображении;
 определение величины смещения изображения протяженного
объекта за период следования кадров;
 определение скорости движения объекта по измеренной величине
смещения изображения.
Представленные задачи отличаются как сложностью, так и методами
решения. Первая задача может быть решена за счет использования
дополнительных аппаратных средств регистрации наличия объекта в поле
зрения видеокамеры, поэтому в монографии не рассматривается. Вторая
задача требует привлечения методов обработки сигналов систем
видеонаблюдения. Третья – геометрических моделей съемки. Ниже
рассмотрены основные элементы решения второй задачи, т.к. именно она
определяет саму возможность (или невозможность) измерения скорости
движения протяженного объекта.
2.1 Определение наличия протяженного объекта в зоне действия
системы видеонаблюдения
Специфика данной задачи выражается в следующих предположениях
относительно объекта и фона [30]:
 объект находится в зоне наблюдения значительное время, на
протяжении которого может, как перемещаться, так и оставаться
неподвижным;
 перемещение различных частей объекта на изображении
согласовано, но может происходить с различными скоростями, например, изза различного расстояния от элементов объекта до датчика изображения;
 поскольку наблюдение ведется в реальных условиях, в том числе
ночью, алгоритм выделения должен успешно работать при отсутствии
информации о цвете, то есть по черно-белому изображению.
Выделение объекта включает два этапа: классификацию пикселей
изображения по принадлежности фону или объектам, а также селекцию
объектов по характерным признакам (размеры, форма, направление
движения, время нахождения в зоне наблюдения), позволяющую выделять
только те специфические объекты, для контроля которых предназначена
интеллектуальная система. Например, в системе дистанционного осмотра
грузового подвижного состава железных дорог объектом интереса выступает
38
состав, движущийся по определенному пути в определенном направлении,
тогда как другие объекты (люди, животные, а также поезда, идущие по
соседним путям) являются помехами.
В основе предложенного алгоритма [28, 29] выделения лежит идея
сравнения поступающего сигнала со статистической моделью фона,
сформированной тем или иным способом. Важными свойствами такого
подхода являются возможность выделять как подвижные, так и неподвижные
объекты, а также отсутствие ограничений на форму и текстуру объекта. При
этом сигналы от объекта и фона должны быть статистически различимыми.
Во многих известных алгоритмах [30] при моделировании фона
пренебрегают корреляцией между соседними отсчетами изображения, что
существенно упрощает вычисления. Показано, что точность сегментации в
этом случае резко падает, если значительная часть пикселей объекта
совпадает по яркости с фоном. Для протяженных объектов такая ситуация
типична. Повышение точности выделения может быть достигнуто введением
в модель фона статистической связи между яркостью соседних пикселей. В
этом случае фрагмент изображения фона рассматривается как N-мерный
случайный вектор x с гауссовой условной плотностью вероятности [84 – 87].
px ф  

1
2 
N
2

1
e
1
x μ T  1 x μ 
2
(2.1)
2
где µ – вектор средних значений, оценка которого может быть получена на
основе авторегрессионного моделирования,
Σ – ковариационная матрица процесса.
Величина N выбирается исходя из размеров окрестности, в пределах
которой предполагается наличие корреляционных связей, и составляет [88]
не менее 64 (фрагмент 8×8 пикселей). Преобразование двумерного массива
отсчетов в вектор осуществляется путем развертки по столбцам.
Такой способ моделирования фона малопригоден в системах
реального времени из-за существенных вычислительных затрат (требуется
многократное вычисление и обращение заполненной ковариационной
матрицы). Эффективным способом понижения размерности модели является
применение линейных преобразований [89]. С точки зрения концентрации
энергии сигнала в небольшом количестве коэффициентов обобщенного
спектра
оптимальным
является
преобразование
Карунена-Лоэва,
коэффициенты которого вычисляются как:
yi  xΦi , i  1...N ,
(2.2)
где Φ – собственные векторы ковариационной матрицы входного сигнала:
Σ xΦi  iΦi , Σ x  X  X  X  X  .
T
(2.3)
Предложено [64,77,90] использовать для приближенного вычисления
преобразования Карунена-Лоэва рекуррентный вариант метода главных
компонент, позволяющий в реальном масштабе времени вычислять базисные
функции для каждого участка изображения фона и строить модель на их
39
основе. Вычисления осуществляются с помощью однослойной линейной
нейронной сети с обратной связью. Выходной сигнал сети определяется
выражением
N
j 1
y j   w i xi   ai y j , j  1...M ,
i 1
(2.4)
j 1
где w – коэффициенты прямой связи, a – коэффициенты обратной
связи, M – число главных компонент. Подстройка коэффициентов
выполняется по формулам
j


wi , j  y j xi   wi , k y k  ,
k 1


j


ai , j  y j y j 1   wi , k y k  ,
k 1


(2.5)
(2.6)
где η – норма обучения. Малая величина нормы обучения гарантирует
сходимость коэффициентов w к координатам собственных векторов
ковариационной матрицы входного сигнала. Совокупность базисных
функций и коэффициентов разложения входного сигнала образует модель
невысокой размерности (показано [90], что для блоков 16×16 пикселей
достаточно использовать 6-8 главных компонент). Базисные векторы
автоматически адаптируется при медленных изменениях входного сигнала.
Для адаптации коэффициентов разложения используется линейное
предсказание.
Ошибка предсказания участков фона по сформированной модели
представляет собой малую случайную величину, некоррелированную со
входным сигналом:
(2.7)
  x  Wy, W  w1, w2...wM 
Статистический анализ ошибки предсказания позволяет оценить ее
дисперсию, которая мало зависит от характера изображения и определяется,
в основном, отношением сигнал-шум. Выделение объекта происходит на тех
участках изображения, где ошибка предсказания выходит из доверительного
интервала. Показано [31], что на сложном фоне ε имеет дисперсию на
порядок меньше, чем соответствующая ошибка предсказания по
авторегрессионной модели, что позволяет снизить порог обнаружения
объекта.
Эксперименты с изображениями реальных и синтезированных сцен,
содержащими протяженные объекты, позволяют сделать вывод о том, что
для таких изображений, при наличии сложного нестационарного фона,
использование алгоритма на основе метода главных компонент [91, 92] более
эффективно по сравнению с рядом существующих алгоритмов адаптивной
компенсации фона. Вероятность правильной классификации пикселей
изображения по принадлежности объекту и фону составила более 99% при
вероятности ложной тревоги 4% и пиковом отношении сигнал-шум выше 34
40
дБ. Заключительным этапом выделения является селекция объектов по
характерным признакам. Для протяженных объектов это могут быть площадь
и направление движения. Если никакого движения не наблюдается, то
система на выходе дает уровень близкий к нулю.
С использованием описанных выше алгоритмов [30] было
разработано программное обеспечение, позволяющее идентифицировать
появление протяженного объекта в зоне наблюдения. На рис. 2.2 показан
резкий всплеск уровня яркости, который вызван появлением объекта в кадре
системы видеонаблюдения.
Рис. 2.2 – График обнаружения движения
Разработанное программное обеспечение позволило фиксировать
появление протяженного объекта в зоне действия видеокамеры, определять
его границы и запускать программное обеспечение по измерению параметров
движения объекта.
2.2 Методика измерения смещения по строкам высотой 1 пиксель
Данная методика предполагает сравнение одинаковых строк высотой
в один пиксель двух смежных кадров. Поэтому потребность в
вычислительных ресурсах будет минимально, а быстродействие – очень
высокое.
Так как стоит задача в рассмотрении идеализированного объекта, то
будем полагать, что все внешние источники помех отсутствуют [93, 94],
тогда сигнал видеоизображения можно записать в следующем виде:
(2.8)
Z t   st , bt .
Итак, требуется определение величины смещения объекта по
смежной паре кадров системы видеонаблюдения.
Два последовательных изображения идеализированный системы
видеонаблюдения без учета внешних факторов (рис. 2.3, 2.4) представляют
41
собой временные функции s n t , bt  и sn 1t   , bt    [95, 96], где τ –
это интервал смены кадров. Кадры видеоизображений по своим параметрам
близки к идеальным: идеальная дорога, отсутствие атмосферных помех,
вибрации объекта и видеокамеры.
Рис. 2.3 – Кадр n
Рис. 2.4 – Кадр n+1
Обработка всего кадра требует значительных вычислительных
ресурсов, поэтому рассмотрен вариант, когда обработке подвергается строка
высотой всего лишь в один пиксель. При этом временная функция имеет
следующий вид:
Z ty  s ty , b ty .
(2.9)
    
где t y – временной интервал, соответствующий горизонтальной строке
высотой 1 пиксель (рис. 2.5).
42
Рис. 2.5 – Кадр n+1 с выделенной горизонтальной полосой высотой 1
пиксель
Представление функции (2.9) в графическом виде показывает уровень
яркости каждого пикселя выделенной горизонтальной строки (рис. 2.6)
Рис. 2.6 – Уровень яркости выделенной горизонтальной полосой высотой 1
пиксель на кадре n
Аналогично выделяется горизонтальная полоса высотой 1 пиксель на
кадре n+1, графическое представление которой приведено на рис. 2.7:
Рис.2.7 – Уровень яркости выделенной горизонтальной полосой высотой 1
пиксель на кадре n+1
43
Визуально можно определить, что графики коррелированы между
собой, или другими словами, значение структурной функции между ними
при определенном значении смещения будет минимальным.
Для поиска смещения кадра n+1 относительного кадра n возможно
использовать несколько способов:
 определение максимума корреляционной функции;
 определение минимума структурной функции.
Графически зависимость корреляционной функции от смещения выглядит
следующим образом (рис. 2.8
рис. ):
Рис. 2.8 – Зависимость корреляционной функции от смещения
Как видно из графика при величине смещения, стремящегося к
значению 27, функция стремится и достигает максимального значения – 1.
Структурная функция в общем виде определяется следующим
образом:


S s   M  X t   Y t  s 2 ,
(2.10)
где X и Y – случайные величины.
Графически зависимость структурной
выглядит следующим образом (рис. 2.9):
44
функции
от
смещения
Рис. 2.9 – Зависимость структурной функции от смещения
Как видно из графика при смещении, стремящегося к значению 44,
структурная функция стремится и достигает минимального значения – 0, при
отсутствии шума.
В реальной ситуации на изображении протяженного объекта
присутствуют шумы различного происхождения [95, 96]. Сигнал системы
видеонаблюдения ut , bt  является некоторой функцией передаваемого
сообщения bt  и на входе приемника представляет собой сумму полезного
сигнала st , bt  и шума N t  :
Z t   st , bt   N t  .
(2.11)
Шум N t  будем здесь предполагать стационарным гауссовским
[99, 100] процессом с односторонней спектральной плотностью N 0 .
Далее рассмотрено применение полученной методики в реальных
системах видеонаблюдения, которые с точки зрения моделирования очень
сильно отличаются от идеализированных. Дополнительно к белому
гауссовскому шуму N t  добавляются такие источники помех, как вибрация
видеокамеры, вибрация протяженного объекта во время движения,
природные источники шума (снег, дождь, туман) и т.д.
На рис. 2.10, 2.11 представлены два смежных кадра из фрагмента
видеофайла, который отображает движение вагонов.
В основе метода лежит обработка только части изображения,
горизонтальной строки высотой 1 пиксель. Такой подход позволяет
существенно сэкономить вычислительные ресурсы, что позволяет за время
смены кадров произвести ряд дополнительных операций над данными.
45
Рис. 2.10 – Кадр n с выделенной горизонтальной полосой высотой 1 пиксель
Рис. 2.11 – Кадр n+1 с выделенной горизонтальной полосой высотой 1
пиксель
Для дальнейшего анализа представим выделенную строку в виде
столбчатой диаграммы уровней яркости, по оси ординат которой показаны
уровни яркости пикселей с координатой x (см. рис. 2.12, 2.13).
Рис. 2.12 –Уровень яркости для кадра n
46
Рис. 2.13 –Уровень яркости для кадра n+1
Несложно заметить, что на представленных диаграммах есть ярко
выраженные совпадения (выделены кружками) и трудноразличимые
совпадения (выделены прямоугольниками). Построим столбчатые диаграммы
для корреляционной функции и совпадения (см. рис. 2.14, 2.15).
Рис. 2.14 – Зависимость корреляционной функции от смещения
Рис. 2.15 – Зависимость структурной функции от смещения
47
Из рисунков следует, что коэффициент корреляции имеет
максимальные значения при смещении изображения объекта на 10 и 60
пикселей, а структурной функции имеет минимальные значения при
смещении 10 и 40 пикселей. Это говорит о том, что влияние внешних помех
приводит к определению не только правильного значения смещения (10
пикселей), но и ошибочных значений (40 и 60 пикселей). Результат
подчеркивает, что влияние внешних помех является очень сильным.
Шумовые составляющие (вибрация объекта и видеокамеры, дождь,
снег) очень сильно влияют на получение правильного результата [101, 102].
Поэтому не представляется возможным использовать методику обработки
горизонтальной строки высотой 1 пиксель в реальных условиях для
расширения функциональных возможностей систем видеонаблюдения по
определению скорости движения протяженных объектов.
2.3 Методика измерения смещения по совокупности строк изображения
Рассмотренные ранее методики измерения смещения изображения
протяженного объекта [3, 33, 34] характеризуются рядом недостатков,
которые обуславливаются высокой потребностью вычислительных ресурсов,
а так же высокой погрешностью измерения. Поэтому был предложена
методика обработки совокупности горизонтальных строк высотой m
пикселей [50].
Способ предполагает анализ двух последовательных кадров
протяженного объекта. На модели (см. рис. 2.16, 2.17) за период следований
кадров изображение объекта смещается на некоторую величину s, которую
необходимо определить для измерения параметров движения протяженного
объекта (см. выражения (1.1) и (1.2)).
В границах протяженного объекта выделяется совокупность
горизонтальных строк m по всей длине кадра (см. рис. 2.18, 2.19). Обработка
совокупности строк высотой m пикселей, вместо целого кадра, дает
существенную экономию вычислительных ресурсов, что позволяет работать
программному обеспечению в режиме реального времени.
Рис. 2.16 – Кадр n
48
Рис. 2.17 – Кадр n+1
При размере кадра x×y пикселей, получаемую матрицу изображения
можно записать в виде матричной функции следующего вида:
f ( x, y ) 
f11
f 21
f12
f 22


f x1
f x2



f1 y
f2 y


(2.12)
f xy
где f xy  это значение уровня яркости пикселя.
Рис. 2.18 – Кадр n с выделенной совокупностью строк
49
Рис. 2.19 – Кадр n+1 с выделенной совокупностью строк
Для анализа выделенной совокупности строк высотой m пикселей
воспользуемся функцией, позволяющей определить суммарный уровень
яркости (СУЯ) каждого столбца высотой m и шириной 1 пиксель, которая
имеет следующий общий вид:
F x  
ym
 f  x, y 
(2.13)
y  y0
Таким образом, для каждой совокупности строк получено следующее
представление суммарного уровня яркости каждого столбца в зависимости от
координаты X (см. рис. 2.20, 2.21). Этот суммарный уровень яркости
представляет собой столбчатую диаграмму уровней яркости по всей длине
кадра.
Рис. 2.20 – Суммарный уровень яркости для кадра n
50
Рис. 2.21 – Суммарный уровень яркости для кадра n+1
Смещение столбчатых диаграмм характеризует перемещение объекта
за период следований кадров.
Для поиска смещения одной столбчатой диаграммы относительного
другой возможно использовать несколько способов:
 определение максимума корреляционной функции;
 определение минимума структурной функции.
Рассмотрим поиск смещения с помощью корреляционной функции
Пирсона [103]. Для этого воспользуемся формулой:
Корреляционная функция в общем виде:
K s  
M X t   Y t  s   M X t   M Y t  s 
  X t    Y t  s 
,
(2.14)
где X(t) и Y(t) – случайные процессы;
M[X(t)] – математическое ожидание;
σ(X(t)) – среднеквадратическое отклонение.
В нашем случае, при t=x, случайные процессы X (t )  Fn  x  и
Y (t )  Fn 1 x  s  имеют дискретное равномерное распределение, т.е.
1
P X (t )  Fn  xd   ,
d
где Fn  x  и Fn 1  x  s  – функции суммарного уровня яркости для кадров n
и n+1 соответственно;
s – величина смещения функций суммарного уровня яркости для кадров n и
n+1 относительно друг друга, которая характеризует скорость движения
объекта.
После преобразования корреляционная функция (2.14) примет вид:
K n s  
M Fn  x   Fn 1  x  s   M Fn  x   M Fn 1  x  s 
,
 Fn  x   Fn 1 x  s 
51
(2.15)
Раскрыв математическое
отклонение, получим:
xd
xd
 Fn ( x) Fn 1 ( x  s)
x  x0
xd
 Fn ( x)
2
x  x0
x d  x0
2
 xd

  Fn ( x) 
 xx

 0
 
 x d  x0 




и
среднеквадратическое
xd
 Fn ( x)
 Fn 1 ( x  s)
x  x0

x d  x0
K n ( s) 
ожидание

x d  x0
,
x  x0
(2.16)
x d  x0
xd
 Fn 1 ( x  s)
2
x  x0
x d  x0
 xd

  Fn 1 ( x  s) 
 x x

 0

x d  x0






2
где x2  x1 – это ширина изображения.
После упрощения (2.16) получим следующее выражение,
описывающее корреляционную функцию между столбчатыми диаграммами:
xd
 x0 
xd
 x0 
 Fn ( x)
x  x0
 Fn ( x)Fn 1 ( x  s) 
x  x0
K n ( s) 
xd
xd
2
 xd

   Fn ( x) 
 xx

 0

xd
 Fn ( x) 
x  x0
2
xd
 x0 
xd
xd
 Fn 1 ( x  s)
 Fn 1 ( x  s)
x  x0
(2.17)
x  x0
2
 xd

   Fn 1 ( x  s) 
 xx

 0

2
Графически зависимость корреляционной функции от смещения
выглядит следующим образом (рис. 2.22):
Рис. 2.22 – Зависимость корреляционной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 45-47 пикселей функция стремится к максимальному значению – 1.
Таким образом, можно определять смещение протяженного объекта
за период следований кадров, а, следовательно, скорость движения объекта.
Использование структурной функции, которая в общем виде
определяется следующим образом:


S s   M  X t   Y t  s 2 ,
(2.18)
где X(t) и Y(t) – случайные процессы.
При минимальном различии параметров случайных процессов
структурная функция будет стремиться к нулю.
52
В нашем случае, при t=x, случайные процессы X t   Fn  x  и
Y t   Fn 1 x  s  , тогда выражение (2.18) примет вид:
1
S n s  
xd
xd
 Fn x   Fn 1x  s 2 ,
(2.19)
x  x0
Графически зависимость структурной функции от смещения
изображения протяженного объекта (см. рис. 2.18, 2.19) выглядит
следующим образом (рис. 2.23).
Рис. 2.23 – Зависимость структурной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 45-47 пикселей функция стремится к минимальному значению – 0,
что соответствует результату,
полученному при использовании
корреляционной функции. Однако, функция (2.19) является более гладкой по
сравнению с корреляционной функцией (2.17), что снижает вероятность
ошибки. Причем это различие для разных объектов может и не быть.
Поэтому необходимо эти функции анализировать для конкретных объектов.
Для представленных кадров n и n+1 (см. рис. 2.16, 2.17) является искомым
смещением.
Матрицы ПЗС с каждым годом имеют все большую и большую
плотность элементов, поэтому в предельном случае при устремлении шага
всех дискретных переменных к нулю, можно перейти к интегральному
исчислению [45], а, следовательно, можно функцию изображения f xy
представить в виде пространственно-временной функции сигнала
видеосистем:
(2.20)
f x(t ), y(t ) .
Проводя
аналогию
с
математическими
выкладками
для
последовательности кадров, получаем функцию суммарного уровня яркости:
F  xt  
ym
 f xt , yt yt 
(2.21)
y0
53
Для простоты Fn  xt  – это функция суммарного уровня яркости
для первого кадра, а Fn 1  xt  – для второго кадра через интервал времени
τ. После определения функций суммарного уровня яркости, можно перейти к
структурной функции:
S n s  
1
Fn xt   Fn 1xt   s 2xt ,

xx
(2.22)
где s – это величина, с которым происходит сдвиг
Fn  xt 
относительно функции Fn 1  xt , описывающий смещение изображения
объекта.
Функцию (2.22) можно привести к виду, в которой будет выражаться
зависимость
пространственно-временных
функций
двух
смежных
изображений:
2
ym
 ym

 f  xt , yt yt   f xt   s, yt yt  xt  (2.23)
 n
 n 1

x0  y 0
y0

Так как пределы интегрирования для пространственно-временных
функций изображений f n  xt , yt  и f n 1 xt   s, yt  одинаковые, то
можно объединить два подынтегральных выражения:
xd y m
1
(2.24)
 f n xt , yt   f n 1 xt   s, yt 2 yt xt 
S n s  


xd  x0 x y
1
S n s  
xd  x0
xd
0
0
Таким образом, предлагаемое преобразование может быть
использовано совместно с устройствами видеорегистрации, плотность
матриц которых настолько большая, что шаг всех дискретных переменных
стремится к нулю.
2.4 Параметры прямоугольной области
На ранее представленных кадрах (см.рис. 2.16, 2.17) совокупность
анализируемых строк выделялась по всей высоте изображения протяженного
объекта, что требует при обработке больших вычислительных ресурсов.
Поэтому следует рассмотреть возможность обработки выделенной
прямоугольной области md в границах изображения протяженного объекта
(см. рис. 2.24).
54
Рис. 2.24 – Кадр n+1 с выделенным блоком md
Выделенной прямоугольной области соответствует участок на
столбчатой
диаграмме
уровней
яркости
(см. рис. 2.25), ограниченный вертикальными линиями. Для поиска смещение
изображения протяженного объекта введено понятие эквивалентной
прямоугольной области.
Прямоугольная эквивалентная область – это такая область на
последующем кадре n+1, для которой структурная функция относительно
выделенной прямоугольной области на кадре n достигает минимума.
Рис. 2.25 – Суммарный уровень яркости для кадра n+1 с выделенным
участком для прямоугольной области md
Для поиска эквивалентной прямоугольной области на кадре n+1
воспользуемся способами, описанными ранее:
 определение
максимума
корреляционной
функции (2.17);
 определение
минимума
структурной
функции (2.19).
55
Графически зависимость корреляционной функции от смещения
выглядит следующим образом (см. рис. 2.26).
Рис. 2.26 – Зависимость корреляционной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 45-47 пикселей функция стремится к максимальному значению – 1.
Таким образом, по корреляционной функции можно определять
смещение выделенной прямоугольной области протяженного объекта за
период следований кадров, а, следовательно, скорость движения объекта.
Графически зависимость структурной функции от смещения
изображения протяженного объекта выглядит следующим образом (см. рис.
2.27).
Рис. 2.27 – Зависимость структурной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 45-47 пикселей структурная функция стремится к минимальному
значению – 0, что соответствует результату, полученному при использовании
корреляционной функции.
Видно, что столбчатые диаграммы корреляционной (см. рис. 2.26) и
корреляционной (см. рис. 2.27) функции различаются в зависимости от
анализируемой области. Чем меньше размер анализируемой области, тем
выше быстродействие и требуется меньше вычислительных ресурсов, но
возрастает влияние помех. Поэтому для оптимизации вычислительных
56
ресурсов при погрешности не превышающей допустимую необходимо
определить оптимальные размеры прямоугольной области, путем
уменьшения высоты и ширины выделенной совокупности горизонтальных
строк.
Для поиска оптимальных размеров прямоугольной области
проводился вычислительный эксперимент, которые включал следующие
этапы:
 анализировался
набор
последовательных
кадров;
для
полученного набора производился расчет смещения изображения
протяженного объекта; полученные значения смещения использовались в
качестве образцовых для сравнения в рамках эксперимента;
 для
определения
оптимальной
ширины
выделенной
прямоугольной области фиксировалась высота, равная величине m пикселей.
Значение ширины выделенной области изменялось с шагом в один пиксель.
При малых значениях ширины выявлено сильное влияние помех,
выражающееся в получении аномальных результатов смещения
протяженного объекта. При значении ширины более 25 пикселей
наблюдалось,
что
результаты
смещения
протяженного
объекта
соответствуют эталонным значениям (см. рис. 2.28). На указанном рисунке
по оси ординат приведено значение смещения изображения протяженного
объекта, а оси абсцисс ширина выделенной прямоугольной области;
 для
определения
оптимальной
высоты
выделенной
прямоугольной области фиксировалась ширина, определенная на
предыдущем шаге. Значение высоты выделенной области изменялось с
шагом в один пиксель. При малых значениях высоты так же выявлены
аномальные ошибки. При значении высоты более 25 пикселей наблюдалась
стабилизация результатов (см. рис. 2.29). На указанном рисунке по оси
абсцисс приведена ширина выделенной прямоугольной области.
Рис. 2.28 – Зависимость смещения от высоты
выделенной прямоугольной области
57
Рис. 2.29 – Зависимость смещения от ширины
выделенной прямоугольной области
В результате данного исследования было выявлено, что для
выбранного набора последовательных кадров размер выделенной
прямоугольной области 2525 пикселей является рациональными при
использовании вычислительных ресурсов. Однако следует заметить, что для
других протяженных объектов размер анализируемой области будет разным,
поскольку это определяется законами распределения яркости каждого
конкретного протяженного объекта.
Для определения насколько сильно могут изменяться размеры, были
проведены эксперименты с различными объектами. Так, например, для
цистерны параметры анализируемой области составляли 3030 пикселей (см.
рис. 2.30, 2.31)
Рис. 2.30 – Зависимость смещения от высоты
выделенной прямоугольной области
58
Рис. 2.31 – Зависимость смещения от ширины
выделенной прямоугольной области
Как видно, различие между параметрами прямоугольных областей
получается не существенным, что позволяет повысить эффективность
использования вычислительных ресурсов, например, при разрешении кадра
320240, более чем в 100 раз.
Для поиска оптимальных размеров прямоугольной области md была
произведена обработка порядка 10 часов видеоматериала, которая включала
следующие этапы:
 анализировался
набор
последовательных
кадров.
Для
полученного набора производился расчет смещения изображения
протяженного объекта по всей длине строки. Полученные значения
смещения использовались в качестве образцовых.
 для
определения
оптимальной
ширины
выделенной
прямоугольной области фиксировалась высота, равная величине m пикселей.
Значение ширины выделенной области изменялось с шагом в один пиксель.
При малых значениях ширины выявлено сильное влияние помех,
выражающееся в получении аномальных результатов смещения
протяженного объекта. При значении ширины более 30 пикселей
наблюдалось,
что
результаты
смещения
протяженного
объекта
соответствуют образцовым значениям (рис. 2.32). На указанном рисунке по
оси ординат приведено значение смещения изображения протяженного
объекта, а оси абсцисс ширина выделенной прямоугольной области.
 для
определения
оптимальной
высоты
выделенной
прямоугольной области фиксировалась ширина, определенная на
предыдущем шаге. Значение высоты выделенной области изменялось с
шагом в один пиксель. При малых значениях высоты так же выявлены
аномальные ошибки. При значении высоты более 30 пикселей наблюдалась
стабилизация результатов (рис. 2.33). На указанном рисунке по оси абсцисс
приведена ширина выделенной прямоугольной области.
59
Рис. 2.32 – Область распределения величины высоты
Рис. 2.33 – Область распределения величины высоты
Предложенная методика определения оптимальных параметров
прямоугольной области позволяет повысить быстродействие системы на
несколько порядков, что позволяет наиболее оптимально использовать
вычислительные ресурсы.
60
Глава 3 Алгоритмы повышения точности
3.1 Оценка результатов измерений
Результат всякого измерения всегда содержит некоторую
погрешность [104]. Поэтому в задачу измерений входит не только
нахождение самой величины, но также и оценка допущенной при измерении
погрешности.
При обработке результатов измерений предлагается использовать
следующий порядок операций.
При прямых (непосредственных) измерениях.
1. Вычисляется среднее из n измерений смещения изображения
протяженного объекта:
1 n
s   si .
n i 1
2.
Определяется
среднеквадратичная
арифметического:
n
 s
i 1
Sсп 
(3.1)
погрешность
среднего
 si 
nn  1
2
.
(3.2)
3. Задается доверительная вероятность a и определяется коэффициент
Стьюдента t  , n для заданного a и числа произведенных измерений
n.
4. Находится полуширина доверительного интервала (абсолютная
погрешность результата измерений):
2
2
, где sсл  t , n  Sсп
s  sсл
 sсист
(3.3)
5. Оценивается относительная погрешность результата измерений

s
s
(3.4)
6. Окончательный результат записывается в виде:
s  s  s
(3.5)
Для оценки измеряемой скорости и случайной составляющей
погрешности на кадре n+1 было рассмотрено 10 прямоугольных областей
протяженного объекта (см. рис. 3.1).
61
1
2
1
1
1
1
1
2
1
3
1
1
1
0
1
1
1
3
1
2
Рис. 3.1 – Кадр n+1 с 10-ю прямоугольными областями
Пусть на репрезентативной выборке объема n производится
измерение смещения s изображения протяженного объекта. Результаты
измерений сводятся в таблицу, которая называется таблицей
экспериментальных данных, после чего эти данные подвергаются анализу. В
качестве результата измерения указывается смещение изображения
протяженного объекта за время смены кадров.
Табл. 3.1 – Хроника измерений
Порядковый
номер
1
Смещение «s»
12 11 11 12 12 11 11 10 13 13
2
3
4
5
6
7
8
9
10
Среднее значение для полученной выборки получается равным:
1 n
s   si  10,2 .
n i 1
Среднеквадратическая погрешность:
n
Sсп 
 s
i 1
 si 
2
nn  1
 0,33
Примем, что систематическая погрешность минимальна и поэтому
пренебрежём ее. Для расчета случайной погрешности примем а  0,99 , а
t , n  3,3 при количестве измерений равном 10. Таким образом, величина
суммарной погрешности будет равна:
s  sсл  t , n  Sсп  1,08 .
Относительная погрешность в свою очередь будет равна:

s
 0,11
s
62
Для измерительной техники величина относительной погрешности
равной 11% является недопустимой.
Для уменьшения погрешности можно, увеличить количество
измерений в единицу времени. Так, например, при количестве измерений
равным 20 (см. рис. 3.2), величина относительной погрешности уменьшается
до 7%, тем не менее – это все равно много. Можно и далее увеличивать
количество измерений и снижать погрешность, но в результате будет
достигнут предел вычислительных ресурсов [105], что скажется на
результативности системы, работающей в режиме реального времени.
0
0
1
1
9
0
1
19
1
1
1
1
1
2
1
1
1
3
1
1
9
0
1
0
9
0
9
0
1
1
1
1
1
1
Рис. 3.2 – Кадр n+1 с несколькими прямоугольными областями
Далее производится оценка полученных результатов многочленами 2ой и 4-ой степеней с использованием метода наименьших квадратов. При
наличии значительного числа экспериментальных точек сглаживание с
помощью многочленной интерполяции не имеет смысла не только из-за
неустойчивости (локальных выбросов) интерполирующей функции, но и изза сильного колебания заданных точек. Способы локальной интерполяции,
например, с помощью сплайнов [106], также не дают приемлемых
результатов.
В этом случае дискретно заданную функцию сглаживают в среднем,
чаще всего многочленом, коэффициенты которого находят с помощью
минимизации отклонения сглаживающей функции от заданных точек в
некотором средне интегральном смысле (см. рис. 3.6).
63
Рис. 3.3 – К методу наименьших квадратов
Одним из таких методов является метод наименьших квадратов
(МНК) [107-113]. Суть его заключается в следующем.
Пусть дана экспериментальная таблица (см. табл. 3.2).
Табл. 3.2 – Таблица с результатами экспериментов
xi
x1
x2 …
xn
yi
y1 y 2 …
yn
Поставим ей в соответствие функцию вида:
F x, a0 , a1,..., am   a00 x   a11x   ...  amm x  ,
(3.6)
где  j  x  , j  1, m – базисные функции, a j – коэффициенты, подлежащие
определению. В частности, если в качестве базисных функций использовать
степенные  j  x   x j , задача сводится к поиску полинома степени m
(m<<n), приближающего исходную таблицу:
F  x, a0 , a1,..., am   a0  a1x  ...  am x m .
(3.7)
С целью определения коэффициентов будем искать такую функцию
F  x, a0 , a1,..., am  , отклонение значений которой от заданных табл. 3.2
значений y i , i  1, n минимально в некотором средне интегральном смысле.
В точечном методе наименьших квадратов строится функционал:
n
S  x, a0 , a1,..., am    F  xi , a0 , a1,..., am   yi 2 ,
(3.8)
i 0
который представляет собой сумму квадратов отклонений значений y i от
значений аппроксимирующей функции (3.6) в точках xi , i  1, n .
Необходимым условием минимума функции многих переменных
является равенство нулю ее частных производных первого порядка по
64
независимым переменным. В функционале (3.8) такими независимыми
переменными являются коэффициенты a 0 , a1 ,..., a m разложения (3.6),
которые до их определения являются не постоянными, а варьируемыми
переменными.
n
 S
 a  2 F  xi , a0 , a1,..., am   yi 0  xi   0
i 0
 0
n
S


 2 F  xi , a0 , a1,..., am   yi 1  xi   0
 a1
i 0
 ....................................................................
 S
n

 2 F  xi , a0 , a1,..., am   yi m  xi   0

i 0
 am
(3.9)
Система (3.9) представляет собой систему линейных алгебраических
уравнений (СЛАУ) порядка m+1 относительно неизвестных a0 , a1,..., am . Ее
матрица является симметрической и положительно определенной. Решения
a0 , a1,..., am доставляют минимум функционалу (3.8).
Введем в рассмотрение следующие объекты:
 матрицу Ф размерности n  1  m  1, содержащую значения
базисных функций в узлах таблицы  j  xi  ,
 0  x0  1  x0 

   x  1  x1 
Ф 0 1
...
...

 0  xn  1  xn 

... m  x0 

... m  x1  
,
...
... 

... m  xn 
(3.10)
вектор наблюдения y размерности n+1, содержащий табличные
значения y i , y   y0 , y1,..., yn 
 искомый вектор коэффициентов
T
a  a0 , a1,..., am 
а
размерности
m+1,
T
Тогда СЛАУ (3.9) может быть представлена в виде:
a   ,
(3.11)
где   Ф Ф ,   Ф y .
Решение данной СЛАУ может быть осуществлено любым из
известных методов. Подставляя найденные в результате решения СЛАУ
значения a0 , a1,..., am в (3.18), получаем непрерывную функцию F  x  ,
наилучшим
образом
приближающую
дискретную
функцию
в
среднеквадратическом смысле.
Качество такого приближения может быть оценено, например,
величиной среднеквадратичного отклонения [114, 115]:
T
T
65
1/ 2
 1 n
2




  
F
x

y
 i i 
n

1


i 0
(3.12)
Величина  показывает интервал, внутри которого с вероятностью,
близкой к 100% находится неизвестное истинное значение меры.
Применим
точечный
метод
наименьших
квадратов
для
экспериментально полученных данных
[117-119].
Аппроксимация
производится полиномом четвертой степеней. Это обусловлено характерным
распределением дискретных отчетов по параболе со встречающимися
перегибами в окрестности минимума.
В табл. 3.3 представлены результаты экспериментов c
использованием формулы структурной функции (2.19).
Табл. 3.3 – Результат измерений
Величина Значение структурной функции S(s)
s
1-ый блок
2-ой
3-ий
4-ый
блок
блок
блок
6.
185,51
32,35
25,42
485,74
7.
156,10
19,00
18,75
469,54
8.
116,10
12,33
12,61
356,11
9.
74,87
6,43
7,71
219,06
10.
40,25
3,14
4,09
103,36
11.
10,46
1,59
2,50
18,17
12.
1,95
1,67
3,21
9,13
13.
23,57
3,40
5,55
85,29
14.
55,29
5,97
9,05
205,62
15.
94,00
9,09
13,51
351,68
16.
136,76
12,37
18,74
512,47
17.
173,75
15,99
24,71
660,41
18.
202,31
19,20
30,36
774,17
66
Табл. 3.3 – Результат измерений (продолжение)
Величина Значение структурной функции S(s)
s
5-ый блок
6-ой
7-ой
8-ой
блок
блок
блок
6.
111,72
73,70
63,66
326,27
7.
94,39
48,87
52,90
149,49
8.
72,42
24,42
34,63
28,96
9.
46,69
6,82
15,81
13,07
10.
15,19
2,35
4,77
113,97
11.
1,91
13,27
6,92
289,45
12.
24,17
34,41
23,03
501,87
13.
60,11
59,85
48,92
720,20
14.
95,05
82,44
78,59
909,71
15.
133,68
99,37
105,75
1050,60
16.
168,45
109,56
125,78
1147,79
17.
111,72
73,70
63,66
326,27
18.
94,39
48,87
52,90
149,49
Величина
s
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
Табл. 3.3 – Результат измерений (продолжение)
Значение структурной функции S(s)
9-ый блок
10-ый блок
20,67
16,68
12,48
8,53
5,17
2,43
0,87
1,73
4,68
8,76
13,63
18,41
20,67
10,40
7,73
5,68
3,66
1,99
1,07
0,78
1,07
1,93
3,16
4,25
5,01
10,40
F  x, a0 , a1, a2 , a3 , a4   a0  a1x  a2 x 2  a3 x3  a4 x 4 ,
2
4
т.е.  0  x   1, 1 x   x , 2  x   x , 3  x   x , 4  x   x .
Матрица Ф принимает вид:
3
67
(3.13)
 0  x0  1  x0  ...

   x  1  x1  ...
Ф 0 1
...
...
...

 0  x10  1  x10  ...
1 x 0 x 02 x 03

1 x1 x12 x13

2
3
1
x
x
x
2
2
2

1 x 3 x 32 x 33

2
3
1
x
x
x
4
4
4

  1 x 5 x 52 x 53

2
3
1 x 6 x 6 x 6
1 x
x 72 x 73
7

2
x 83
1 x 8 x 8
1 x
x 92 x 93
9

2
3
1 x
x10
x10

10
4  x0  

4  x1  


4  x10 
x 04  1
 
4
x 1  1

x 24  1

4
x 3  1
 
x 44  1
x 54   1
 
x 64  1
x 74  1
 
x 84  1
x 94  1
 
4 
x10
 1
(3.14)
...
7
8
49
64
343
512
9
81
729
10 100 1000
11 121 1331
12 144 1728
13 169
2197
14 196
2744
15 225 3375
16 256 4096
17 289 4913
2401 

4096 
6561 

10000 
14641 

20736  (3.15)

28561 
38416 

50625 
65536 

83521 
Вектор наблюдений y остается без изменений
 y 0   156,10 

 

 y1   116,10 
 y   74,87 
 2 

 y 3   40,25 
 y   10,46 
 4 

y   y 5    1,95 
y  

 6   23,57 
 y 7   55,29 

 

 y8   94,00 
 y 9  136,76 

 

 y10   173,75 
(3.16)
Система уравнений (3.11) для рассматриваемого 1-ого блока выглядит
следующим образом:
68
1

1
1

1
1
1
1
1
1
1
1
1
1  1
 1


8
9
10
11
12
13
14
15
16
17 1
 7

   T    49
64
81
100
121
144
169
196
225
256
289 1


 343 512 729 1000 1331 1728 2197 2744 3375 4096 4913 1
 2401 4096 6561 10000 14641 20736 28561 38416 50625 65536 835211



1
1

1
132
1694
22968
325094 
 11


1694
22968
325094
4755432 
 132
   1694
22968
325094
4755432
71330534  ,


 22968 325094 4755432 71330534 1090818168
 325094 4755432 71330534 1090818168 16935064454 


49 343 2401 

8 64 512 4096 
9 81 729 6561 

10 100 1000 10000 
11 121 1331 14641 

12 144 1728 20736 
13 169 2197 28561

14 196 2744 38416 

15 225 3375 50625 
16 256 4096 65536 

17 289 4913 83521
7
(3.17)
 156,10 


 116,10 
 74,87 


1
1
1
1
1
1
1
1
1
1  40,25 
 1


8
9
10
11
12
13
14
15
16
17  10,46 
 7


   T y   49
64
81
100
121
144
169
196
225
256
289  1,95 



 343 512 729 1000 1331 1728 2197 2744 3375 4096 4913  23,57 
 2401 4096 6561 10000 14641 20736 28561 38416 50625 65536 83521 55,29 




 94,00 
136,76 


 173,75 
 883,10 


 10868,71 
   147910 ,61 


 2159673 ,64 
 32968276 ,80 


(3.18)
Решая систему a   , получаем вектор искомых коэффициентов:
  1448,13 


725
,
40


a    111,89  .


 6,87 
  0,15 


(3.19)
69
Таким образом, искомый полином 4-ой степени будет выглядеть
следующим образом:
F1x   1448,13  725,40 x  111,89 x2  6,87 x3  0,15 x4 .
Оценим погрешность такой аппроксимации:
1/ 2
 1 10

1    F1  xi   yi 2 
 11 i  0

 2,54
Рис. 3.4 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для первого блока
Аналогичным образом производится расчет для других блоков,
экспериментальные
данные
для
которых
приведены
в
табл. 3.3.
Для второго блока
F2 x   110,71 - 15,149x - 0,2541x 2  0,0999x 3 - 0,0031x 4
1/ 2
 1 10

 2    F2  xi   yi 2 
 11 i  0

 0,19
Рис. 3.5 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для второго блока
70
Для третьего блока
F3  x   61,094  1,521 x  2,2485 x 2  0,2003 x3  0,0047 x 4
1/ 2
 1 10

 3    F3  xi   yi 2 
 11 i  0

 0,19
Рис. 3.6 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для третьего блока
Для четвертого блока:
F4 x   5139,3  2502,9 x  383 x2  23,452 x3  0,4943 x4
1/ 2
 1 10

 4    F4  xi   yi 2 
 11 i  0

 6,63
Рис. 3.7 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для четвертого блока
Для пятого блока:
F5  x   2615,8  1084,1 x  152,67 x 2  8,9173 x3  0,1836 x 4
1/ 2
 1 10

 5    F5  xi   yi 2 
 11 i  0

 4,57
71
Рис. 3.8 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для пятого блока
Для шестого блока:
F6  x   328  255,21 x  47,936 x 2  3,3675 x3  0,0789 x 4
1/ 2
 1 10

 6    F6  xi   yi 2 
 11 i  0

 2,17
Рис. 3.9 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для шестого блока
Для седьмого блока:
F7  x   1475,2  636,14 x  92,872 x 2  5,6016 x3  0,1185 x 4
 1 10

 7    F7  x i   y i 2 
 11 i 0

1/ 2
 1,00
72
Рис. 3.10 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для седьмого блока
Для восьмого блока:
F8  x   5385,5  1121,6 x  43,304 x 2  3,0521 x3  0,1519 x 4
1/ 2
 1 10

 8    F8  xi   yi 2 
 11 i  0

 13,73
Рис. 3.11 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для восьмого блока
Для девятого блока:
F9  x   72,789  42,019 x  6,1867 x 2  0,3418 x3  0,0062 x 4
1/ 2
 1 10

 9    F9  xi   yi 2 
 11 i  0

 0,27
Рис. 3.12 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для девятого блока
73
Для десятого блока:
F10  x   8,1343  12,648 x  2,3004 x 2  0,1455 x3  0,003 x 4
1/ 2
10
 1 10

   F10  xi   yi 2 
 11 i  0

 0,08
Рис. 3.13 – Зависимость структурной функции S(s) от смещения s и
аппроксимирующий полином для десятого блока
Для каждого аппроксимирующего полинома 4-го порядка
производится поиск минимума в окрестности результата, полученного
экспериментально (см. табл. 3.3).
 MinF1x   11,79 , экспериментальный результат – 12,
 MinF2 x   11,65 , экспериментальный результат – 11.
 MinF3  x   11,13 , экспериментальный результат – 11.






MinF4 x   11,63 , экспериментальный результат – 12.
MinF5  x   11,83 , экспериментальный результат – 12.
MinF6  x   10,75 , экспериментальный результат – 11.
MinF7  x   11,37 , экспериментальный результат – 11.
MinF8  x   9,43 , экспериментальный результат – 10.
MinF9  x   13,02 , экспериментальный результат – 13.
MinF10 x   12,64 , экспериментальный результат – 13.

Таким образом, смещение изображения протяженного объекта
находится между дискретными отсчетами. При малых смещениях s
видеоизображения (10-20 пикселей) протяженного объекта погрешность
измерений составляет оценки результатов, рассчитанная по формуле (3.4),
составляет 8,97%, что меньше полученной ранее величины погрешности в
11%. Однако, обе величины погрешности являются недопустимо большими
[116]. При увеличении смещения видеоизображения погрешность
пропорционально снижается. Поэтому существует необходимость поиска
алгоритмов и способов повышения точности измерения скорости движения
протяженного объекта для малых значений.
74
3.2 Алгоритм поиска блока в расширенной области
Смещение изображения при наличии вибрации видеокамеры,
вызванной движением объекта, в общем случае может составлять несколько
пикселей. Поэтому вокруг эквивалентной области на следующем кадре n+1
выделяется расширенная прямоугольная область, высота которой равна d+2
пикселей (от d–1 до d+1 пикселей), а длина составляет m+2 пикселей (от m–1
до m+1 пикселей), тем самым, получается расширенная прямоугольная
область с центральным элементом, соответствующим найденной
эквивалентной прямоугольной области.
Рис. 3.14 – Кадр n+1 с расширенной прямоугольной областью вокруг
прямоугольной области
Кроме центрального элемента внутри расширенной прямоугольной
области выделяется массив Q(q) из 8-ми аналогичных прямоугольных
областей, смещенных на один пиксель относительно центрального элемента
(влево, вправо, вверх, вниз).
Далее производится вычисление минимального значения массива
Q(q). Если вновь найденное минимальное значение меньше ранее найденного
минимального значения соответствующего эквивалентной области, то такая
аналогичная область, в свою очередь, становится эквивалентной областью.
После чего повторно выделяется расширенная прямоугольная область с
высотой n+2 пикселей и длиной m+2 пикселей вокруг новой найденной
эквивалентной прямоугольной области. Цикл повторяется до тех пор, пока
вновь найденное минимальное значение не будет больше ранее найденного
минимального значения эквивалентной прямоугольной области. Значение
смещения изображения следующего n+1 кадра относительно текущего n-го,
соответствующее минимальному значению Q(q), принимается за результат
измерения смещения изображения s. Описанный алгоритм представлен на
рис. 3.15.
В случае обнаружения новой эквивалентной прямоугольной области
расчет смещения изображения протяженного объекта следует производить по
формуле:
75
s
xn  xn 1 2   yn  yn 1 2
(3.20)
В разделе 4.1.1 приводится описание проведенного эксперимента с 4осным вагоном. Во время видеосъемки шел снег, и была вибрация
видеокамеры. Эквивалентная область на следующем кадре n+1 была найдена
со смещением в 11 пикселей. Используя описанный выше алгоритм,
определим, насколько точно получилось найти смещение изображения
протяженного объекта.
Запись в память
кадров n и n+1
Выделение расширенной прямоугольной области вокруг
эквивалентной
Вычисление
координат правдоподобной прямоугольной области
Выделение
прямоугольной
области на кадре n
Выделение
прямоугольных
областей внутри
расширенной
Вычисление
скорости дивжения
Построение
гистограммы для
прямоугольной
области
Построение
гистограммы для
каждой прямоугольной области
Выделение
горизонтальной
полосы на кадре
n+1
Построение
гистограммы для
горизонтальной
полосы
Нет
Объект вне зоны
управления?
Да
Сравнение
гистограмм
Правдоподобная область
найдена?
Поиск
эквивалентной
прямоугольной
области - сравнение
гистограмм
Да
Выключение
питания
видеокамеры
Вывод информации
на экран
Нет
Рис. 3.15 – Алгоритм поиска эквивалентной области на кадре n+1
Рис. 3.16 – Кадр n+1 с расширенной прямоугольной областью вокруг
прямоугольной области
76
Для пары последовательных кадров рис. 4.1, 4.2 для каждой из
областей массива Q(q) рассчитывается структурная функция S(s) по формуле
(2.19) (см. табл. 3.4).
Табл. 3.4 – Структурная функция S(s) для массива Q0(q) из 8-ми аналогичных
прямоугольных областей
d-1
d
d+1
71,5955
30,2633
220,5004
m-1
72,1739
27,1068
210,6275
m
75,7968
25,8557
201,139
m+1
Согласно алгоритму, представленному на рис. 3.15, создается новая
расширенная прямоугольная область вокруг новой эквивалентной
прямоугольной области. Результат расчета структурной функции S(s)
представлен в табл. 3.4.
Табл. 3.5 – Структурная функция S(s) для массива Q1(q) из 8-ми аналогичных
прямоугольных областей
d-1
d
d+1
72,1739
27,1068
210,6275
m
75,7968
25,8557
201,139
m+1
82,4187
27,0517
192,4987
m+2
Повторный поиск эквивалентной прямоугольной области не дал
положительного результата. Поэтому при смещении по оси x в 11 пикселей,
смещение протяженного объекта будет следующим:
s
xn  xn 1 2   yn  yn 1 2
 112  12  11,05
На графике (см. рис. 3.17) представлен суммарный уровень яркости
выделенной прямоугольной области и найденной эквивалентной
прямоугольной области.
Рис. 3.17 – Совмещение столбчатых диаграмм прямоугольных областей
77
Из графика, представленного на рис. 3.17 следует, что столбчатые
диаграммы прямоугольной области текущего i-го кадра и эквивалентной
прямоугольной области следующего i+1 кадра различаются незначительно,
но это различие существует. Разработанный алгоритм создания расширенной
прямоугольной области и поиска в ней эквивалентной области позволяет
компенсировать низкочастотные помехи, такие как вибрация протяженного
объекта, обусловленная неровностями пути, вибрация видеокамеры и тем
самым снизить погрешность измерения.
3.3 Увеличение периода измерений
В разделе 3.1 дана оценка результатов измерения смещения
изображения протяженного объекта, по которому можно определить
скорость движения. Эти результаты показали, что погрешность достаточно
большая и составляет примерно 10% и определяется случайной
составляющей. Для снижения этой погрешности предложено увеличить
количество анализируемых прямоугольных областей, в результате
погрешность незначительно снижается, но резко повышается потребность в
вычислительных ресурсах. Поэтому предлагается рассмотреть методику
повышения точности измерения путем увеличения интервала наблюдения,
т.е. анализировать смещение изображения протяженного объекта s по i-ому и
i+l-му кадрам.
Рассмотрим методику обработку 10-ти последовательных кадров (см.
рис. 3.18):
а) кадр i
б) кадр i+1
в) кадр i+2
г) кадр i+3
78
д) кадр i+4
е) кадр i+5
Рис. 3.18 – Последовательные кадры с i-ого по i+9-ый
ж) кадр i+6
з) кадр i+7
и) кадр i+8
к) кадр i+9
Рис. 3.18 – Последовательные кадры с i-ого по i+9-ый (продолжение)
В качестве текущего опорного кадра рассматривается кадр i (см. рис.
3.18, а). В качестве последующего кадра последовательно рассматриваются
кадры с i+1-ого по i+9-ый (см. рис. 3.18, б-к). Для каждой пары кадров
производится поиск смещения изображения протяженного объекта s по
десяти прямоугольным областям. Датчики показали скорость движения
протяженного объекта 16 км/ч, что соответствует 13-14 пикселям за время
смены кадров. Результат проведенного эксперимента представлен в табл. 3.6.
79
Номер кадра
Табл. 3.6 – Результат измерений
Относительная погрешность, %
Смещение s
i+1
13 14 14 12 15
14 14 13 15 15


7,4
i+2
26 27 27 28 29
30 28 30 30 29


5,2
i+3
40 42 42 41 44
43 43 41 43 45


3,7
i+4
55 52 51 54 52
55 53 55 53 52


2,9
i+5
70 70 73 72 73
73 72 72 69 73


2,1
i+6
85 84 83 86 84
83 85 83 86 85


1,5
i+7
 91 92 90 91 93
92 91 92 92 91


0,9
i+8
105 102 107 108 106
106 105 104 102 104


2,0
i+9
119 70 90 110 114
107 124 118 198 100


16,1
Графическая зависимость относительной погрешности от номера
последующего кадра l представлена ниже (см. рис. 3.19).
Рис. 3.19 – Зависимость относительной погрешности ε от относительного
номера последующего кадра l
80
Рис. 3.20 – Зависимость относительной погрешности ε от относительного
номера последующего кадра l
Для подтверждения методики повышения точности измерения
параметров движения протяженных объектов за счет увеличения
анализируемого временного интервала обработки были проанализированы
видеоматериалы, порядка 1000 кадров. Результаты экспериментальной
проверки представлены на рис. 3.20.
рис. Видно, что относительная погрешность находится между верхней
и нижней границей и уменьшается с увеличением номера последующего
кадра l. Это вызвано уменьшением влияния случайной погрешности.
После определенного уровня происходит резкое увеличение
погрешности, что обусловлено искажением оптической системы –
дисторсией [51]. Дисторсия оптической системы проявляется в том, что
нарушается коллинеарное соответствие изображения и предмета. Эта
аберрация не зависит от координат луча на входном зрачке, и все лучи,
выходящие из данной предметной точки, после системы дают
гомоцентрический пучок лучей, собирающийся в плоскости Гаусса в точке,
не совпадающей с ее идеальным изображением. При дисторсии не
нарушается резкость изображения, но искажается его форма. Значение
дисторсии определяется разностью между ординатой y  главного луча и
ординатой y0 , соответствующей идеальному изображению:
y  y  y0
(3.21)
Рис. 3.21 – Ход главных лучей при наличии дисторсии
81
Дисторсию оптической системы можно оценить в относительной мере,
выражая ее в процентах:
 
 y  y0 
y0
 y

100   0  1 100
 y0

(3.22)
Линейное увеличение оптической системы для данной пары
сопряженных плоскостей согласно рис. 3.21 можно определить по формуле:
y s  sp  tg
 
s  s p  tg
y
(3.23)
Если эта величина остается постоянной для любых значений y и
равной линейному увеличению  0 идеальной системы, то дисторсия
отсутствует,
а
система,
свободная
от
дисторсии,
называется
ортоскопической.
В реальных оптических системах их линейное увеличение,
определяемое формулой (3.23), не остается постоянным для различных y по
следующим причинам: имеет место сферическая аберрация в зрачках
системы и не сохраняется постоянным угловое увеличение в зрачках.
Из формул (3.21) и (3.23) следует, что если  возрастает при
увеличении предметной точки от оптической оси, то увеличивается
дисторсия системы y  , т.е.    0 . В этом случае дисторсия
положительная
(подушкообразная).
Вместо
квадрата
(см. рис. 3.22 а) получается фигура, показанная на рис. 3.22 б. Если 
уменьшается, то уменьшается дисторсия системы y  , т.е.    0 . В этом
случае дисторсия отрицательная (бочкообразная). Вместо квадрата
получается фигура, показанная на рис. 3.22 в.
а)Исходное
изображение
б)Положительная
дисторсия
в)Отрицательная
дисторсия
Рис. 3.22 – Искажение изображений дисторсией
Среди графиков остаточных аберраций, характеризующих качество
изображения оптической системы, приводятся и кривые дисторсии (см. рис.
3.23).
82
Рис. 3.23 – Графическое представление дисторсии
Поскольку при увеличении периода измерения рост погрешности из-за
дисторсии
резко
увеличивается,
то
количество
анализируемых
последовательных кадров ограничивается 7-ю.
Снег (см. рис. 3.18 а-к), дождь так же оказывают неинформативное
влияние на результат измерения, которые в общем виде представляют собой
разновидность импульсной помехи. Для снижения влияния импульсных
помех может быть использован усредняющий фильтр:
^
1
  g  x, y  ,
pq q p
где p q – прямоугольная область с центром в точке (x,y).
f  x, y  
(3.24)
В процессе проведенных исследований установлено, что для
реализации усредняющего фильтра и снижения влияния импульсных помех
необходимо увеличить площадь анализируемой прямоугольной области.
Эксперимент показал, что для снижения влияния сильного снегопада
(метели) площадь анализируемой прямоугольной области следует увеличить
не менее чем в 2 раза (в 1,5 раза по длине и на 40% по высоте) – до 40
пикселей по длине и 50 по высоте.
83
Глава 4. Техническая реализация
4.1 Результаты экспериментов
Для подтверждения достоверности предложенной методики
и
разработанных алгоритмов определения параметров движения протяженных
объектов был проведен ряд экспериментов. В качестве протяженных
объектов использовались:
 четырехосный крытый вагон (с металлической торцовой стеной);
 четырехосная цистерна для бензина и светлых нефтепродуктов;
 городской общественный транспорт (трамвай);
 железнодорожный локомотив ВЛ-10;
 ночная съемка эвакуатора.
Причем съемка железнодорожного локомотива ВЛ-10 производилась
видеокамерой высокой разрешающей способности.
Кроме того, были проведены эксперименты с другими протяженными
объектами (автобусы, троллейбусы, грузовые фуры, всевозможные типы
железнодорожных вагонов), которые не включены в монографию.
Эксперименты проводились в разных погодных условиях осенью, зимой,
летом.
При проведении одного из экспериментов во время роспуска на
сортировочной горке ст. Кинель был снегопад, даже снежная буря, что
хорошо заметно на фоне движения железнодорожных вагонов, и это следует
рассматривать как помехи видеоизображения. Из-за хаотичного движения
такой эффект можно назвать природным источником шума. Описанные ранее
методики и алгоритмы позволили справиться с природным шумом без
применения дополнительной фильтрации.
4.1.1 Четырехосный полувагон
На рис. 4.1, 4.2 представлены два смежных кадра из видеофайла,
полученного во время проведения съемки.
Рис. 4.1 – Кадр n
84
Рис. 4.2 – Кадр n+1
Используя методику, предложенную в разделе 2.3, на каждом
изображении выделяется совокупность строк высотой m пикселей (см. рис.
4.3, 4.4).
Рис. 4.3 – Кадр n с выделенной совокупностью строк
Рис. 4.4 – Кадр n+1 с выделенной совокупностью строк
Для анализа выделенной совокупности строк высотой m пикселей
используется функция, позволяющая определить суммарный уровень яркости
каждого столбца высотой m и шириной 1 пиксель (2.13).
Таким образом, для каждой совокупности строк получается
следующее представление суммарного уровня яркости в зависимости от
координаты X (см. рис. 4.5, 4.6):
85
Рис. 4.5 – Суммарный уровень яркости для кадра n
Рис. 4.6 – Суммарный уровень яркости для кадра n+1
Для поиска смещения протяженного объекта за время смены кадров
выделим блок размером md на кадре n+1 (см. рис. 4.7), которому
соответствует выделенный участок на столбчатой диаграмме (см. рис. 4.8).
d
Рис. 4.7 – Кадр n+1 с выделенным блоком md
86
Рис. 4.8 – Суммарный уровень яркости для кадра n+1 с выделенным
участком диаграммы для блока md
Для поиска смещения выделенного блока на кадре n+1
относительного другого на кадре n используются несколько способов,
описанных ранее для идеализированной модели:
 определение максимума корреляционной функции;
 определение минимума структурной функции.
Рассмотрим поиск смещения с помощью корреляционной функции
Пирсона [103]. Для этого воспользуемся формулой 2.17:
Графически зависимость корреляционной функции от смещения
выглядит следующим образом (см. рис. 4.9):
87
Рис. 4.9 – Зависимость корреляционной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 10 функция стремится к максимальному значению – 1. Для
представленных кадров n и n+1 (см. рис. 4.1, 4.2) является искомым
смещением.
Теперь рассмотрим структурную функцию, которая определяется
формулой 2.19.
Графически зависимость структурной функции от смещения
выглядит следующим образом (см. рис. 4.10).
Рис. 4.10 – Зависимость структурной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 10 функция стремится к минимальному значению – 0, но при этом
не достигает точки 0, что вызвано влиянием шума. Для проводимого
эксперимента это искомое смещение.
88
4.1.2 Четырехосная цистерна для бензина и светлых нефтепродуктов
Ниже приведен результат эксперимента с четырехосная цистерной
для бензина и светлых нефтепродуктов (см. рис. 4.11, 4.12).
Рис. 4.11 – Кадр n
Рис. 4.12 – Кадр n+1
Используя методику, предложенную в разделе 2.3, на каждом
изображении выделяется совокупность строк высотой m пикселей (см. рис.
4.13, 4.14).
Рис. 4.13 – Кадр n с выделенной совокупностью строк
89
Рис. 4.14 – Кадр n+1 с выделенной совокупностью строк
Для анализа выделенной совокупности строк высотой m пикселей
используется функция, позволяющая определить суммарный уровень яркости
(СУЯ) каждого столбца высотой m и шириной 1 пиксель (2.13).
Таким образом, для каждой совокупности строк получается
следующее представление суммарного уровня яркости в зависимости от
координаты X (см. рис. 4.15, 4.16):
Рис. 4.15 – Суммарный уровень яркости для кадра n
Рис. 4.16 – Суммарный уровень яркости для кадра n+1
90
Для поиска смещения выделенного блока на кадре n+1
относительного другого на кадре n используются несколько способов,
описанных ранее для идеализированной модели:
 определение максимума корреляционной функции;
 определение минимума структурной функции.
Рассмотрим поиск смещения с помощью корреляционной функции
Пирсона [103]. Для этого воспользуемся формулой 2.17.
Графически зависимость корреляционной функции от смещения
выглядит следующим образом (см. рис. 4.17):
Рис. 4.17 – Зависимость корреляционной функции от смещения
Теперь рассмотрим структурную функцию, которая определяется
формулой 2.26.
Графически зависимость структурной функции от смещения
выглядит следующим образом (см. рис. 4.18).
Рис. 4.18 – Зависимость структурной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 14 функция стремится к минимальному значению – 0, но при этом
не достигает точки 0, что вызвано влиянием шума. Для проводимого
эксперимента это искомое смещение.
91
4.1.3 Измерение скорости движения трамвая
Ниже приведен результат эксперимента с трамваем.
Рис. 4.19 – Кадр n
Рис. 4.20 – Кадр n+1
Используя методику, предложенную в разделе 2.3, на каждом
изображении выделяется совокупность строк высотой m пикселей (см. рис.
4.21, 4.22).
Рис. 4.21 – Кадр n с выделенной совокупностью строк
92
Рис. 4.22 – Кадр n+1 с выделенной совокупностью строк
Для анализа выделенной совокупности строк высотой m пикселей
используется функция, позволяющая определить суммарный уровень яркости
(СУЯ) каждого столбца высотой m и шириной 1 пиксель (2.13).
Для
каждой
совокупности
строк
получается
следующее
представление суммарного уровня яркости в зависимости от координаты X
(см. рис. 4.23, 4.24):
Рис. 4.23 – Суммарный уровень яркости для кадра n
Рис. 4.24 – Суммарный уровень яркости для кадра n+1
93
Для поиска смещения выделенного блока на кадре n+1
относительного другого на кадре n используются несколько способов,
описанных ранее для идеализированной модели:
 определение корреляционной функции;
 определение структурной функции.
Рассмотрим поиск смещения с помощью корреляционной функции
Пирсона [103]. Для этого воспользуемся формулой 2.17.
Графически зависимость корреляционной функции от смещения
выглядит следующим образом (см. рис. 4.25).
Рис. 4.25 – Зависимость корреляционной функции от смещения
Теперь рассмотрим структурную функцию, которая определяется
формулой 2.26.
Графически зависимость структурной функции от смещения
выглядит следующим образом (см. рис. 4.26).
Рис. 4.26 – Зависимость структурной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 24 функция стремится к минимальному значению – 0, но при этом
не достигает точки 0, что вызвано влиянием шума. Для проводимого
эксперимента это искомое смещение, подтвержденное достоверными
измерительными устройствами.
94
4.1.4 Электровоз постоянного тока ВЛ10
Эксперимент с электровозом производился с использованием
видеокамеры высокого разрешения. Ниже приведен результат эксперимента.
Рис. 4.27 – Кадр n
Рис. 4.28 – Кадр n+1
Используя методику, предложенную в разделе 2.3, на каждом
изображении выделяется совокупность строк высотой m пикселей (см. рис.
4.29, 4.30).
Рис. 4.29 – Кадр n с выделенной совокупностью строк
95
Рис. 4.30 – Кадр n+1 с выделенной совокупностью строк
Для анализа выделенной совокупности строк высотой m пикселей
используется функция, позволяющая определить суммарный уровень яркости
(СУЯ) каждого столбца высотой m и шириной 1 пиксель (2.14).
Для
каждой
совокупности
строк
получается
следующее
представление суммарного уровня яркости в зависимости от координаты X
(см. рис. 4.31, 4.32).
Рис. 4.31 – Суммарный уровень яркости для кадра n
Рис. 4.32 – Суммарный уровень яркости для кадра n+1
96
Для поиска смещения выделенного блока на кадре n+1
относительного другого на кадре n используются несколько способов,
описанных ранее для идеализированной модели:
 определение корреляционной функции;
 определение структурной функции.
Рассмотрим поиск смещения с помощью корреляционной функции
Пирсона [103]. Для этого воспользуемся формулой 2.17.
Графически зависимость корреляционной функции от смещения
выглядит следующим образом (см. рис. 4.33).
Рис. 4.33 – Зависимость корреляционной функции от смещения
Теперь рассмотрим структурную функцию, которая определяется
формулой 2.26.
Графически зависимость структурной функции от смещения
выглядит следующим образом (см. рис. 4.34).
Рис. 4.34 – Зависимость структурной функции от смещения
Как видно из графиков при значении смещения стремящегося к
значению ~230 функция достигает минимального значения. Для проводимого
эксперимента это искомое смещение, подтвержденное достоверными
измерительными устройствами.
97
Анализируя полученные результаты для корреляционной функции и
структурной функции, можно сделать вывод о том, что каждый из них дает
правильный ответ, но в условиях создания системы, работающей в режиме
реального времени и имеющей ограниченные вычислительные ресурсы, для
поиска смещения следует использовать структурной функции случайных
величин.
4.1.5 Ночная съемка эвакуатора
Ниже приведен результат эксперимента, проводимого в ночное время
с эвакуатором. Видеокамера работала в инфракрасном спектре.
Рис. 4.35 – Кадр n
Рис. 4.36 – Кадр n+1
Используя методику, предложенную в разделе 2.3, на каждом
изображении выделяется совокупность строк высотой m пикселей (см. рис.
4.37, 4.38).
98
Рис. 4.37 – Кадр n с выделенной совокупностью строк
Рис. 4.38 – Кадр n+1 с выделенной совокупностью строк
Для анализа выделенной совокупности строк высотой m пикселей
используется функция, позволяющая определить суммарный уровень яркости
каждого столбца высотой m и шириной 1 пиксель (2.13).
Для
каждой
совокупности
строк
получается
следующее
представление суммарного уровня яркости в зависимости от координаты X
(см. рис. 4.39, 4.40).
Рис. 4.39 – Суммарный уровень яркости для кадра n
99
Рис. 4.40 – Суммарный уровень яркости для кадра n+1
Для поиска смещения выделенного блока на кадре n+1
относительного другого на кадре n используются несколько способов,
описанных ранее для идеализированной модели:
 определение корреляционной функции;
 определение структурной функции.
Рассмотрим поиск смещения с помощью корреляционной функции
Пирсона [103]. Для этого воспользуемся формулой 2.17:
Графически зависимость корреляционной функции от смещения
выглядит следующим образом (см. рис. 4.41):
Рис. 4.41 – Зависимость корреляционной функции от смещения
Теперь рассмотрим структурную функцию, которая определяется
формулой 2.26.
Графически зависимость структурной функции от смещения
выглядит следующим образом (см. рис. 4.42).
100
Рис. 4.42 – Зависимость структурной функции от смещения
Как видно из графика при значении смещения стремящегося к
значению 22 функция стремится к минимальному значению – 0, но при этом
не достигает точки 0, что вызвано влиянием шума. Для проводимого
эксперимента это искомое смещение, подтвержденное достоверными
измерительными устройствами.
Таким образом, результаты эксперимента подтвердили достоверность
предложенной методики измерения параметров движения протяженных
объектов.
4.2 Структурная схема системы
На рис.4.43 представлена схема организации системы. В состав
системы входит промышленная 2-мегапиксельная IP-камера BEWARD
BD4070H, сеть FastEthernet и рабочая станция с разработанным
программным обеспечением, позволяющим в режиме реального масштаба
времени измерять скорость движения отцепов на сортировочной горке в
режиме реального времени. Что позволило контролировать процесс
замедления протяженных объектов.
C
64 кбит/с
12-15 Мбит/с
Рис. 4.43 – Схема организации опытного образца
101
Использование разработанного программного обеспечения позволяет
сократить объем передаваемой видеоинформации с 10-12 Мбит/с до 64
кбит/с. После обработки информация архивируется и записывается сервер.
4.3 Программное обеспечение системы измерения скорости движения
протяженного объекта
На основе предложенной методики были разработаны технические
требования для реализации устройства измерения скорости движения
железнодорожных отцепов на сортировочной горке (приложение 1, 2), а
разработанное программное обеспечение (приложение 4) было внедрено в
составе системы видеонаблюдения станции Кинель Куйбышевской железной
дороги (приложение 3), что позволило макетному образцу измерять скорость
движения отцепов на сортировочной горке с требуемой точностью в режиме
реального времени. Интерфейс разработанного программного обеспечения
представлен на рис. 4.44.
Вхождение в зону торможения
Вхождение в зону регистрации
Рис. 4.44 – Интерфейс программного обеспечения
Система макетного образца включается в работу после того, как
протяженные объекты войдут в зону управления. Далее начинает
производиться съемка видеокамерой с последующей передачей данных по
каналам связи на ЭВМ. Принимая данные, вычислительная машина
фиксирует информацию в жестком диске.
Из сформированного массива видеоизображений выбирается
последовательность кадров для анализа. После того, как произведено
вычисление скорости движения вагонов, включается подсистема
управлением торможением.
Интерфейс программного обеспечения для макетного образца был
разработан с использованием языка программирования Borland Delphi 8.0
[126] и представляет собой в левой части (рис. 4.44) видеопоток с
102
видеокамеры, а в правой – график, на котором представлено изменение
скорости движения протяженного объекта в режиме реального времени. При
этом видно, как объект при вхождении в зону регистрации ускоряется, а
после включения замедлителей скорость движения сокращается до
требуемого значения.
103
Раздел 2 Обнаружение объектов контроля
по сигналам систем видеонаблюдения
Глава 5 Обзор методов и алгоритмов обнаружения
объектов контроля в системах видеонаблюдения
5.1 Обнаружение объектов контроля c использованием
изображения фона для неподвижных систем видеонаблюдения
Наиболее ранние методы обнаружения «объектов контроля» [135,
136, 137, 185, 194] были построены на предположении, что для работы
алгоритма необходим опорный кадр видеоизображения, который
рассматривался как изображение фона (заднего плана). Такой подход было
проще всего реализовать, так как практически все оборудование было
аналоговым. Устройств обработки сигналов в цифровом виде практически не
было, что серьезным образом сказывалось на самих алгоритмах. Так как
основной проблемой исследователя была не разработка эффективного
алгоритма обнаружения, а разработка такого алгоритма, который можно
было технически реализовать. В первую очередь этими разработками
занимались военные специалисты для охраны военных объектов, где любой
движущийся объект, попадавший в поле зрения камеры, представлял собой
потенциальную угрозу.
В известном способе [135] определения появления «объектов
контроля» на видеоизображении для обнаружения «объекта контроля»
используется два кадра: текущий кадр и опорный кадр. Опорный кадр
задержан на n кадров относительно текущего. Затем находят разностное
изображение как модуль разности яркостей соответствующих элементов
текущего кадра и опорного. Если полученная разность в элементе
изображения больше установленного порога, то считается, что в этом
элементе находится посторонний объект, в противном случае – задний план.
Недостатком данного способа является низкая обнаруживающая
способность при выборе высокого порога, либо высокий уровень ложного
обнаружения при выборе низкого порога, также недостатком является
отсутствие адаптации к изменяющимся условиям освещенности, что
приводит к высокому уровню ложного обнаружения и низкой
обнаруживающей способности.
104
Согласно способу [137] для обнаружения постороннего объекта
изображение делится на n  m фрагментов. В течение периода времени Tзап
определяется среднее значение яркости, которое преобразуется в
напряжение, пропорциональное этой яркости. Напряжение поступает на
АЦП и преобразуется в двоичный код. Эти коды будут характеризовать
опорный сигнал. Через время Tп происходит анализ текущего кадра, для
которого проводиться та же процедура, что и для опорного кадра. После
этого находят абсолютную разность кодов, соответствующих фрагментов
изображения опорного и текущего кадра. Если эта разность не меньше
порога, то соответствующий фрагмент помечается как не содержащий
постороннего объекта (0), в противном случае он содержит посторонний
объект (1). Затем все решения 0 или 1 суммируются и получают значение S и
сравниваются с порогом S 0 . Если S больше S 0 , то выносится решение об
обнаружении постороннего объекта, в противном случае, выноситься
решение об его отсутствии.
Недостатком данного способа является невозможность указать
местоположение постороннего объекта на изображении, он отвечает только
на вопрос: есть ли объект контроля на изображении, или нет. Также
недостатком является невозможность адаптации к изменяющимся условиям
освещенности, что приводит к высокому уровню ложного обнаружения и
низкой обнаруживающей способности.
Таким образом, первые алгоритмы обнаружения объектов контроля
реализовывали наиболее простые принципы обнаружения: выбор опорных
сигналов и порогов обнаружения, что позволяло реализовывать их на
практике. Однако качество работы обнаружителей было очень низким, и
было связано с тем, что работа алгоритмов полностью зависела от
правильности выбора опорных сигналов и порогов обнаружения и условий
освещенности.
Дальнейшее развитие методов и алгоритмов обнаружения
определилось развитием компьютерных технологий. Появилась возможность
обрабатывать видеоизображение в цифровом виде, что в значительной
степени упростило реализацию алгоритмов и позволило исследователям
сосредоточиться на разработке эффективных алгоритмов обнаружения.
Сложилось несколько основных методик, в которых для обнаружения
объекта контроля и фонового изображения производилось оценивание
статистических параметров яркости каждого элемента последовательности
кадров изображения.
Некоторые исследователи полагают, что плотность вероятности
яркости каждого элемента (пикселя) заднего плана подчиняется нормальному
закону распределения (распределению Гаусса). Это предположение привело
к появлению довольно большого числа алгоритмов [127, 128, 133, 140, 143,
144, 156, 172, 173, 179, 180, 181, 183, 187, 192, 195, 235].
Известен способ [127] определения появления объектов контроля на
видеоизображении. В случае черно-белого видеоизображения каждому
105
пикселю в соответствие ставиться пара чисел – среднее значение и
дисперсия. Если используется цветное видеоизображение, то каждому
пикселю в соответствие ставиться вектор средних значений и
ковариационная матрица. На этапе обнаружения вычисляется расстояние
махаланобиса:
DM  y  
 y   t T K k 1  y   t  ,
где y – вектор значений яркости пикселя в текущий момент t ;
 t – среднее значение в момент времени t ;
K k – ковариационная матрица.
Если вычисленное значение превышает установленный порог
DM  y    , то пиксель классифицируется как заслоненный объектом
контроля, в противном случае – как задний план. Обновление модели заднего
плана происходит в соответствии с формулами:
 t  y  1    t 1 ,



Kˆ k  E  y   k  y   k T ,
  
T
T
E  y   k  y   k T  E yy   k  k ,
где  t – среднее значение в момент времени t ;
 – скорость обновления;
y – вектор значений яркости пикселя в текущий момент t ;
K̂ k – оценка ковариационной матрицы;
E – символ вычисления среднего значения
T
– символ транспонирования.
Недостатком данного способа является зависимость скорости
обновления  от изменения заднего плана, при котором приходиться искать
компромиссные решения. При выборе низкой скорости обновления 
формируется модель, которая с трудом описывает резкие изменения заднего
плана, в первую очередь при изменении освещенности. При выборе высокой
скорости обновления  , медленно движущиеся объекты контроля (либо
остановившиеся на короткое время) становятся частью заднего плана. И в
первом и во втором случае это приводит к пропуску обнаружению
посторонних объектов или ошибочному обнаружению.
Метод [128] при определении появления объектов контроля на
видеоизображении использует медианный фильтр для формирования модели
заднего плана. Если используется черно-белое видеоизображение, то
каждому пикселю в соответствие ставиться значение яркости, полученное
после медианной фильтрации. Если же используется цветное
видеоизображение – то вектор яркости, также полученный после медианной
фильтрации для каждого канала в отдельности. На этапе обнаружения
вычисляется модуль расстояния между значением яркости пикселя
106
обрабатываемого в данный момент изображения и соответствующего ему
значению яркости пикселя в модели заднего плана. Если вычисленное
значение превышает установленный порог, то пиксель классифицируется как
объект контроля, в противном случае – как задний план.
Недостатком метода является низкая скорость обработки, так как при
формировании модели заднего плана используется медианный фильтр, для
которого необходимо проведение операции сортировки значений по
убыванию или возрастанию. Другим недостатком метода является выбор
порога, по которому происходит классификация постороннего объекта или
заднего плана. Выбор низкого порога приводит к повышению ошибочного
обнаружения объектов контроля из-за резких изменений заднего плана, в
первую очередь это изменение освещенности. Выбор высокого порога
приводит к не обнаружению объектов контроля.
В способе [140] полагается, что плотность вероятности яркости
каждого элемента (пикселя) заднего плана подчиняется нормальному закону
распределения (распределению Гаусса), и оценку яркости каждого элемента
заднего плана проводится путем вычисления среднего значения яркости по
последовательности кадров. Определение появления объекта контроля в
элементе изображения происходит, если отклонение яркости элемента
изображения от среднего значения превышает среднеквадратическое
отклонение яркости, умноженное на установленный порог. На
анализируемом изображении элемент помечается как посторонний объект,
если отклонение яркости от математического ожидания  больше 3 (  –
среднеквадратическое отклонение). Модификация данного способа состоит в
выборе двух порогов – 3 и 6 . Если на анализируемом изображении
отклонение яркости пикселя от математического ожидания  меньше 3 , то
пиксель классифицируется как задний план, если больше 6 – как
посторонний объект, в противном случае решение о данном пикселе не
принимается. Над полученным изображением-маской проводят операции
эрозии и дилатации, при этом морфологические операции не проводятся над
элементами, для которых не вынесено решений. Кроме того, для
формирования модели заднего плана используются только те пиксели,
которые являются «зрелыми» и «стабильными». Под этими понятиями
понимают следующее: «зрелый» – для определения математического
ожидания и среднеквадратичного отклонения использовалось N и более
изображений, где число N определяется исследователем, «стабильный» –
среднеквадратичное отклонение меньше установленного порога. Для тех
пикселей, которые не удовлетворяют этим критериям, не выносится решений
о том, являются ли они частью заднего плана или постороннего объекта. Для
всех остальных пикселей решение принимается точно также как и в первом
подходе. Модификация этого подхода состоит в параллельном
формировании модели заднего плана на основе анализируемых изображений
и постепенной замене соответствующих элементов из дополнительной в
основную модель заднего плана. Тем самым достигается адаптация к
107
объектам, появившимся уже после первоначального формирования модели
заднего плана.
Недостатком данного способа является невозможность быстрой
адаптации модели заднего плана к изменениям освещенности, что приводит к
высокому уровню ложного обнаружения и низкой обнаруживающей
способности. Также данный способ не подходит для обнаружения
посторонних объектов, где наблюдается постоянное движение (например,
участок автострады), так как большинство элементов изображения не будут
являться «стабильными», так как наличие постоянного движения приводит к
высокой дисперсии.
Таким образом, алгоритмы обнаружения объектов контроля, в
которых полагалось, что плотность вероятности яркости каждого элемента
(пикселя) заднего плана подчиняется нормальному закону распределения,
оценивали яркость заднего плана как среднее значение или медиану, а само
обнаружение сводилось к выбору порогу. Однако дальнейшие исследования
алгоритмов этой группы показали, что они имеют серьезные недостатки,
которые в целом сводятся к следующему:
 элемент изображения заднего плана может быть охарактеризован
только одним значением яркости только при условии, что он принадлежит
статичному объекту (например, асфальту, столбу, стволу дерева и т.д.),
динамические объекты (например, плывущие облака, колышущиеся ветки
деревьев, гладь воды и т.д.) необходимо описывать несколькими значениями
яркости;
 оценка яркости элемента заднего плана усреднением по
последовательности кадров, даже если элемент принадлежит статичному
объекту, не учитывает влияние со стороны объекта контроля, что приводит к
погрешности оценки яркости заднего плана;
 оценка яркости элемента заднего плана медианным фильтром по
последовательности кадров оказывается более точной, чем в результате
усреднения, но требует более высоких вычислительных ресурсов;
 использование в качестве критерия обнаружения объекта контроля в
элементе изображения фиксированного порога или порога, зависящего от
дисперсии яркости, не отвечает на вопрос: какими соображениями следует
руководствоваться при выборе порога;
 работа алгоритмов зависит от условий освещенности: если
освещенность меняется относительно медленно, то модель заднего плана
«успевает адаптироваться», а резкие изменения освещенности приводят
увеличению вероятности ложного обнаружения и пропуска обнаружения
объектов контроля.
Дальнейшие исследования в области обнаружения объектов контроля
проводилось в двух направлениях: обнаружение объектов контроля в
условиях изменяющейся освещенности и обнаружение объектов контроля
для «фона», состоящего из динамических объектов.
108
Для обнаружения объектов в условиях изменяющейся освещенности
были разработаны методики, которые были основаны на предположении, что
при изменении освещенности изменяется только яркость изображения, в то
время как изменение «цветности» изображения не наблюдается. Таким
образом, алгоритмы данной группы изначально разрабатывались для работы
с цветными изображениями.
А работе [143] предложен способ определения изменений
освещенности для каждого элемента изображения в отдельности. При этом
для каждого элемента изображения выноситься решение, что произошло
одно из четырех событий: в элементе изображения отображается фон,
увеличилась/уменьшилась яркость фона, элемент изображения заслонен
объектом контроля. Для работы используется только цветное
видеоизображение с цветовой моделью RGB.
Яркость фона Ei в i -том элементе изображения:
Ei   R i ,  G i ,  B i ,
где  R i ,  G i  ,  B i  – среднее значение для
элемента
изображения для красной (R), зеленой (G) и синей (B) составляющей за N
кадров.
Обнаружение объекта контроля в элементе изображения проводиться
с использованием формул:
i -того
 I R i  R i  I G i  G i  I G i  G i  


  2 i    2 i    2 i  
,
R
G
G
i  
2
2
2









i





i

i
 R

G
B
  i    i    i  


 G 
 B  
 R 
2
 I G i    i  G i  
 I R i    i  R i  


   I B i    i  B i   ,


CDi 







 R i 
 G i 
 B i 






2
N
Ai 
ˆ i 
  i  1
i 1
i 1
N
N
2
, Bi 
ˆi 
, CD
Ai
F ,

 B,
M i   
S ,
 H ,
 CDi 2
i 1
N
,
CDi
,
Bi
CDˆ i   CD
ˆ i    1 и ˆ i    2
ˆ i  0,
в противном случае
109
2
где  R i  ,  G i ,  B i  – СКО для i -того элемента изображения для
красной (R), зеленой (G) и синей (B) составляющей за N кадров;
I R i  , I G i  , I B i  – яркость i -того элемента анализируемого изображения
для красной (R), зеленой (G) и синей (B) составляющей;
 i , CDi – искажение по яркости и по цвету соответственно.
2
2
2
Ai , Bi – нормировочные коэффициенты;
̂ i , CDˆ i – нормированное значение искажения по яркости и по цвету
соответственно;
M i  – решение относительно i -того элемента изображения, которое
выбирается из четырех вариантов:
F – объекта контроля, B – фон, S – «затемненный» фон, H –
«осветленный» фон;
 CD ,  1 ,  2 – значения порогов, определяющих принятие решения.
Недостатком данного способа то, что в неявном виде авторы
предлагают увеличить диапазон яркости, в пределах которого элемент
изображения будет классифицирован как «фон». Увеличение диапазона
яркости достигается за счет введения порогов   1 и   2 . Такой подход
приводит одновременно к снижению вероятности ложного обнаружения и
увеличению вероятности пропуска обнаружения объекта контроля. Кроме
того, недостатком данного алгоритма является и то, что авторами не
учитывается тот факт, что изменение освещенности приводит к изменению
яркости всех элементов изображения в целом, а не по отдельности. Это
ˆ i , что также
приводит к высокой погрешности оценки параметров ̂ i , CD
снижает достоверность принимаемого решения.
В работе
[235] предложен способ определения изменений
освещенности для каждого элемента изображения в отдельности. Для работы
используется только цветное видеоизображение с цветовой моделью HSV.
Яркость фона Ei в i -том элементе изображения:
Ei  BH i , BS i , BV i ,
где BH i , BS i  , BV i  – медиана для i -того элемента изображения для
тона (H), насыщенности (S) и яркости (V) за N кадров.
Обнаружение объекта контроля в элементе изображения проводиться
с использованием формулы:
I V i 

  and I S i   BS i    S and I H i   B H i    H ;
B, если 
BV i 
SPi   
F , в противном случае.

где I H i , I S i , I V i  – яркость i -того элемента анализируемого
изображения для тона (H), насыщенности (S) и яркости (V);
 ,  , S , H – значения порогов, определяющих принятие решения;
110
F – объекта контроля, B – фон.
Недостатком данного алгоритма в целом совпадают с недостатками
вышеописанного алгоритма. Увеличение диапазона яркости, в пределах
которого элемент изображения будет отнесен к фону, происходит с
использованием параметров  и  .
Известный способ [144] обнаружения объектов контроля на
видеоизображении является усовершенствованием [127]. Для работы
используется только цветное изображение с цветовой моделью RGB.
Отличие его состоит в наличии этапа постобработки. Если на этапе
обнаружения было принято решение, что элемент изображения не является
частью «фона», то проводиться анализ с использованием дополнительной
модели фона, описываемой параметрами, которые автор называет
хроматическими и градиентными. Основанием для разработки этого способа
служило предположение, что хроматические и градиентные параметры
малочувствительны к изменениям освещенности.
Хроматические параметры для цвета r , g , b вычисляются как:
rc 
r
g
, gc 
.
f  g b
f  g b
Каждому элементу дополнительной модели фона ставиться в
соответствие среднее значение и дисперсия, вычисленные по N кадрам:
2
 rc ,  rc2 ,  gc ,  gc
.
Градиентные
параметры
вычисляются
с
использованием
предварительного преобразований изображений. Так как цветовая модель
RGB состоит из трех каналов цвета, то каждое цветное изображение
получено из трех изображений, каждое из которых соответствует своему
каналу. Выбирается одно из этих изображений, например для канала r, и
применятся к нему оператор Собеля [236], который подчеркивает перепады
яркости между соседними пикселями. После применения оператора Собеля
формируется три изображения: с подчеркиванием вертикальных и
горизонтальных линий по отдельности и с подчеркиванием вертикальных и
горизонтальных линий одновременно.
Обозначим:
rgx i  – i -тый элемента изображения цветового канала r с горизонтальными
линиями;
rgy i  – i -тый элемента изображения цветового канала r с горизонтальными
линиями;
rg i  
r i   r i 
x
g
2
y
g
2
– i -тый элемента изображения цветового канала
r с горизонтальными и вертикальными линиями.
По последовательности N изображений с подчеркнутыми
вертикальными и горизонтальными линиями в отдельности вычисляются
111
средние значения:  rg ,  rg , а по последовательности N изображений с
x
y
подчеркнутыми вертикальными и горизонтальными линиями одновременно
вычисляется дисперсия  rg .
2
Такая процедура проводиться и для канала цвета g и b.
Таким образом, каждому элементу дополнительной модели фона
ставиться в соответствие 4+9 параметров:

2
rc ,  rc
, 
2
gc ,  gc
, 
, 
x
y
2
rg ,  rg ,  rg
x
y
2
gg ,  gg ,  gg
, 
y
x
2
bg ,  bg ,  bg
.
Решение с пользу наличия объекта контроля выноситься в том случае,
если выполняется одновременно пять неравенств:
rc   rc 2
 3   rc ,
g c   gc 2  3   gc ,
r
x
g
x
  rg
x
g
x
  gg
x
g
x
  bg
g
b
  r
  g
  b
  3 
  3
  3
2
y
g
  rgy
2
y
g
y
  gg
2
y
g
y
  bg
2
2
2
rg ,
gg ,
bg .
В противном случае выноситься решение, что элемент изображения
отображает фон.
Недостатком данного способа является высокий уровень ложного
обнаружения объектов контроля. Причиной тому является то, что автором не
учитывается тот факт, что изменение освещенности приводит к изменению
яркости всех элементов изображения, в то время как анализ проводиться для
каждого элемента изображения в отдельности. Кроме того, недостатком
является сложный этап постобработки, которая связана с проведением с
многочисленными преобразованиями изображений, что предъявляет высокие
требования к вычислительным способностям ЭВМ.
Таким образом, алгоритмы обнаружения объектов контроля в
условиях изменяющейся освещенности дают ответ на вопрос: произошло
изменение яркости элемента изображения из-за изменения освещенности или
из-за того, что элемент изображения был заслонен объектом контроля. В
основу этих исследований легло предположение, что из информации о цвете
можно выделить такие параметры, которые малочувствительны к
изменениям освещенности. Другими словами, эти параметры содержат
дополнительную информацию о наличии/отсутствии объекта контроля, что
можно использовать при разработке алгоритмов обнаружения. Однако,
алгоритмы этой группы имеют все недостатки (за исключением недостатков,
связанных с изменением освещенности), что и у алгоритмов, на основании
которых они были разработаны. Также этим алгоритмам присущи
следующие недостатки:
112
 решение о наличии/отсутствии объекта контроля в элементе
изображения принимается лишь по информации, содержащейся в этом
элементе, и не учитывается то обстоятельство, что изменение освещенности
приводит к изменению яркости всех элементов изображения одновременно,
таким образом, анализировать мешающее воздействие из-за изменения
освещенности целесообразно не по одному элементу, а по всем элементам
изображения;
 алгоритмы не компенсируют воздействие мешающих факторов, а
лишь выносят решение в зависимости от того, какое значение они
принимают, что приводит к снижению достоверности обнаружения.
5.2 Обнаружение объектов контроля с предварительной оценкой
плотности распределения яркости элементов видеоизображения
Другое направление, которое развивалось наряду с методиками
обнаружения в условиях изменяющейся освещенности, было связано с
обнаружением объектов контроля для «фона», состоящего из динамических
объектов (например, плывущих облаков, колышущихся веток деревьев, глади
воды и т.д.).
Для обнаружения объектов контроля на фоне динамического «фона»
были предложены методики, которые позволяли оценивать плотность
вероятности яркости элемента изображения по последовательности кадров.
Одна из методик стоится на предположении, что плотность вероятности
яркости каждого элемента (пикселя) заднего плана можно описать с
помощью плотности смеси распределений, где плотность компоненты
представляет собой нормальное распределение [129, 133, 134, 138, 171, 188,
189]. В другой проводится оценка плотности вероятности яркости методом
парзеновского окна [140, 175, 190, 191].
В литературе методика, использующая плотности смеси
распределений, где плотность компоненты представляет собой нормальное
распределение, встречается под названиями Gaussian Mixture Models (GMM)
или Mixture of Gaussians (MoG). Для определения параметров плотностей
компонентов используются алгоритмы, которые заимствованы из теории
кластеризации [161].
Для формирования модели заднего плана в [129] предполагается, что
яркость каждого элемента изображения (пикселя) можно описать смесью из
K нормальных распределений (Gaussian Mixture Models, GMM). Число K
является фиксированным и в ходе алгоритма не меняется. Если используется
серое видеоизображение, то каждому пикселю в соответствие ставиться
совокупность чисел, характеризующих средние значения, дисперсии и
априорные вероятности для каждого нормального распределения смеси. Если
же используется цветное видеоизображение, то каждому пикселю в
соответствие ставиться вектор средних значений, ковариационная матрица и
113
совокупность априорных вероятностей. Смесь нормальных распределений
описывается формулами:
P X t     i ,t   X t ,  i ,t ,  i ,t ,
K
i 1
  X t ,  ,  
1
2 
n
2

1
2
 1

exp   X t   T  1  X t    ,
 2

   i2 I ,
где P X t  – плотности вероятности смеси для пикселя в момент времени t ;
 i,t – априорная вероятность i -того нормального распределения в момент
времени t ;
 i,t – ковариационная матрица i -того нормального распределения в момент
времени t ;
 ,  2 – вектор средних значений и вектор дисперсий соответственно;
I – единичная матрица с числом столбцов и строк равным количеству
каналов яркости цветного изображения.
Для определения параметров смеси нормальных распределений
используется алгоритм k-средних. На этапе обучения находят евклидово
расстояние между значением пикселя обрабатываемого в данный момент
изображения и средними значениями смеси нормальных распределений для
соответствующего пикселя модели заднего плана. Для среднего значения
нормального распределения смеси, расстояние до которого минимально,
обновляют параметры согласно формулам:
 k ,t  1    k ,t 1   M k ,t ,
 t  1    t 1  X t ,


 t2  1    t21    X t   t T  X t   t  ,
   X t ,  k ,  k ,
где  – скорость обновления;


M k ,t – равен 1, если евклидово расстояние минимально для k -того среднего
значения нормального распределения смеси, 0 – в противном случае.
После обновления априорных вероятностей  k ,t плотность
вероятности смеси нормируют, чтобы несобственный интеграл от плотности
вероятности в пределах от   до   был равен единице:
i 
i
K
 j
j 1
114
.
На этапе обнаружения, K нормальных распределений сортируются
по убыванию по значению
 j  2j . Из них выбирается первые B
распределений, где B выбирается согласно формуле:
 b

B  arg min   k  T 
b  k 1

где T показывает, какая часть от общего количества кадров, участвовавших
в обучении, будет использована для формирования модели заднего плана.
Если хотя бы для одного из выбранных B распределений значение
пикселя обрабатываемого в данный момент изображения отклоняется от
среднего значения  i на величину меньшую чем 2,5 i , то пиксель
классифицируется как задний план, в противном случае – как объект
контроля.
Этап обновления модели заднего плана производят для всех K
нормальных распределений в соответствии с формулами:
 k ,t  1    k ,t 1   M k ,t ,

 t  1    t 1  X t ,

 t2  1    t21    X t   t T  X t   t  ,
   X t ,  k ,  k ,


где M k ,t – равен 1, если для k -того нормального распределения смеси
значение пикселя обрабатываемого в данный момент изображения
отклонилось от среднего значения  k на величину, меньшую чем 2,5 k .
Если не было найдено ни одного соответствия, то последнее
распределение (с наименьшим значением
 j  2j ) удаляют, и вместо него
вставляют распределение с параметрами: среднее значение равно значению
яркости пикселя, а начальное значение дисперсии и априорной вероятности
задается оператором в начале программы.
Недостатком является зависимость коэффициента скорости
обновления  от изменения заднего плана, при котором приходиться искать
компромиссные решения. При выборе низкой скорости обновления 
формируется модель, которая с трудом описывает резкие изменения заднего
плана, в первую очередь это изменение освещенности. При выборе высокой
скорости обновления  , медленно движущиеся объекты контроля (либо
остановившиеся на короткое время) становятся частью заднего плана. Это
приводит к увеличению вероятности ложного обнаружения и пропуска
обнаружения объектов контроля.
Способ [134] является усовершенствованием [129]. Для работы
используется только цветное видеоизображение с цветовой моделью RGB.
Отличие его состоит в том, что для классификации пикселя к заднему плану
или постороннему объекту используется не только значение пикселя
115
обрабатываемого в данный момент изображения, но и значения четырех
соседних пикселей. Из центрального и четырех соседних пикселей
формируются граф, который делят на два подграфа по алгоритму
минимального разреза (min-cut). Решение о принадлежности к заднему плану
и постороннему объекту выносится сразу для всех пикселей, входящих в
подграф.
Недостатком является низкая скорость обработки из-за большого
объема операций, которые приходятся для работы с графами, формируемых
из пикселей. Это ограничивает его применение в системах реального
времени. Также данный способ имеет все те же недостатки, что и способ
[129].
Метод [138] является усовершенствованием [129]. Для работы
используется только цветное видеоизображение с цветовой моделью RGB.
После обнаружения объектов на изображении производится несколько
этапов постобработки изображения. Чтобы уменьшить количество пикселей,
соответствующих ошибочно обнаруженным посторонним объектам, все
одиночные пиксели и пары соседних пикселей, соответствующие
посторонним объектам, но окруженные пикселями, помеченными как задний
план, также помечаются как задний план. Чтобы подавить тени от
посторонних объектов используются алгоритмы, описанные в работах [143]
(алгоритм, основанный на неизменности «цветности» пикселя изображения,
находящегося под тенью) и [144] (градиентный алгоритм). Если по обоим
алгоритмам для одного и того же пикселя выносится одинаковое решение,
что пиксель изображения не является частью постороннего объекта, а частью
тени, то пиксель относят к заднему плану. Затем над изображением-маской
проводят морфологические операции эрозии и дилатации, что снижает число
неверно классифицированных пикселей.
Недостатком данного способа является низкое быстродействие за
счет сложного этапа постобработки изображения, что ограничивает его
использование в системах реального времени. Также недостатком данного
способа является низкая обнаруживающая способность относительно
небольших объектов, так как после использования операций эрозии и
дилатации, такие объекты будут удалены с изображения. Также данный
способ имеет все те же недостатки, что и способ [129].
В литературе методика, использующая для оценки плотности
вероятности яркости парзеновские окна, встречается под названиями Kernel
Density Estimation, KDE.
В известном способе [130] определения появления объектов контроля
на видеоизображении предварительно оценивается плотности распределения
яркости элементов изображения по N предыдущим кадрам. Каждому
элементу изображения в соответствии ставиться N значений яркости. Из них
составляется N  1 разностей «соседних» яркостей.
Среднеквадратического отклонения (СКО) шума определяется по
формуле:
116
 
m
,
0,68 2
где m – значение медианы разностей.
Если используется цветное изображение, то эта процедура
проводиться для каждого канала яркости. Значение медианы и дисперсии для
каждого из каналов яркости определяется независимо друг от друга.
Плотность вероятности описывается формулами:
1 N
P xt   
N i 1
1
2 
d
2

1
2
 1

exp   xt  xi T  1  xt  xi  ,
 2

 1 xt , j  xi , j 2 
1 N d
1
,
P xt   
exp 
2
N i 1 j 1 2 2
2



j
j

где xi , j – яркость пикселя для j -того канала яркости изображения,
xt , j – яркость пикселя для j -того канала яркости обрабатываемого в данный
момент изображения;
N – количество кадров, используемых для оценки плотности распределения;
d – количество каналов яркости изображения;
 – диагональная ковариационная матрица;
 2j – значение дисперсии для j -того канала яркости изображения.
На этапе обнаружения для пикселя обрабатываемого в данный
момент изображения определяется значение вероятности. Если вероятность
больше установленного порога, то пиксель классифицируется как
посторонний объект, в противном случае как задний план.
Этап обновления заднего плана предлагается производить по одной
из трех схем:
– Short-term – обновление модели заднего плана происходит только,
если пиксель классифицирован как задний план;
– Long-term – обновление заднего плана модели происходит
постоянно;
– комбинация Short-term и Long-term.
При обновлении модели первое значение яркости удаляется, а в конец
добавляется значение яркости обрабатываемого в данный момент
изображения. Таким образом, количество кадров для оценки плотности
распределения яркости остается равным N .
Недостатком является низкая скорость обработки, так как при
определении СКО шума используется медианный фильтр, для которого
необходимо проведение операции сортировки значений по убыванию или
возрастанию, а также большой объем памяти для хранения модели заднего
плана для описания возможных изменений, происходящих на заднем плане.
Кроме того, сложные погодные условия (дождь, снег и т.д.) негативно
117
влияют на работу алгоритма, так как резкие изменения из-за осадков
увеличивают СКО шума, что приводит к пропуску объектов контроля.
Таким образом, алгоритмы обнаружения объектов контроля, в
которых оценивается плотность вероятности яркости элемента изображения
по последовательности кадров, лишены большинства недостатков, которые
присущи алгоритмам, в которых полагается, что плотность вероятности
яркости каждого элемента (пикселя) заднего плана подчиняется нормальному
закону распределения. Однако алгоритмы этой группы также имеют свои
недостатки:
 процедура оценки плотности вероятности яркости элемента
изображения требует проведение большого числа операций, что предъявляет
определенные требования к быстродействию, объему памяти, возможности
работы в режиме реального времени;
 алгоритмы KDE и MoG решают задачу аппроксимации плотности
вероятности яркости элемента видеоизображения, а не решают задачу оценки
яркости фона (или нескольких значений яркостей) в элементе изображения;
 алгоритмы MoG не решают проблему резких изменений
освещенности, которые приводят к увеличению вероятности ложного
обнаружения и пропуска обнаружения объектов контроля;
 алгоритмы KDE не предполагают наличие неизвестных (например,
средние значения плотностей компонент у смеси распределения) или
мешающих параметров (например, параметров освещенности), которые
характеризуют яркость заднего плана и влияют на работу обнаружителя.

5.3 Эвристические методы обнаружения объектов контроля
Наряду с описанными выше , существуют алгоритмы обнаружения
объекта контроля, которые представляют интерес для исследования. Эти
алгоритмы обнаружения, использующие эвристические процедуры
формирования видеоизображения фона, а в качестве критерия обнаружения
предустановленные пороги.
Известен способ [132] определения появления объектов контроля на
видеоизображении. Для формирования модели заднего плана используется
методика реестра кодов (кодовой книги, Codebook). На этапе формирования
модели заднего плана формируются кодовые слова (codeword). В случае
использования черно-белого видеоизображения каждому пикселю в
соответствие ставиться несколько кодовых слов, в которых содержится
среднее значение яркости, минимальное и максимальное значение яркости,
частность использования кодового слова, наибольший интервал, в течение
которого использовалось кодовое слово (  ), первый и последний момент
использования кодового слова. Единственное отличие при использовании
цветного видеоизображения состоит в том, что каждому пикселю вместо
среднего значения яркости ставиться вектор средних значений для каждого
118
из канала яркости. Перед этапом обнаружения, удаляют те кодовые слова, у
которых значение параметра  больше выбранного порога (  -фильтрация).
Этап обнаружения состоит в поиске соответствия значения пикселя
обрабатываемого в данный момент изображения одному из кодовых слов.
Если этого соответствия не найдено, то пиксель классифицируется как
объект контроля. Этап обновления состоит в том, что в случае обнаружения
совпадения, обновляются параметры кодовых слов. Обновление происходит
с использованием коэффициентов скорости обновление, чтобы учитывать
изменение освещенности. Кроме того, те кодовые слова, которым не находят
соответствия в течение определенного времени удаляются. Добавление
новых кодовых слов происходит из дополнительного реестра кодов, который
формируется на этапе обнаружения тем же самым способом, что и основной
реестр кодов на этапе обучения.
Недостатком является зависимость коэффициентов скорости
обновления от изменения заднего плана, при котором приходиться искать
компромиссные решения. При выборе низкой скорости обновления
формируется модель, которая с трудом описывает резкие изменения заднего
плана, в первую очередь это изменение освещенности. При выборе высокой
скорости обновления, медленно движущиеся посторонние объекты (либо
остановившиеся на короткое время) становятся частью заднего плана. И в
первом и во втором случае это приводит к низкому обнаружению
посторонних объектов и высокому ошибочному обнаружению. Также
недостатком является выбор порога, который используются для
формирования кодовых слов (этап формирования модели заднего плана).
Выбор низкого порога на этапе формирования модели приведет к
формированию значительного числа кодовых слов, а при выборе высокого
порога – формированию малого числа кодовых слов. Если будет
сформировано значительное число кодовых слов, то большая их часть будет
удалена после  -фильтрации. Таким образом, модель окажется неполной,
что приводит к ошибочному обнаружению. Выбор высокого порога на этапе
формирования модели приведет к тому, что малое число кодовых слов будут
описывать не только задний план, но и посторонние объекты, что приводит к
низкому обнаружению посторонних объектов. Также недостатком является
выбор порога, который используются для обнаружения посторонних
объектов. Выбор низкого порога приводит к увеличению вероятности
ложного обнаружения из-за резких изменений заднего плана, в первую
очередь это изменение освещенности. Выбор высокого порога приводит к
увеличению вероятности пропуска обнаружения объекта контроля.
Гибридный способ [141] основан на детекторе особых точек Харриса
(Harris) [145] и описании особой точки с помощью дескриптора SIFT [146].
Обнаружение объектов контроля происходит следующим образом: к
изображению применяется детектор Харриса для определения особых точек.
Вокруг каждой особой точки выделяется область 8x8 пикселей. Особая точка
и область вокруг нее описывается 256-размерным вектором, где первые 128
значений – соответствует дескриптору SIFT, следующие 64 значения будут
119
соответствовать яркости пикселей в канале, соответствующему красному
цвету, и последние 64 значения будут соответствовать яркости пикселей в
канале, соответствующему зеленому цвету. Если в окрестности особой точки
5х5 пикселей на последующих кадрах обнаруживаются особые точки, то для
них находят коэффициент корреляции:
Correlation 
 U i  Vi
i

U i2
 Vi
2
,
i
где U i , Vi – элементы 256-размерных векторов, которые описывают особые
точки.
Если коэффициент корреляции больше установленного значения, то
принимается решение, что данная точка соответствует заднему плану. При
этом происходит обновление параметров особой точки: происходит пересчет
значений 256-размерного вектора – он заменятся на усредненное значение,
увеличивается параметр частоты использования данной точки, а также
вычисляются среднее значение корреляции и среднеквадратичное
отклонение корреляции. Если коэффициент корреляции меньше
установленного значения, то принимается решение, что данная точка
соответствует переднему плану, и при этом частота использования данной
особой точки уменьшается. Когда частота использования становится равной
нулю, особая точка удаляется из модели заднего плана.
Параллельно с описываемым процессом классификации: задний
план/посторонний объект также используется пространственно-временная
фильтрация изображения. Она реализуется следующим образом. На основе
двух соседних изображений получают разностное изображение, к которому
применяют детектор Харриса. Все найденные особые точки будут
соответствовать только возможным посторонним объектам. В течение пяти
последующих кадров внутри области 10х10 пикселей для точки полученной
на разностном изображении ведется подсчет точек (пикселей),
классифицированных как посторонний объект по выше описанному способу.
Если за этот промежуток времени, количество точек будет больше
установленного порога, то для этой области выносится решение, что данная
область содержит посторонний объект, в противном случае все точки этой
области будут классифицированы как задний план.
Недостатком данного способа является сложность процесса
классификации задний план/посторонний объект. Также данный способ
имеет очень низкую разрешающую способность, так как он выносит решение
о классификации только для особых точек на изображении, не учитывая всех
оставшихся. Также недостатком является данные, хранящиеся внутри 256размерного вектора, описывающего особую точку и область вокруг нее, так
как внутри этого вектора содержатся данные разной размерности (128
первых значений описываются с помощью SIFT, 128 последних значений
описываются яркостью цветовых каналов), что не позволяет строить на базе
120
данного способа универсальную систему обнаружения, то есть для каждой
конкретной сцены, необходимо подбирать свой собственный порог
коэффициента корреляции для классификации: задний план/посторонний
объект. Также недостатком является неравномерность обновления
параметров заднего плана, описываемого частотой использования особой
точки, что может приводить к такому явлению, что посторонний объект,
остановившийся в течение длительного времени становиться частью заднего
плана, но время «забывания» старой модели заднего плана не является
фиксированной величиной и может быть очень велико, так что модель фона
обновляется неравномерно. Также недостатком является невозможность
использования данного способа для мест с постоянным движением, так как
при постоянном движении оценка параметров особых точек не будет точной,
потому что в области 8x8 пикселей, которая окружает особую точку, часть
пикселей будет принадлежать движущемуся постороннему объекту, что
приводит к погрешности оценки параметров 256-размерного вектора, и как
следствие повышает вероятность пропуска обнаружения постороннего
объекта. Также недостатком является задержка получения результата
обнаружения (в описываемом способе на 5 кадров) из-за параллельной
пространственно-временной фильтрации изображения. Также в сложных
резкие перепады яркости из-за осадков приводят к появлению значительного
числа особых точек, не соответствующих «фону», что нарушает работу
алгоритма.
В известном методе [142] на этапе обучения используется
последовательность кадров, то есть каждому пикселю соответствует свой
временной ряд из значений яркости. Затем к полученному ряду применяют
оконную функцию (например, гауссово окно), чтобы при дискретном
преобразовании Фурье (ДПФ) не было разрывов фазы. Затем применяют
ДПФ и полученный ряд из амплитуд гармоник усекают до некоторого числа
k гармоник. Они будут использоваться для формирования модели заднего
плана. При анализе следующего кадра, последнее значение яркости во
временном ряду стирается, а в начало добавляется соответствующая пикселю
яркость анализируемого кадра. Затем процедура поиска гармоник для
полученного нового ряда повторяется. Затем ищут евклидово расстояние
между гармониками, полуденными на этапе обучение, и гармониками,
полученными при анализе кадра. Если найденное расстояние меньше
установленного порога, то выносится решение о том, что в нет объекта
контроля, в противном случае – есть. Модель заднего плана обновляется в
соответствии с формулой:
at 1[k ]  at [k ]    at [k ]  bt [k ] ,
где at [k ] – k -ая гармоника в момент времени t в модели заднего плана;
bt [k ] – k -ая гармоника в момент времени t , полученная при анализе кадра;
 – скорость обновления.
Недостатком данного способа является сильная зависимость работы
алгоритма от длины временного ряда, так как при выборе короткого
121
временного ряда не удается описать модель заднего плана, приемлемой для
обнаружения, а при выборе длинного временного ряда скорость обработки
значительно снижается, так как преобразования Фурье требует выполнение
большого числа операций. Последнее ограничение на выбор длины
временного ряда также приводит к невозможности использования данного
способа для мест с постоянным движением, так как постоянное движение в
течение относительно небольшого временного интервала приводит к тому,
что каждый пиксель изображения будет характеризоваться нестационарным
процессом. Из-за этого возникают переходные процессы, то есть модель
заднего плана будет постоянно меняться, что приводит к увеличению
вероятности ложного обнаружения и пропуска обнаружения объектов
контроля.
Таким образом, алгоритмы обнаружения объектов контроля, в
которых для описания яркости заднего плана и обнаружение предлагаются
методы, существенно отличающиеся от методов теории вероятности и
кластерного анализа, имеют больше недостатков, чем преимуществ. Однако
изложенные в них принципы также полезны для развития научных
дисциплин, так как исследование предложенных методик может привести к
новым научным результатам.
Как можно видеть из приведенных алгоритмов, основное внимание
исследователей приковано к разработке модели фона, в то время как задача
обнаружения сводиться к вычислению разности яркости между элементом
анализируемого изображения и соответствующим элементом в модели фона
и сравнением вычисленного значения с некоторым порогом.
5.4 Обнаружение
видеонаблюдения
объектов
контроля
для
движущихся
систем
Вышеприведенные методы, способы и алгоритмы могут быть
использованы и для обнаружения неподвижных объектов контроля при
движущейся системе видеонаблюдения. Особенностью данного направления
является то, что в задаче с движущимися видеокамерами происходит
постоянное изменение фона, поэтому оценить изображение фона нельзя.
Вместо оценки фона определяют изображение «объекта контроля» или
объекту в соответствие ставят «образ», который является его вероятностной
характеристикой (процедура формирования «образа» называется обучением).
Сформированный «образ» используют для обнаружения «объекта контроля»
на изображении. В тех задачах, где основная информация содержаться в его
геометрической форме, активно пользуются методами контурного анализа.
Среди методик обнаружения для видеокамер, расположенных на
подвижных объектах, можно выделить несколько основных направлений.
Известны алгоритмы предварительного выделения информативных
признаков по фрагментам изображения, формируемого вокруг так
122
называемых точек интереса [200, 201, 202, 203, 204, 205, 209, 210, 211, 218,
219, 220, 221].
В работе [200] перед проведением обнаружения проводиться этап
«обучения». На этом этапе выбираются изображения, содержащие объекта
контроля. На изображении вручную выделяется объект контроля и к
полученному изображению применяется так называемый «детектор точек
интереса» (детектор Харриса [145], Фостера [237] и т.д.). Вокруг найденных
точек формируются области размером N×N элементов. Такая процедура
повторяется для каждого обучающего изображения. Все сформированные
области группируются с использованием алгоритмов кластеризации, при
этом вектор, по которому проводиться кластеризация данных, формируется
по значениям яркости пикселей области вокруг точки интереса. Области в
группе усредняются по каждому элементу вектора в отдельности, формируя
«образы» – фрагменты изображения объекта контроля.
На этапе обнаружения на анализируемом изображении проводиться
предварительно проводится поиск точек интереса, вокруг которых
выделяются области N×N пикселей. После этого вычисляется расстояние
между областями и «образами», среди которых находиться наиболее близкий
в смысле евклидового расстояния. Если расстояние меньше областью и
«образом» будет меньше заданного порога, то принимается решение, что
найдено соответствие между анализируемой областью и фрагментом объекта
контроля. Такая процедура проводиться для всех областей вокруг «точек
интереса» анализируемого изображения. Если количество соответствий
между областями на анализируемом изображении и «образами» будет
больше установленного порога, то выноситься решение, что объект контроля
обнаружен.
Недостатком данного способа является то, что он подходит только в
случае распознавания объектов контроля, в которых содержаться «точки
интереса», в противном случае теряется смысл его применения. Другим
недостатком данного способа является то, что при обнаружении объекта
контроля делается неявное предположение, что «фон», на котором может
располагаться объект контроля, соответствует нулевой яркости, что является
в большинстве случаев неверным. Другими словами авторы не учитывают
статистические характеристики фона. Также недостатком данного способа
является эмпирический подход к выбору порогов. То есть, нет четких
критериев для выбора значения порога, что усложняет разработку
алгоритмов и снижает достоверность обнаружения.
Другое направление обнаружения объектов контроля связано с
предварительным выделением контуров и сравнения с эталоном, который
соответствует объекту [213, 214, 216, 217, 222, 226, 228].
Согласно методу [214] для обнаружения объекта контроля контур
кодируется последовательностью, состоящей из комплексных чисел. Эта
процедура строиться следующим образом: на контуре фиксируется точка,
которая называется начальной точкой. Затем, контур обходится (например,
по часовой стрелке), и каждый вектор смещения записывается комплексным
123
числом a+ib. где a – смещение точки по оси X, а b – смещение по оси Y.
Смещение берется относительно предыдущей точки (см. рис 5.1).
Рис. 5.1 – Графическое представление кодирования контура
Объекту контроля в соответствие ставиться контур Г, который
описывается k-мерным вектором комплексных чисел:
   0 ,  1 .. k 1 .
Задача
обнаружения
сводиться
к
выделению
контура
V   0 , 1 .. k 1  на анализируемом изображении и сравнению величины
 max , которая является мерой схожести двух контуров (  max может
принимать значение в диапазоне 0;1 ), с выбранным порогом обнаружения.
Значение  max является комплексным числом и определяется
согласно формуле:
 max  max


 m
V
, m  0, 1 .. k  1,
m 
m 
где  m  , V
– скалярное произведение контуров  и V ;
V m  – контур, получаемый из V путем циклического сдвига на m
V 1   1 , 2 , 3 , 0  ,
V   0 , 1 , 2 , 3 ,
элементов
(например,
V 2    2 , 3 , 0 , 1  ).
k 1
, V     n ; n  ;

n 0
k 1
k 1
n 0
n 0
 n2 , V 
 n 2
– норма контура  и V соответственно.
124
Недостатком данного способа является его высокая ограниченность
использования, связанная с обнаружением объектов по их геометрической
форме (контуру), при этом игнорируя информацию о цвете и яркости объекта
контроля. Алгоритм очень чувствителен к воздействию шума, который
существенно влияет на качество получаемых контуров. Также как и в
предыдущем способе не учитывается статистические характеристики
изображения «фона» и порог обнаружения определяется опытным путем, что
приводит к снижению достоверности обнаружения.
В работах [214, 227, 229, 230, 231, 232] предложен подход, который
представляет собой нечто среднее между тем, что было описано в двух
предыдущих подходах. В этом способе на этапе «обучения» объект контроля
рассматривается не как совокупность областей вокруг точек интереса, а как
совокупность примитивных геометрических фигур (примитивов): линий,
углов, треугольников, окружностей и т.д. На этапе обучения происходит
распознавание этих примитивов на обучающих изображениях и группировка
по их расположению. Тем самым «образ» объекта контроля формируется из
примитивов и их местоположению относительно друг друга. Если на
анализируемом изображении обнаруженные примитивы располагаются так
же как и на «образе», то принимается решение, что обнаружен объект
контроля.
Этот способ имеет все те же недостатки, что и описанные способы: не
учитывается фоновое изображение и используется эмпирический подход к
выбору порогов.
Как можно видеть из представленных алгоритмов, основное
внимание исследователей уделяется статистическим характеристикам
«объекта контроля» (изображению его отдельных фрагментов, контурам,
взаимному расположению примитивов и т.д.), при этом не учитывается
сигнал «фона». Обнаружение объектов контроля сводиться к вычислению
некоторой метрики (расстояния) между анализируемым изображением и
«образом» объекта контроля и сравнению вычисленного расстояния с
порогом, который определяется экспериментальным путем. Такой подход
ограничивает разработку алгоритмов обнаружения по заданным критериям,
что приводит к снижению достоверности обнаружения объектов контроля.
В настоящее время активно развивается направление, связанное с
разработкой методов оптимальной обработки изображений [148, 149, 150,
151, 152, 153, 157, 159, 160, 162, 163, 164, 165, 166, 167, 168, 169]. В
настоящем разделе монографии будут использоваться эти методы для
разработки алгоритмов реального масштаба времени, которые позволят
повысить достоверность обнаружения в сложных погодных условиях при
изменяющейся освещенности.
125
Глава 6 Методика решения задач обнаружения объекта
контроля на видеоизображении
6.1 Постановка задачи обнаружения объектов контроля
В системах видеонаблюдения прием реальных сигналов
производиться на фоне шумов, которые искажают передаваемый исходный
сигнал. Совокупность операций, выполняемых над входной смесью сигнала и
шума при решении задач обнаружения, различения, оценки неизвестных
параметров сигнала, фильтрации и т.д. называется обработкой принятого
сигнала.
Задача обнаружения объекта контроля при обработке изображений
сформулирована следующим образом: в анализируемом фрагменте
изображений x может наблюдаться либо смесь сигнала объекта контроля f с
шумом n , либо смесь сигнала фона b с шумом n :
x    b  1     f  n ,
где x   x1 , x 2 ..x N 
T
– значения яркости, соответствующие фрагменту
изображения; b  b1 , b2 ..bN 
T
– значения яркости, соответствующие
изображению объекта контроля; f   f1 , f 2 .. f N 
T
– значения яркости,
соответствующие изображению «фона»; n  n1 , n2 ..n N  – отсчеты шума.
Располагая некоторыми априорными знаниями о статистических
характеристиках объекта контроля, фона и шума, с помощью устройства
обнаружения необходимо решить: содержится во фрагменте изображения
сигнала объекта контроля или фона.
Для описания задачи обнаружения вводятся следующие
вероятностные характеристики:
H b – гипотеза о наличии сигнала b в принятом сигнале x ;
T
H f – гипотеза о наличии сигнала f в принятом сигнале x ;
px | H b  – плотнеть вероятности наблюдаемого сигнала x при условии,
что справедлива гипотеза H b ;
px | H f  – плотнеть вероятности наблюдаемого сигнала x при условии,
что справедлива гипотеза H f ;
PH b  , PH f  – априорные вероятности наличия сигналов b и f
соответственно;
Ĥ b , Ĥ f – принятые обнаружителем решения.
Решение, принимаемое обнаружителем, может быть как правильным,
так и ошибочным. При этом возможны следующие ситуации:
126
1) Abb → H b → Ĥ b – справедлива гипотеза H b , принято решение Ĥ b ;
2) Abf → H b → Ĥ f – справедлива гипотеза H b , принято решение Ĥ f ;
3) A fb → H f → Ĥ b – справедлива гипотеза H f , принято решение Ĥ b ;
4) A ff → H f → Ĥ f – справедлива гипотеза H f , принято решение Ĥ f .
Сопоставим каждому событию в соответствие некие числа
следующим неким образом: Abb → Rbb , Abf → Rbf , A fb → R fb , A ff → R ff . Эти
числа в теории проверки статистических гипотез называются рисками
(потерями, штрафами), которые количественно выражают потери от
принятого решения.
В теории проверки статистических гипотез все виды решающих
правил основаны на вычислении отношении правдоподобия x  и его
сравнением с определенным порогом  .
Решающее правило согласно критерию среднего риска имеет вид:
x    ,  x  
R fb  R ff   PH f 
px | H b 
, 
Rbf  Rbb   PH b  .
p x | H f 
Критерий идеального наблюдателя возникает как частный случай
критерия среднего риска в предположении, что R ff = Rbb = 0, Rbf = R fb = 1. В
результате алгоритм обнаружения имеет вид:
PH f 
px | H b 

, 
.
x    ,  x  
PH b 
p x | H f 
При PH f   PH b  алгоритм обнаружения носит названия
максимума апостериорной вероятности (МАВ), а при PH f   PH b   0,5
– максимального правдоподобия (МП).
При отсутствии априорной информации о вероятностях PH b  ,
PH f  используется критерий Неймана-Пирсона, в соответствии с которым
 определяется таким образом, чтобы вероятность ложной тревоги
PAbf  была не больше заданного значения  :
порог

 p | H b d   .

где  – случайное значение отношения правдоподобия;
p | H b  – плотность вероятности отношения правдоподобия при условии
справедливости гипотезы H b .
127
6.2 Распределение яркости фона и объекта контроля в элементе
изображения
Видеоизображение представляет собой совокупность элементов
(пикселей), где яркость каждого элемента представляет собой функцию
времени. Пусть в I -том элементе изображение в момент времени t
наблюдается сигнал яркости x I t .
Решаемая задача предполагает наличие сигнала яркости bt  ,
который соответствует фону, сигнала яркости f t  , который соответствует
объекту контроля, и сигнала помехи nt  , основными источниками которого
является шум светочувствительной матрицы и вибрация видеокамеры. Если в
момент времени t в I -том элементе изображения присутствует фон, то
будет наблюдаться сумма сигналов bI t   nI t  , если в элементе
изображения присутствует объект контроля, то будет наблюдаться сумма
сигналов f I t   nI t  . Это утверждение можно записать в виде:
(6.1)
x I t     bI t   1     f I t   nI t  ,
где x I t  – яркость I -того элемента изображения в момент
времени t ;
  1, если верна гипотеза H b ;
  0 , если верна гипотеза H f ;
H b – гипотеза о наличии сигнала фона;
H f – гипотеза о наличии сигнала объекта контроля.
Обработка сигналов видеоизображений происходит в цифровом виде.
Цифровой сигнал – это сигнал данных, у которого каждый из
представляющих параметров описывается функцией дискретного времени и
конечным множеством возможных значений [155]. Другими словами,
отсчеты яркости наблюдаемого сигнала берутся в дискретные моменты
времени, отстоящие друг от друга на одинаковый интервал времени (период
следования кадров).
Опустим символ I , считая, что для каждого элемента изображения
применима формула (6.1). При работе с цифровыми сигналами формула (6.1)
запишется в виде:
xi    bi  1     f i  ni ,
(6.2)
где символ i обозначает значение яркости в i -тый момент времени.
Выражение (6.2) является одной из известных формул в
статистической теории систем радиотехники и связи (СТРТС) [22].
Рассматриваемая задача обнаружения объектов контроля представляет собой
частный случай задачи различения сигналов в СТРТС.
Задача различения сигналов ставится корректно, когда об ожидаемых
сигналах имеется достаточный объем информации, т.е. известны вид или
128
форма сигналов, при этом допускается, что часть параметров сигналов
неизвестны, но имеются их статистические характеристики [148].
Для
определения
статистических
характеристик
сигналов
рассмотрены три частных случая:
1. на месте I -того элемента (пикселя) изображения постоянно
наблюдается фон (рис. 6.1);
2. на месте I -того элемента (пикселя) изображения постоянно
наблюдаются объекты контроля (рис. 6.3);
3. на месте I -того элемента (пикселя) изображения наблюдается то
фон, то объекты контроля (рис. 6.5).
1. Если на месте I -того элемента (пикселя) изображения постоянно
наблюдается фон b (рис. 6.1), и, исходя из предположения, что яркость фона
в элементе изображения меняется сравнительно медленно и на интервале
анализа является практически постоянной величиной mb , то в таком случае
плотность вероятности яркости можно описать дельта-функцией:
pb    b  mb .
(6.3)
Плотность вероятности яркости шума n описывается нормальным
законом распределения с нулевым средним [127, 129, 143, 144, 151, 152]:
pn  
 n – СКО шума.
 n2 
,
exp  
2 
2  n
 2 n 
1
Рис. 6.1 – На последовательности кадров в
только фон
129
(6.4)
I -том элементе наблюдается
Найдем плотность вероятности p x | H b  наблюдаемого сигнала x
при условии, что справедлива гипотеза H b , то есть если xi  bi  ni :
p x | H b  
  x  mb  2 
.
exp 
2

2  n
2 n 

1
(6.5)
Графическая форма плотности распределения яркости элемента
изображения фона p x | H b  представлена на рис. 6.2.


Рис. 6.2 – Плотность вероятности яркости p x | H b
2. Если на месте I -того элемента (пикселя) изображения постоянно
наблюдаются объекты контроля f . Рассмотрим, к примеру, постоянно
движущийся поток машин (рис. 6.3), которые двигаются так близко друг к
другу, что элемент изображения всегда заслонен одной из машин.
Рис. 6.3 – На последовательности кадров в I -том элементе наблюдается
только объекты контроля
Машины могут быть различных оттенков яркости и ни одному из
градаций яркости нельзя отдать предпочтения. В таком случае плотность
130
вероятности яркости элемента изображения имеет вид равномерного
распределения:
1

, f   f min , f max 

f

f
,
p f    max
min
0, f   f , f 

min
max
(6.6)
где f min , f max – минимальное и максимальное значение яркости, которые
способна фиксировать видеокамера, соответственно.
Найдем плотность вероятности p x | H f наблюдаемого сигнала x


при условии, что справедлива гипотеза H f , то есть если xi  f i  ni .
Обозначим плотность вероятности яркости объекта контроля как p1  f  и
плотность вероятности шума как p2 n , чтобы различать их друг от друга.
Чтобы найти плотность вероятности суммы случных величин, положим, что
величины являются независимыми, и воспользуемся теорией математической
статистики [168]:
p x | H f  



 f max
  x  z 2 
1
1

dz 

exp
 f max  f min 2 

2 n2 
f min

n
xz
x  f max
t
;
t
;

2
n
 x  z  
z  f max ;
1

n
dz  z  x  t   n ;
exp 

x  f min
z  f min ;
2 n2 
2  n

t
.
dz   n  dt;
n
 p1 z   p 2 x  z dz 
1

 f min 
f max

f min
f max
x  f max

n
 t
 N
1

  exp 
 f max  f min  2  n x f min  2
n

x  f max
  x  f max
1
 Ф
2 f max  f min     n
2

n

 t2 
1
2
dt 

  exp  dt 
2 f max  f min  2 x  f min

 2
n
  x  f min 

 x  f min 
 x  f max
1
  Ф
 
  Ф
 Ф

  n  2 f max  f min     n 
 n
px | H f  
  x  f min
1
 Ф
2 f max  f min     n
где Ф x  
 t2 
2 x
  exp  dt – функция Крампа.
2 0
 2

 x  f max
  Ф

 n

 ,


 .

(6.7)
Графическая форма плотности распределения яркости элемента
изображения объекта контроля p x | H b  представлена на рис. 6.4.
131

Рис. 6.4 – Плотность вероятности яркости p x | H f
3. В третьем случае элемент изображения
контроля, либо отображает фон (рис. 6.5).
I

либо заслонен объектом
Рис. 6.5 – На последовательности кадров в I -том элементе наблюдается то
фон, то объекты контроля
При этом плотность вероятности яркости этого элемента изображения
будет описываться смесью двух распределений [157]: суммой распределения
яркости фона элемента изображения, помноженного на априорную
вероятность наличия сигнала фона PH b , и распределения яркости
элемента, заслоненного объектом контроля, помноженного на априорную
вероятность наличия сигнала объекта контроля P H f :
 
(6.8)
px   PH b   px | H b   PH f  px | H f ,
где p x | H b  определяется по формуле (6.5); px | H f  определяется по
формуле (6.7); PH f  PH b   1 .
132
6.3 Модель видеоизображения фона и движущихся объектов контроля на
основе статистических характеристик их изображений
Разобьем решаемую задачу на два этапа. На первом этапе
производится оценка яркости фона. На втором этапе определяется появление
объекта контроля с использованием оценки яркости фона, полученной на
первом этапе. Ниже рассмотрены способы оценки яркости фона и
обнаружения объекта контроля в элементе изображения.
Рассмотрим первый этап оценки яркости фона в элементе
изображения. Обратимся к формуле (6.5), в которой интерес представляет
яркость фона mb . Более корректной записью этой формулы будет:
  x  mb  2 
,
p  x | H b , mb  
exp 
(6.9)
2


2  n
2 n 

так как она содержит неизвестный параметр mb , который необходимо
1
оценить.
Если бы заранее было известно, что значения яркости xi получены в
моменты времени, когда элемент изображения отображает фон, то оценка
m̂b сводилась к вычислению среднего значения яркости:
k
mˆ b 
 xi
i 1
k
.
Такой подход использовался в работах [127, 128, 133, 140, 143, 144,
172, 180, 181, 187].
Сложность оценки яркости m̂b состоит в том, что в элементе
изображения могут наблюдаться то фон, то объекты контроля. Модель смеси
двух распределений будет иметь следующий вид:
p x | mb   PH b   px | H b , mb   PH f  px | H f

,
(6.10)

PH f 
  x  f min 
 x  f max


  Ф

Ф

 2 f  f 
max
min
 n
  n 


 . (6.11)

С учетом (6.8) и (6.9), можем записать:
p  x | mb  
PH b 
  x  m b 2
exp 
2 n2
2  n

Выражение (6.11) представляет собой математическую модель
видеоизображения фона и движущихся объектов контроля на основе
статистических характеристик их изображений с учетом шума. Графическая
форма плотности вероятности яркости p x | mb  представлена на рис. 6.6.
133
Рис. 6.6 – Плотность вероятности яркости p x | mb 
Рассматриваемая задача оценки яркости фона mb по значению
яркости x с плотностью вероятности яркости p x | mb  представляет собой
частный случай задачи оценки параметров сигналов в СТРТС [148].
Для оценки яркости фона mb в элементе изображения используется
последовательность k кадров, когда для элемента изображения известны k
предыдущих значений яркости x1 , x 2 ..x k .
В теории вероятности статистическая взаимосвязь между значениями
случайных величин (в нашем случае, яркостей) описывается с помощью
совместной плотности вероятности случайных величин (яркостей)
p x1 , x2 ..xk  [233]. Тот факт, что совместная плотность вероятности
яркостей зависит от неизвестного параметра
px1 , x2 ..xk | mb  .
mb , отражает запись
Полагая, что отсчеты яркости элемента изображения независимы,
совместная плотность вероятности яркостей этого элемента изображения
равна произведению плотностей вероятностей яркостей отдельных величин
[233].
k
p x1 , x 2 ..x k | mb   p x1 | mb   p x 2 | mb   ..  p x k | mb    p xi | mb 
i 1
Подставляя в выражение формулу (6.10) получаем:
p x1 , x 2 ..x k | mb    PH b   p xi | H b , mb   PH f  pxi | H f .
k
i 1
Задача оценки яркости элемента изображения заднего плана сводится
к поиску такого значения яркости, при котором совместная плотность
вероятности яркостей p x1 , x2 ..xk | mb  имела бы максимальное значение,
т.е. по алгоритму максимального правдоподобия (МП) [157]:
 k

mˆ b  arg maxpx1 , x2 ..xk | mb   arg max  PH b  pxi | H b , mb   PH f  pxi | H f  .
mb
mb
 i 1

Вычисление произведения – это ресурсоемкая операция.
Воспользуемся известным приемом, когда вместо произведения вычисляется
134
логарифм от произведения. Логарифм монотонная возрастающая функция,
которая не влияет на операцию вычисления аргумента максимума:
k

mˆ b  arg max PH b   p xi | H b , mb   PH f  pxi | H f  
mb
 i 1

 k

 arg maxln  PH b   p xi | H b , mb   PH f  pxi | H f  
mb

  i 1
k

 arg max ln PH b   p xi | H b , mb   PH f  pxi | H f  .
mb
 i 1

Таким образом, задача оценки яркости фона в элементе изображения
проводится по формуле:
k

mˆ b  arg max ln PH b   p xi | H b , mb   PH f  pxi | H f  (6.12)
mb
 i 1

С учетом выражения (6.11) формула (6.12) запишется:
 k  PH 
 xi  mb 2
b

ˆ
mb  arg max  ln
exp 
2 n2
mb
 i 1  2  n


PH f    xi  f min 
 x  f max


  Ф i
Ф

 2 f  f 
n 
max
min  
 n

 
 
 
(6.13)
Рассмотрим второй этап обнаружения объекта контроля в элементе
изображения. Решение о появлении объекта контроля принимается по
алгоритму максимума апостериорной вероятности (МАВ):
(6.14)
x    ,
x  

p x | H b 
,
p x | H f 
PH f 
,
(6.15)
(6.16)
PH b 
где  x  – отношение правдоподобия; p x | H b  вычисляется по формуле
ˆ b , px | H f  вычисляется по формуле (6.7);  – порог
(6.5) при mb  m
обнаружителя.
Графически этап обнаружения представлен на рис. 6.7.
135
а)
б)
в)
Рис. 6.7 – Графическое представление алгоритма обнаружения:
диапазон яркости «фона» (а), элемент изображения помечается как «фон» (б)
и как «объект контроля» (в)
Формулы
(6.14,
6.15,
6.16)
обозначают
p x | H b  PH f 

или
что
px | H f  PH b 
px | H b   PH b   px | H f   PH f , то
136
одно
следующее:
если
и
тоже
соответствующий
элемент
изображения помечается как относящийся к «фону» (рис. 6.7 б). Если
p x | H b  PH f 
или, что одно и тоже,

p x | H f  PH b 
px | H b   PH b   px | H f   PH f ,
то
соответствующий
элемент изображения помечается как относящийся к «объекту контроля»
(рис. 6.7 в).
6.4 Математическая модель видеоизображения фона и движущихся
объектов контроля в условиях изменяющейся освещенности
Для стабильной работы алгоритмов обнаружения объекта контроля
необходимо, чтобы условия освещения оставались либо постоянными или
менялись очень медленно, чтобы алгоритмы успели оценить значение
яркости фона в каждом элементе изображения. На рис. 6.8 показано влияние
изменений освещенности на изображение.
Рис. 6.8 – Изменение освещенности приводит к изменению яркости каждого
элемента изображения
Резкие изменения освещенности приводят к росту ложных
обнаружений и пропусков обнаружения объектов контроля [129, 133, 141,
143, 144, 179, 182]. Математическую модель, описываемую выражением
(6.11), необходимо расширить (модифицировать) таким образом, чтобы
учитывать влияние изменений освещенности. Для этого рассмотрим два
частных случая.
В первом случае видеокамера расположена таким образом, что свет
от источника света (солнца) не попадает напрямую в объектив, и
137
видеокамера фиксирует только тот свет, который отражается от объектов на
сцене (рис. 6.9).
Рис. 6.9 – Солнце не светит в объектив видеокамеры
Участок поверхности получает основное освещение двух типов: свет
прямых солнечных лучей и рассеянный свет неба. Общая освещенность
будет равна [234]:
(6.17)
Eобщ  Eп  Eр ,
где E п – освещенность прямых солнечных лучей, E р – рассеянных лучей.
Яркость, которую фиксирует камера, определяется только яркостью
объекта, которая зависит от освещенности:
B  Eобщ   Eп  Eр   .


Если солнце закрыто облаками (рис. 6.9 б), то освещенность прямых
солнечных лучей уменьшается. В зависимости от толщины облачного слоя
происходит ослабление прямых солнечных лучей [234]. Обозначим
освещенность прямых солнечных лучей, когда солнце не закрыто облаками
как E п1, а когда закрыто – как Eп2 . Тогда яркость объекта на сцене будет
соответственно:

 B1  Eп1  E р   ;


 B2  Eп2  E р   ;
B1  Eобщ1   ;

B2  Eобщ2   ,
(6.18)
где B1 , B2 – яркость объекта, когда солнце не закрыто и закрыто облаками
соответственно; E общ1 , E общ2 – общая освещенность, когда солнце не
закрыто и закрыто облаками соответственно.
Из выражения (6.18) находим:
B2 
E общ2
E общ1
 B1    B1 ,
138
(6.19)
где  
E общ2
E общ1
– параметр, который характеризует, во сколько раз
изменилась яркость объекта из-за изменения освещенности.
Рассмотрим, каким образом это влияет на модель наблюдаемого
сигнала яркости, которая описывается выражением (6.2):
xi    bi  1     f i  ni .
Из-за изменения освещенности, изменится яркость фона b и объектов
контроля f прямо пропорционально параметру  , то есть:
(6.20)
xi     i  bi   1      i  f i   ni ,
В дальнейшем параметр 
будем называть изменением
контрастности видеоизображения при изменении освещенности, или, для
краткости, контрастность видеоизображения, который будет определяться
как:
x i  ni
при   1.
mb
где xi  ni – яркость фона (  1) в элементе изображения в i -тый момент
i 
времени, наблюдаемого в текущий момент времени без шумовой
составляющей; mb – значение яркости фона в элементе изображения, оценка
которого производиться в ходе работы алгоритма.
Понятие «контрастность видеоизображения» было выбрано по
аналогии с понятием, используемым в компьютерной графике, где под
повышением/снижением
контрастности
понимают,
соответственно,
умножение/деление значения каждого канала ярости (в случае черно-белого
изображения – только одного канала яркости) на некоторое фиксированное
значение.
Во втором случае видеокамера расположена таким образом, что она
фиксирует и свет, который отражается от объектов на сцене, и частично от
источника света (солнца) (см. рис. 6.10).
Рис. 6.10 – Свет от солнца частично попадает в объектив видеокамеры
139
Яркость, которую фиксирует видеокамера, определяется яркостью
объекта, зависящей от освещенности, и яркостью света BC , который
попадает в объектив видеокамеры:
B  Eобщ   Bп  Eп  Eр    BC .


По аналогии с первым случаем, обозначим освещенность прямых
солнечных лучей, когда солнце не закрыто облаками, через Eп1 и яркость
света, который попадает в объектив камеры через BC1 , а когда закрыто –
Eп2 и яркость света, который попадает в объектив камеры – BC 2 . Тогда
яркость объекта на сцене будет соответственно:

 B1  Eп1  E р    BC1 ;


 B2  Eп2  E р    BC 2 ;
B1  Eобщ1    BC1 ;

B2  Eобщ2    BC 2 ,
(6.21)
где B1 , B2 – яркость, которая фиксируется камерой, когда солнце не закрыто
и закрыто облаками соответственно; E общ1 , E общ2 – общая освещенность
сцены, когда солнце не закрыто и закрыто облаками соответственно.
Из выражения (6.21) находим:
где
B1  BC1  Eобщ1   ; B2  BC 2 Eобщ2  

;

B

B

E


,
B

B
E


C2
общ2
1
C1
общ1
 2


E
E
B2  B1  общ2   BC 2  общ2 BC1 ;
Eобщ1 
Eобщ1

B2  B1     ,
E
E
  общ2 ,   BC 2  общ2 BC1 – параметры,
E общ1
E общ1
(6.22)
которые
характеризуют, каким образом изменилась яркость объекта из-за изменения
освещенности.
Рассмотрим, каким образом это влияет на модель наблюдаемого
сигнала яркости, которая описывается выражением (6.2):
xi    bi  1     f i  ni .
Из-за изменения освещенности, наблюдаемый сигнал яркости
описывается выражением:
xi     i  bi   1      i  f i    i  ni ,
(6.23)
Параметр  , как и в предыдущем случае, будем называть изменение
контрастности видеоизображения при изменении освещенности, а  будем
называть изменение яркости
видеоизображения при изменении
140
освещенности. В дальнейшем, для краткости, будем говорить изменение
контрастности видеоизображения  и изменение яркости видеоизображения
 . Эти параметры могут быть определены из выражения:
 i  mb   i  xi  ni при   1,
где xi  ni – яркость фона (  1) в элементе изображения в i -тый момент
времени, наблюдаемого в текущий момент времени без шумовой
составляющей; mb – значение яркости фона в элементе изображения, оценка
которого производиться в ходе работы алгоритма.
Понятие «яркость видеоизображения» было выбрано по аналогии с
понятием из компьютерной графики, где под повышением/снижением
яркости понимают, соответственно, сложение/вычитание значения каждого
канала (в случае черно-белого изображения – только одного канала яркости)
с некоторым фиксированным значением
Таким образом, модель взаимодействия видеоизображения фона и
движущихся объектов контроля при изменяющейся освещенности,
описывается выражением (6.23):
xi     i  bi   1      i  f i    i  ni .
Как и в предыдущем случае, разобьем задачу обнаружения объектов в
условиях изменяющейся освещенности на два этапа. На первом этапе
производится оценка яркости фона. На втором этапе определяется появление
объекта контроля с использованием оценки яркости фона, полученной на
первом этапе. Ниже рассмотрены способы оценки яркости фона и
обнаружения объекта контроля в элементе изображения.
Для решения задачи обнаружения объектов контроля для модели,
описываемой выражением (6.23), необходимо знать плотность вероятности
мешающих параметров  и  . Авторы, исследующие вопросы изменения
освещенности [129, 132, 141, 143, 144, 179, 182], сходятся во мнении, что
кратковременные и резкие изменение освещенности происходят редко, и
основную часть времени условия освещения остаются либо постоянными,
либо меняются очень медленно. Это означает, что наиболее вероятным
является событие, при котором   1 и   0 .
Положим,
что
плотность
вероятности
контрастности
видеоизображения  приблизительно описывается нормальным законом
распределения, отличие состоит в том, что контрастность видеоизображения
не может меняться в бесконечных пределах, поэтому сверху и снизу
ограничивается минимальным и максимальным значением контрастности
 min ,  max :
 C
   m 2 
,    min ,  max 
exp 

2


p    2  
,
2 



0,    min ,  max 
141
(6.24)
где  min ,  max – минимальное и максимальное значение контрастности,
которые может принимать контрастность из-за случайного изменения
освещенности сцены, соответственно;
C  
max

 min
1
– нормирующий множитель;
2
   m  
1
d
exp 
2


2  
2 


m ,   – это параметры распределения.
Параметр
m определяет такое
значение контрастности
видеоизображения, при котором достигается наибольшее значение плотности
вероятности контрастности видеоизображения; параметры   ,  min ,  max
определяют дисперсию контрастности видеоизображения. Параметр m  1
и отражает тот факт, что наиболее вероятным является событие, при котором
  1. Параметры: min  0 ,  max  2 , так как увеличение яркости
элементов изображения за короткий период времени в два раза, или
уменьшение до нуля при съемках не бывает.
Положим, что плотность вероятности яркости видеоизображения 
описывается нормальным законом распределения:
 2
exp 
 2 2
2  


1
p   
  – СКО яркости видеоизображения  .

,


(6.25)
Аналогично тому, как производился вывод алгоритма оценки яркости
фона во второй главе, проведем оценку яркости фона, с учетом мешающих
параметров  и  . Для этого необходимо найти плотности вероятности
яркости p x | H b  , p x | H f . Модель наблюдаемого сигнала яркости


описывается выражением (6.23):
xi     i  bi   1      i  f i    i  ni .
Если выполняется гипотеза H b о наличии сигнала фона, то   1, в
этом случае: xi   i  bi   i  ni . Тот факт, что плотность вероятности
имеет неопределенные параметры  и  , отражает запись p x | H b ,  ,  .
Функция плотности вероятности p x | H b ,  ,   может быть представлена в
виде:
p x | H b ,  ,   
  x  m b    2 
.
exp 
2


2  n
2 n


1
142
(6.26)
 независимы, то плотность вероятности
Если параметры  и
p x | H b  можно записать в виде [148, 166, 167, 168, 169]:
p x | H b  
p x | H b  
  px | H b , ,    p   p dd
(6.27)
D D
  px | H b , ,    p   p dd 
D D


 max

 min
 max


 min

 p d 
 p d 
  x  mb   2 
  p d 
exp 
2


2  n
2 n


 2 
  x  mb   2 
1
1


exp 

exp  2 d
2


 2 
2  n
2 n
 

 2  

1
(6.28)
Рассмотрим интеграл:




 2 
  x  mb   2 
1

exp 
exp  2 d 
2


 2 
2  n
2 n
 

 2  


  x  mb   2  2 
1
1

exp 
 2 d .
(6.29)

2


2  n 2   
2

2

n
 

Обозначим y  x  mb и рассмотрим выражение, стоящее под
1
знаком экспоненты:


 y   2
2 n2
y 2 2  2 y 2   2 2   2 n2
 2 n2 2
y 
2


 2  2
2
 2 n2 2

2 2
2 2
y 2  2 y   2  2   2 n2
 2 y        n
 2 


2 
 2 n2 2
 2 n2 2

y  
2
 2  2   n2   2 y 2 



 2 n2 2
 2 n2 2
y 2 2
     
2
2
n


 y 2
 2
   2
n
 
2 n2 2
 2
    n2


143
2



  y 2
 
   2  2
n
  

2




 




2

 y 2   
y 2
   

 2
2 
2
2
2
2


 y  









n

n
 

 

2 2
2 2

2


2


2 n2 2
n 
n 


 2
 2
2
2









n

n








2




 .
(6.30)

Рассмотрим выражение, стоящее в круглых скобках:


2
 y 2 

 2
2 
2 2
2 2
2 2




y 
y

y


n


 
 

2 2
2 2
2 2
 2 n 
2 n 
 2 n  2 2 2  2   2
n 

n
 2
2
 n
 2  2




y 2 2

 2 n2 2



y 2 4
2 n2 2

    n2
2
 y 2 4  y 2 2  n2  y 2 4


2 n2 2  2   n2
y 2 2 n2

2 n2 2  2   n2










n


2

 y 2 2  2   n2  y 2 4
2 n2 2

    n2
2



y2

.
2  2   n2


(6.31)
Подставим (6.31) в (6.30) получим:




2

 y 2   
y 2
   

 2
   2   
 y 2 2
 2   n2

n   




2 2
2 2
2 n  
2 n2 2
  2 n  

 2
 2
2
2









n

n




y2

2  2   n2









y 2
 
2
2





n

2 n2 2
 2
    n2







2




 

2
(6.32)

144
Подставим (6.32) в (6.29):
  x  mb   2  2 
y  x  mb

d 

exp



2
2 

2  n 2    
2 n
2  

2
2



y



 
 


2

 2   n2  
1
1
y

d 


exp 


2
2
2
2
 2  n

2  n 2    
2 n 



 2   n2




1

1


t
y  
2

    n2
2
 n2 2
 2   n2

;
 n2 2
 t
1
2
2
n


1


 






2  2   n2



2
n
  , t  .

 
 t 2   n2 2
  exp  
 2   2   2 dt 
 

n


 
2 2 



 t2 
n

exp  dt 
  2  2 

n 
 2




y2

exp 
 2  2  2

n


dt;


 n2 2
2






     
2

1
1
y

exp  
 2  2  2
2
2    n

n

1
2
 n2 2
 2   n2

y2



exp 
 2  2  2
2  n 2  

n

1

y  

2

y2



exp 
 2  2  2
2  n 2  

n


1
1
y2



exp 
 2  2  2
2  n 2  

n

1


           ;   , t  ;
d 



2
n
 1
2 
 2
 n 
     
 y  x  mb




2
2
n

 t 2  
 exp  2 dt  

 


2  1 
1
2  2   n2

  x  mb 2 

exp  
 2  2  2 

n 



(6.33)
Подставим (6.33) в (6.28):
p x | H b  

 max

 min

 p d 
 max

 min

1
2  2   n2

 2 
  x  mb   2 
1


exp 

exp  2 d 
2

 2 
 2 
2  n
2


n
 



1
  x  mb 2 
 p d 
exp  
2
2
 2   

n 



145

 max


2  2   n2
 min

1
 max

 min

  x  mb 2  C
   m 2 
 N   2   n2




exp 

exp 
d 

2


 2  2   2  2  
2


n







  x  mb 2  C
   m 2 

d .
exp 
exp 
2
2



2  N
2 N  2  
2  


1
Таким образом,
  x  mb 2  C
   m 2 

d 
p x | H b   
exp 
exp 
2
2



2 N  2  
2  
 min 2  N


 max
  x  mb 2   m 2 
1
C
d .
(6.34)


  exp 

2
2


2  N 2   
2 N
2  

min
 max
где  N 
1
 2   n2 .
Рассмотрим выражение, стоящее под знаком экспоненты:
x  mb 2   m 2  2 x  mb 2   N2   m 2



2 N2
2 2

2 
 2 N2  2
2




  x  2mb x   2mb 2   N2  2  2m  m 2


 2 N2  2
 2  N2   2 mb2  2 m N2   2 xmb  m2 N2   2 x 2


 2 N2  2


 m  N2   2 xmb
  2 
2
2
2
  N    mb

2


  m  N2   2 xmb

   2   2 m2
N
 b
 
2
2
  

 2 2 N 2 2 
  N    mb 
 m  N2   2 xmb 

Z  x   
2
2 2

  N    mb 
 N2  2
1 
 N2   2 mb2
 
212
  m  N2   2 xmb
 
   2   2 m2
N
 b
 
2



2
2
2 2
  m  N    x 
 2 N2  2
 2  2  Z  x   Z  x 2  Z  x 2 m2 N2   2 x 2



 2 12
 2 N2  2

  Z  x 2 Z  x 2 m2 N2   2 x 2



2 12
2

2 N2  2

  Z  x 2  Z  x 2 m2 N2   2 x 2 



2 12
 m N2   2 xmb 
 N2  2

где Z  x   
  2   2 m2  ,  1   2   2 m 2 .
N
 b
N
 b


146
 2 2
1


2 N2  2

(6.35)
Рассмотрим выражение, стоящее в круглых скобках:
2
Z  x 2
212
 m N2   2 xmb 


2
2 2 
2 2
2 2




m
m N    x
m2 N2   2 x 2
N
 b






2 2
2 2
2 2


2 N 
2 N 
 
2 2 N 2 2 
  N    mb 
m 


 



  2 xmb
m2  N2   2 x 2
m  N2   2 xmb  m2  N2   2 x 2   N2   2 mb2




2 N2  2   N2   2 mb2
2 N2  2
2 N2  2   N2   2 mb2

2
N
2


2

m2 N4  2m 2 N2 xmb   4 x 2mb2  m2 N4  m2 N2  2 mb2   2 x 2 N2   4 x 2mb2


2 N2  2   N2   2 mb2


2m   N2 xmb  m2 N2  2 mb2   2 x 2 N2
2 N2  2   N2   2 mb2
2



2 xm mb  m2 mb2  x 2
  x  m mb 2 .


2   N2   2 mb2
2   N2   2 mb2
(6.36)




Подставим полученное выражение (6.35) и (6.36) в формулу (6.34):
 max
  x  mb 2   m 2 
C
d 
p x | H b  

  exp 

2
2

2  N 2   
2 N
2  

1
min
 max
2
   Z  x 2


C
x

m
m

b



exp 

2
2
2 2

2  N 2    
2

2




mb
1
N


min

d 


 max
   Z  x 2 
  x  m mb 2 
1
C
  exp 
d 



exp 
2


 2   2   2 m2 
2  N 2    
2

1
N
 b 



min
  x  m mb 2   max
   Z  x 2 
1
C

d .


 exp 
exp 
2
 2   2   2 m2  


2  N 2  
21
N
 b   min



1






(6.37)
Вычислим интеграл:
  Z x 
 min  Z  x 
;
t

;
 max

2
1
   Z  x  
   min ;

 exp  2 2 d     1t  Z x ;   ;  max 1 Z x  
max t 
 min
1


.
d   1dt;
1
t
147
 max  Z  x 
1
 max  Z  x 
1
1
1
 t2 
2
2

 exp  2 1dt  1  2  2
 min  Z  x 


 t2 
 exp  2 dt 
 min  Z  x 


 
   Z  x  
 Z x  
  Ф min

 Ф max





1
1
 
 t2 
2 x
где Ф x  
  exp  dt – функция Крампа.
2 0
 2
2
2
 1 
(6.38)
Подставим полученное выражение (6.38) в формулу (6.37):
1
p x | H b  
Так
2  
 N2   2 mb2
переписать:
2
2
 1 

1
2  N
C

2  
,
то
выражение
2



x

m
m

b
 exp 
 2  2  2 m2
N
 b








(6.39)
(6.39)
можно




 
 Z x  
 Z  x  

  Ф min
.
 Ф max
1
1



 
C
 N2  2
2




2  N
2    N2   2 mb2
2
1
2



x

m
m

b
 exp 
 2   2   2 m2
N
 b




 N2  2
1 
как
p x | H b  
2



x

m
m

b
 exp 
 2  2  2 m2
N
 b

 
 Z x  
 Z  x  

  Ф min
.
 Ф max





1
1
 
2
2
 1 
2  N

C

1
2  N2   2 mb2


C
2
    max  Z  x  
  min  Z  x  
  Ф


 

Ф








1
1
  

x  m mb 2    max  Z x     min  Z x  
exp 
Ф
Ф
Так как  N 

 2   2   2 m 2  
N
 b  



1




1
 .(6.40)

 2   n2 , то выражение (6.40) можно переписать:
148
p x | H b  

C
2
1

2  2   n2   2 mb2


 x  m mb 2

 exp 
 2  2  2  2 m2

n
 b



 
 Z x  
 Z  x  

  Ф min
.
 Ф max
1
1



 



 ,
(6.41)
 m N2   2 xmb 
 N2  2
2
2

где Z  x   
  2   2 m2  ,  1   2   2 m 2 ,  N      n .
N
 b
N
 b


Формулу (6.41) можно упростить:
p x | H b  
1

2  2   n2   2 mb2


 x  m mb 2

 exp 
 2  2  2  2 m2

n
 b




.


(6.42)
   Z  x  
C    max  Z  x  
  Ф min

 Ф
2  
1
1



практически не влияет на точность вычислений. Чтобы убедиться в этом,
построим график p x | H b  согласно выражению (6.41), а также график
Отбрасывание
множителя
разности (6.41) и (6.42). Обозначим разность как px  :
p x  
2



x

m
m

b
 exp 
 2   2   2 m2
2   N2   2 mb2
N
 b


1








  min  Z  x  
x  m mb 2
C    max  Z  x  
1






 Ф
exp 
  Ф
 
 2   2   2 m2
2  
1
1
2   N2   2 mb2



N
 b


p x  

1
2   N2   2 mb2

2



x

m
m

b
 exp 
 2  2  2 m2
N
 b



  min  Z  x   
 C    max  Z  x  






 Ф

Ф

1





2





 
1
1
 














(6.43)
Яркость элемента цифровых изображений, наиболее часто,
кодируется восемью битами, то есть яркость может быть закодировано
числом от 0 до 255. То есть, параметры f min  0 , f max  255 . Параметр
m  1, что отражает тот факт, что наиболее вероятное событие
соответствует отсутствию изменений освещенности (то есть контрастность
149
изображения не меняется). Максимальное и минимальное значение
контрастности выбираем  max  2 ,  min  0 , так как увеличение яркости
каждого элемента изображения в два раза, или уменьшение до нуля при
съемках не бывает. Параметр  n  7 , что соответствует видеокамерам с
низким
отношением
сигнал/шум.
Параметры
   0,17 ,
  5
соответствует постоянным и очень резким изменениям освещенности.
На графиках запись вида p x | H b , mb  20  будет обозначать
плотность вероятности p x | H b  (6.41) при значении mb равное 20, а
запись p x, mb  20  будет обозначать разность px  (6.43) при
значении mb равное 20. Построив графики p x | H b  и px  можно
оценить, какая возникает погрешность, если в расчетах заменить выражение
(6.41) на (6.42).
Графики
функций
(рис.
6.11),
строятся
при
значении
mb = 20; 120; 220.
Рис. 6.11 – Графики выражений (6.41) и (6.43) при различных значениях mb
Как видно по рис. 6.11 разность (6.43) в окрестностях максимума
10
9
функции плотности вероятности составляет порядка 10 ..10 . При этом
значение самой функции (6.41) в окрестностях максимума составляет
2
1
порядка 10 ..10 . Таким образом, замена выражения (6.41) на (6.42)
является оправданной, так как различие между ними не является
существенной при вычислениях.
150
При неизвестном значении яркости фона mb , формула (6.42)
запишется как:
p x | H b , mb  

1
2  2   n2   2 mb2

2



x

m
m

b
 exp 
 2  2  2  2 m2

n
 b


Найдем плотность вероятности p x | H f
при
условии,
что
справедлива


гипотеза





(6.44)
наблюдаемого сигнала x
Hf,
то
есть
если
xi   i  f i   i  ni . Обозначим y i   i  f i   i , и определим плотность
распределения y , как для функции случайной величины f , где  и 
будут являться параметрами.
Обозначим, p1 f  плотность вероятности f , p2  y  плотность
вероятности y . Воспользуемся теорией математической статистики [147].
Если непрерывная случайная величина, заданная плотностью распределения
p1 f , и если y    f  – дифференцируемая строго возрастающая или
строго убывающая функция, обратная функция которой f    y  , то
плотность распределения p2  y  находят из равенства:
p2  y   p1  y     y  .
(6.45)
Плотность вероятности случайной величины задана формулой:
1

, f   f min , f max 

.
p1  f    f max  f min
0, f   f , f 

min
max
Функция y    f     f   является монотонно возрастающей,
так как   0 , поэтому для отыскания искомой плотности распределения
p2  y  применима формула (6.45):
p  y   p   y     y  ,
2
1
где   y  – функция, обратная функции y    f   .
Найдем   y  :   y   f 


Найдем   y  :   y  
  0.
y

1

.

, следовательно   y  
151
1

, так как
1

, f   f min , f max 

Найдем p1   y  , так как p1  f    f max  f min
, то
0, f   f , f 

min
max
1

,  y    f min , f max 

и p1   y    f max  f min
.
0,  y    f , f 

min
max

Подставляя выражение   y  , окончательно получим:
1

,  y    f min , f max 


.
p2  y   p1   y     y     f max  f min 
0,  y    f , f 

min
max
y
Так как   y  
и   y    f min , f max , то

f min    y   f max ,
y
f min 
 f max ,

f min     y  f max   .
Таким образом,
1

, y   f min    , f max   

. (6.46)
p2  y     f max  f min 
0, y   f    , f    

min
max
В очередной раз обратимся к выражению x i   i  f i   i  ni , с
учетом того, что y i   i  f i   i , то xi  y i  ni . Обозначим p1  y 
плотность вероятности y , p 2 n  . Чтобы найти плотность вероятности
суммы случных величин, воспользуемся теорией математической статистики
[147]:
px | H f ,  ,   

 p1 z   p2 x  z dz 

  x  z 2 
1
1
dz 
 

exp 
2 

 2  n  2 n 
f min     f max  f min
s  z  ;
z  f max   ; s  f max ;
 z  s  ;

z  f min    ; s  f min  ;
dz  ds;
f max  
152
  x  s   2 
1
1
ds
 
exp 
2




f

f
2  n
2 n
max
min
f min 


f max
  x  s   2 
1
1
ds (6.47)
px | H f ,  ,    
exp 
2




f

f
2  n
2 n
max
min
f min 


f max
 независимы, то плотность вероятности
Если параметры  и
px | H f  можно записать в виде [22, 40, 41, 42, 43]:
p x | H b  
p x | H b  
  px | H f , ,   p   p dd
(6.48)
D D
  px | H b , ,    p   p dd 
D D

 max

f max 
 min

f min
 p d 
  x  s   2 
1
1
   f  f  2  exp  2 2 ds  p d 
max
min
n
n




 2 
 x  s   2  
1
1
1

d 




p

d

exp
ds
exp





  2 2 
  2 2 



f

f
2


2




max
min
n
 
 min
  f min 

 
n


 max
f


max
 2 
  x  s   2 
1
1
1

dsd

  p d  
exp
exp
2
2 
 2 




f

f

2


2

2


max
min
n
 
 min
  f min 


n



 max
  f max 
(6.49)
Рассмотрим выражение:



f max 
 2 
  x  s   2  1
1
1


   f  f  2  exp  2 2  2  exp  2 2 dsd ,(6.50)
max
min
n

n
 
f min 



которое является двойным интегралом с прямоугольной областью
интегрирования. Это означает, что порядок интегрирования не имеет
значения, поэтому можно записать:
f max 
 2 
  x  s   2  1
1
1


    f  f  2  exp  2 2  2  exp  2 2 dsd 
max
min
n

n
 
  f min 



f max 

 2 
  x  s   2  1
1
1


 ds    f  f  2  exp  2 2  2  exp  2 2 d 
max
min
n

n
 
f min 





f max 
1
1
   f  f  2 
max
min
n

f min
  x  s   2
 2 

ds exp

d .
2 
  2 2
2   

2

n
 

1

(6.51)
153
y  xs
Обозначим
экспоненты:
выражение

 2 n2
y 2 2  2 y 2   2 2   2 n2
 2 n2 2
y  
2
 2  2


под
знаком

2
n
  2


 


 n2 2
2





2
n


 n 


2




2
  y 
2 n2
  2

y 2 4


2 n2 2  n2   2

y2
 2
2 n



 
y 2 2
2 n2

 n2

2


y2
2 n2
2



 n2 2
2 2
 n   2


  y 2
 
   2  2

  n
2


y 2
 

 n2   2







2 2
2
2
2

  y   y n  
2 n2  n2   2



 2 n2 2
2
 n2 2
 n2   2

2



y 2
 

 n2   2


  2
2
n
2
 n2 2
2 2
 n   2


2
2
2
n


2

 y 2


2

 2
   n 
2 2
    

y   
 


    


2
n

 n2 2
2

y 2
 

 n2   2




 2  n2   2  2 y 2

 y 2
 2
   2

 n
2
2
рассмотрим
 y   2 2   2 n2 y 2  2 y   2  2   2 n2
2




2
2 2
2 2
 2 
 2 n 
 2 n 
 y   2

и

154



y 2 2
 2 n2 2
2




 
y2

 2 n2




y 2
 
2
2




n



 n2 2
2
2



2 2
2 2
2 2

y


y


y


n
 

2
2
2
2 n  n   
    

y   
 


    


2
n
2
2
2
 n2 2
 n2   2


2
2
2
n

 y 2 n2


2 n2  n2   2





y 2
 
2
2




n



2
 n2 2

2
n
  2
2




 

y2

2  n2   2

(6.52)
С учетом того, что y  x  s , выражение (6.52) подставим в (6.51):
f max 
1
1
   f  f  2 
max
min
n

f min
f max 
1
1
 
  f max  f min  2  n
f min 

1
1
   f max  f min  2 
f min 
n

 n2 2
 n2   2 
f max 







x  s  2
  

 n2   2
 
1
ds  exp
 n2 2
2    
2 2

 n   2




x  s 2
exp 
 2  2  2
2  
n


f max 


x  s  2
 

 n2   2

t
  x  s   2
 2 

ds exp

d 
2 
  2 2
2   
 2  
n


1
1


2




 

x  s 2

2  n2   2


x  s  2
  
 n2   2
    
ds exp
2 2
 
    2  n  

 n2   2












d 




2



d 



x  s  2
 n2 2

 n2   2 t   n2   2     t  

2 2



t


 n 
d 
 n2   2 dt
1
1
 
  f max  f min  2  n
f min 
2


x  s

exp 
 2  2  2
2  
n


1

155

    t 2   n2 2
ds exp
  2   2   2 dt 
 

n

  



1
1
  
   f max  f min  2 
f min 
n

 1   t 2  
 
exp  2 dt  
2



f max  
1
1
  
   f max  f min  2 
f min 
n

f max 
2



x

s
exp 
 2  2  2
2  
n


1

2



x

s
exp 
 2  2  2
2  
n


1

1
1


  f max  f min  2  n2   2
t

x  s 

 n2

2





ds    n2   2  dt;
  n2 2

  2  2
n


 
2



x

s
 exp   2  2   2
n

f min 


max ;
f
 ss 
 f
 
f max 
;
 s  x  t   n2   2 ;
  n2 2

  2  2
n


t
min  ; t 
x  f max

 n2

x  f min 

 n2
2

2

;

,



2 ds 




2 ds 



ds 



x  f max 


1
1

  f max  f min  2  n2   2





1
1

  f max  f min  2  n2   2

2
n
 n2  2   2 
t


exp


 2 
x  f min 


 n2  2 
  2

x  f max 


2  2



2  2




156
2
n

  2 dt 

 n2  2   2  

t
 exp  2 dt  
x  f min 

 

2
2
 n   


x  f max 


2
2

 n     2  
 2

1
t





exp

dt
 2 
2  f max  f min   2 x  fmin 

 


2
2
 n   


 

 x f 
1
x

f



min
max
Ф

 Ф
  2  2
2  f max  f min     n2   2 
n








 .


(6.53)
Подставим (6.52) в (6.49):
px | H b  
 max
p d 


min
 2
 x  s   2  1
1
1


exp
2

 2  exp  2 2



f

f

2

2


max
min
n

f min 


n


f max 




 max


 min

 max

 min
 
Ф x  f min 
 f min     n2   2
 
1

2  f max
1
2  f max
 
Ф x  f min
 f min     n2   2
 





  Ф x  f max

  2  2
n






  Ф x  f max


2
2

 n 




dsd 



 p d 


 C
   m 2 




 2  exp  2 2 d .





Таким образом,
px | H f  

 max

 min
2 f max
C

 f min  2  

1   x  f min 
Ф
    n2   2
 




  Ф x  f max

  2  2
n





2

 exp    m  d .


2 2 


(6.54)
С учетом (6.44), (6.54) выражение (6.10) запишется в виде:


x  m mb 2
PH b 


p x | mb  
 exp 
2
2
2 2 
2
2
2 2

2     n    mb
 2      n    mb 


PH f  C
2 f max  f min 



1   x  f min 
 
Ф
2    min     n2   2
 
 max





  Ф x  f max 


2
2

 n 


2

 exp    m  d ,


2 2 


(6.55)
Выражение (6.55) представляет собой математическую модель
видеоизображения фона и движущихся объектов контроля на основе
статистических характеристик их изображений при изменяющейся
освещенности с учетом шума. Использование этой модели позволит
оценивать яркость элементов изображения «фона» точнее, чем в
существующих алгоритмах, так как она учитывает влияние объекта контроля.
Высокая точность оценки яркости «фона» повышает
достоверность
обнаружения в сложных условиях воздействия неинформативных факторов.
157
6.5 Постановка задачи обнаружения объекта контроля для движущихся
систем видеонаблюдения
Подход, основанный на статистической проверке гипотез, можно
применить и для решения задачи обнаружения объектов контроля при съемке
движущимися видеокамерами. Однако, этот подход, как правило, приводит к
большим вычислительным затратам, что не позволяет их использовать в
системах реального времени [157, 163]. В работе [163] предложена
двухэтапная последовательная процедура классификации данных, согласно
которой:
 на первом этапе проводится предварительная обработка
изображения с целью выделения фрагментов, которые потенциально
содержат интересующую информацию об объекте контроля (при этом объем
«полезных данных» оказывается сравнительно небольшим);
 на втором этапе производится анализ выделенных «полезных
данных» для обнаружения «объекта контроля».
Такая процедура снижает требования к вычислительным затратам.
Для решения поставленной задачи обнаружения объекта контроля при
съемке движущимися системами видеонаблюдения сделано несколько
предположений.
На первом этапе для выделения фрагментов, относящихся к
«объектам контроля» положим, что:
 сигнал «объекта контроля» f и «фона» b характеризуется
совокупностью значений яркостей: f   f1 , f 2 .. f M  , b  b1 , b2 ..bM  ;
соответственно решение о том, какой сигнал содержится во фрагменте
изображения,
принимается
по
значениям
яркостей
элементов
T
T
x   x1 , x 2 ..x M T этого фрагмента;
 значения яркости f I , I  1,2..M
представляют случайные
независимые величины, которые имеют одинаковое распределение
вероятностей g f  f  ; значения яркости bI , I  1,2..M представляют
случайные
независимые величины, которые имеют одинаковое
распределение вероятностей g b b  ;
 шум также характеризуется совокупностью значений яркостей
n  n1 , n2 ..n M T , и каждый отсчет шума описывается нормальным законом
распределения g n n  ; отсчеты шума в каждом элементе изображения
некоррелированы, а вследствие «гауссовости» независимы.
Эти предположения позволяют записать процедуру классификации
фрагментов изображения по максимуму правдоподобия. Если выполняется
неравенство:
(6.56)
p x1 , x2 ..xM | H f  px1 , x2 ..xM | H b  ,


158
то принимается решение о наличии сигнала «объекта контроля» во
фрагменте изображения, а если выполняется неравенство:
(6.57)
p x1 , x2 ..xM | H f  px1 , x2 ..xM | H b  ,


то принимается решение о наличии сигнала «объекта контроля» во
фрагменте изображения,
где H f , H b – гипотезы, соответствующие «объекту контроля» и «фону»
соответственно.
Плотность
распределения
яркостей
элементов
x   x1 , x 2 ..x M T при условии, что верна гипотеза H f :
px1 , x 2 ,..x M | H f    px I | H f .
изображения
M
(6.58)
I 1
Плотность
распределения
яркостей
элементов
x   x1 , x 2 ..x M  при условии, что верна гипотеза H b :
изображения
T
M
p x1 , x 2 ,..x M | H b    p x I | H b  .
(6.59)
I 1
Плотность распределения яркости одного элемента изображения для
гипотезы H f [147]:
  x  z 2 
dz .
p x | H f    g f  z  
exp  
2 

2  n
2 n 



1
(6.60)
Плотность распределения яркости одного элемента изображения для
гипотезы [147]:
  x  z 2 
dz .
p x | H b    g b  z  
exp  
2 

2  n
2 n 



1
(6.61)
 n2 – дисперсия шума.
На втором этапе проводиться анализ выделенных фрагментов с целью
определения геометрических параметров: числовых характеристик
геометрических
фигур
(линий,
парабол,
окружностей,
овалов,
прямоугольников и т.д.), размеров по вертикали и горизонтали, периметра,
площади и т.д. На основании геометрических параметров проводиться
обнаружение объекта контроля.
Приведем примеры задач обнаружения объектов при съемке
движущейся камеры, где использование двухэтапной процедуры
классификации является целесообразным.
Пример 1. На вагоне-лаборатории установлена видеокамера, которая
снимает местность, прилегающую к железнодорожному пути. Необходимо
определить границы рельсовой плети. Рельсы на изображении выглядят как
две яркие линии. Если применить к изображению детектор краев, который
159
определят резкие перепады яркости, то рельсы будут выглядеть как две яркие
прямые линии на черно-сером фоне (см. рис. 6.12).
Рис. 6.12 – Задача обнаружения рельсовой плети
Задача обнаружения сводиться к следующему: на первом этапе
изображение делиться на фрагменты и определяются фрагменты, которые
характеризуются высокой яркостью и соответствуют рельсам. На втором
этапе найденные фрагменты можно рассматривать как отрезки, которые
характеризуются двумя точками – началом и концом отрезка. Параметры
прямой линии, определяющие местоположение рельсовой плети, находятся
«усреднением» координат точек.
Пример 2. Зная местоположение рельсовой плети, необходимо
обнаруживать переходы через железнодорожные пути. Переходы на
изображении выглядят как «примерно однородные» по яркости области
[239]. Если применить к изображению детектор краев, который определят
резкие перепады яркости, то пешеходный переход будет выглядеть как
«черная область» на фоне гальки, где во фрагменте яркость пикселей
меняется от черного до белого. Отличительным признаком от шпал, которые
также выглядят как «черная область» является более большая площадь
(см. рис. 6.13).
160
Рис. 6.13 – Задача обнаружения пешеходного перехода
Задача обнаружения сводиться к следующему: на первом этапе
изображение, соответствующие рельсовой плети, делиться на фрагменты и
определяются фрагменты, все элементы которых характеризуются низкой
яркостью. На втором этапе анализируется число найденных фрагментов в
области изображения, которое по размеру соответствует пешеходному
переходу, и на основе этой информации принимается решение о наличии
перехода.
Пример 3. На измерительном вагоне установлена камера, которая
снимает проезжающие рельсы, находящиеся под вагоном (подвагонная
съемка). Необходимо по изображению рельсов определить местоположение
сварных стыков, которые справа и слева от стыка помечаются рисками –
отметинами в виде белой краски (см. рис. 6.14а). Отличительным признаком
рисок от «мусора» (газеты, брошенные бумаги и т.д.) (см. рис. 6.14б),
который может выглядеть как риски, является геометрический размер.
161
Рис. 6.14 – Задача обнаружения сварного стыка: а) риски отмечают
местоположение сварного стыка, б) «мусор» с цветом как у рисок
Данная задача также как и во втором примере, решается поиском
фрагментов, относимых к объекту контроля (рискам), и принятию решения
по геометрическим размерам найденных фрагментов.
Таким
образом,
двухэтапная
процедура
классификации,
заключающаяся в предварительном анализе фрагментов изображения по
плотности распределения яркостей пикселей и последующем принятии
решении о наличии объекта по его геометрическим характеристикам,
позволяет решить задачу обнаружения объекта контроля при съемке
движущейся видеокамерой.
162
Глава 7 Алгоритмы обнаружение объектов контроля
7.1 Двухэтапный алгоритм обнаружения объектов контроля при
изменяющейся освещенности
На первом этапе производится оценка яркости фона в каждом
элементе изображения. Алгоритм оценки яркости фона в элементе
изображения, согласно выражению (6.12), примет вид:
k

mˆ b  arg max ln PH b   p xi | H b , mb   PH f  pxi | H f  ,
mb
 i 1

где PH b  – априорная вероятность наличия сигнала фона;
PH f  – априорная вероятность наличия сигнала объекта контроля;
pxi | H b , mb  вычисляется по формуле (6.44);
pxi | H f  вычисляется по формуле (6.54).
На втором этапе производится определение появление объекта
контроля с использованием оценки яркости фона, полученной на первом
этапе, для каждого элемента изображения. Решение о появлении объекта
контроля в элементе изображения принимается по алгоритму максимума
апостериорной вероятности (МАВ), согласно формулам (6.14, 6.15, 6.16):
x    ,   x  
p x | H b 
PH f 
, 
,
p x | H f 
PH b 
где   x  – отношение правдоподобия;
px | H b  вычисляется по формуле (6.44) при mb  mˆ b ;
px | H f  вычисляется по формуле (6.54);
 – порог обнаружителя.
Известные методы [129, 130] обнаружения объектов при воздействии
внешних мешающих (неинформативных) факторов не обладает высокой
достоверностью. Это приводит к тому, что в сложных погодных условиях
(дождь, снег, туман) при изменяющейся освещенности, достоверность
обнаружения значительно снижается. Для решения этой проблемы был
разработан трехэтапный алгоритм обнаружения объектов контроля при
изменяющейся освещенности.
7.2 Трехэтапный алгоритм обнаружения объектов контроля при
изменяющейся освещенности
При решении задач обнаружения и различения сигналов наличие
мешающих факторов приводит к снижению эффективности алгоритмов. Для
повышения эффективности алгоритмов производят оценку мешающих
163
факторов. Полученную оценку используют для обнаружения и различения
сигналов.
Поэтому дополнительно к первому и второму этапу вводится третий
этап, на котором производится оценка мешающих параметров  и  по тем
элементам изображения, которые отнесены к «фону»; с учетом полученных
оценок ̂ и ̂ производится окончательное решение о появление объекта
контроля в элементе изображения.
В параграфе 6.4 были сделаны предположения относительно
изменений освещенности, которые приводят к тому, что наблюдаемый
сигнал яркости описывается выражением (6.23):
xi     i  bi   1      i  f i    i  ni .
Однако, для всех элементов изображения в i -тый момент времени
значения  i и  i будут являться одинаковыми. Если известен сигнал
яркости фона mb , I I -того элемента изображения и известно, что I -ый
элемент изображения не заслонен объектом контроля, то наблюдаемый
сигнал яркости x I ,i связан с яркостью mb формулой:
x I ,i   i  mb, I   i  ni , I ,
(7.1)
где x I ,i – сигнал яркости I -того элемента изображения, не заслоненного
объектом контроля, в i -тый момент времени;
mb , I – яркость фона для I -того элемента изображения;
 i ,  i – контрастность видеоизображения и яркость видеоизображения при
изменении освещенности в i -тый момент времени;
n i , I – шум в I -том элементе изображения в i -тый момент времени.
В дальнейшем опустим символ i , полагая, что формула (7.1)
применима для всех элементов изображения:
xI    mb, I    nI .
(7.2)
Запишем плотность вероятности яркости x I :
 xI  mb, I   2 
.
p  xI  
 exp 
(7.3)
2


2  n
2

n


Чтобы показать, что два параметра  и  являются неизвестными:
 xI  mb, I   2 
1
 . (7.4)
p  xI |  ,   
 exp 
2


2  n
2 n


1
Полагая, что шум в каждом элементе изображения является
некоррелированным, а вследствие «гауссовости», независим, то плотность
вероятности для M элементов изображения, не заслоненных объектом
контроля, можно записать в виде:
164
M
M
I 1
I 1
p x1, x2 ,.., xM |  ,     p xI |  ,    
 1 

p x1, x2 ,.., xM |  ,    
2



n
M
 xI  mb, I   2 
,
 exp 
2


2  n
2 n


1
 M

  xI  mb, I   2 
 . (7.5)
 exp  I 1


2 n2




Упростим выражение:
 xI  mb, I   
M
2
I 1
M

I 1
  
xI2
2
I 1


  xI2   2mb2, I   2  2 xImb, I  2 xI   2mb, I 

M
M
mb2, I
I 1
 
2
 M  2  xI mb, I   2   xI   2  mb, I  
M
M
M
I 1
I 1
I 1
 Ex   Eb    M  2  Z  2  S x  2  Sb ,
2
2
M
где
Ex  
I 1
 ,
x I2
M
Eb  
I 1

mb2, I
,
Z   xI mb, I ,
M
I 1
M
S x   x I  ,
I 1
S b   mb, I .
M
I 1
Таким образом, (7.5) можно записать в виде:
M
 E   2 Eb   2 M  2Z  2  S x  2  Sb 
 1 
.
 exp x
p x1, x2 ,.., xM |  ,    
2


 2 n
 2  n 


(7.6)
Взяв натуральный логарифм левой и правой части, получаем:
ln px1 , x2 ,.., xM |  ,   
Ex   2 Eb   2 M  2Z  2  S x  2  Sb
(7.7)
  M  ln 2  n 
2 n2
Параметры  и  можно найти, решив 2 уравнения:

 ln p x1, x2 ,.., xM |  ,   ˆ  0;
ˆ , 
 
(7.8)


  ln p x1, x2 ,.., xM |  ,  ˆ , ˆ  0.


 

Рассмотрим левую часть первого уравнения:

ln p x1, x2 ,.., xM |  ,   

165
 


Ex   2 Eb   2 M  2Z  2  S x  2  Sb 
  M  ln 2  n 

2


2 n


  E x   2 Eb   2 M  2Z  2   S x  2  S b 


 ,
 
2 n2

1
  2 2Eb  2 Z  2   Sb 
2 n

 E  Z    Sb
ln p x1, x2 ,.., xM |  ,    b
.
(7.9)

  n2






Рассмотрим левую часть второго уравнения:

ln px1, x2 ,.., xM |  ,   

 
Ex   2 Eb   2 M  2Z  2  S x  2  Sb


 M  ln 2  n  
 
2 n2


  E x   2 Eb   2 M  2Z  2   S x  2  S b


 
2 n2
1
  2 2 M  2 S x  2   Sb  ,
2 n

 M  S x    Sb
ln p x1, x2 ,.., xM |  ,   
.

  n2
 
 




(7.10)
Подставим (7.9) и (7.10) в (7.8):
E b  Z    S b
 0;

2
 n


 M  S x    S b  0,

  n2

Eb    Sb  Z  0;

  Sb  M  S x   0,
  Eb    Sb  Z ;

  Sb    M  S x .
(7.11)
Решая систему уравнений 7.11, получаем:
M
где E b  
I 1

mb2, I
 Z  M  S x  Sb 

2 
 ˆ   Eb  M  Sb 
 
,
 ˆ 
E

S

Z

S
b
   b x
2
 E M S 
 b
b 
, Z   x m , S
M
I 1
I
b, I
x
(7.12)
   x I  , S b   mb, I ;
166
M
M
I 1
I 1
M – количество элементов изображения, которые не заслонены объектом
контроля.
ˆ b, I ,
Вместо значений m b , I подставляются значения оценки m
полученные на первом этапе оценки яркости фона в каждом элементе
изображения. Поскольку не известно, какие элементы изображения не
заслонены объектом контроля, то выбираются те элементы, которые были
отнесены к фону на втором этапе предварительного определения появление
объекта контроля.
С учетом полученных оценок ̂ и ̂ принимается окончательное
решение о появлении объекта контроля в элементе изображения по
алгоритму максимума апостериорной вероятности (МАВ), согласно
формулам (6.14, 6.15, 6.16):
x    ,   x  
где  x  – отношение правдоподобия;
p x | H b 
PH f 
, 
,
p x | H f 
PH b 

 x  ˆmˆ  ˆ
b
p x | H b  
exp 
2

2  n
2

n

  x  f min
1
px | H f  
 Ф
2 f max  f min     n
1
 – порог обнаружителя.
2  ;



 x  f max
  Ф

 n

 ;

Таким образом, алгоритм трехэтапной обработки включает в себя
этап оценки яркости фона в каждом элементе изображения, этап
предварительного обнаружения объектов контроля и этап окончательного
обнаружения с учетом изменений освещенности.
7.3 Реализация алгоритма
При практической реализации алгоритма обнаружения объекта
контроля на видеоизображении следует учитывать некоторые особенности.
Во-первых, рассмотрим плотность вероятности p x | H f . При


оценке яркости заднего плана и при обнаружении объекта контроля
используется формула (6.7):
px | H f  
  x  f min
1
 Ф
2 f max  f min     n
а также формула (6.54):
167

 x  f max
  Ф

 n

 ,

px | H f  
C
2 f max  f min
 
1   x  f min 
 
Ф


  n2   2
 min
 
 max


 2  



  Ф x  f max 


2
2



n





2

 exp    m  d .



2 2



При заданных параметрах f min , f max ,
значение плотности вероятности
px | H f

 n ,   ,   ,  min ,  max
будет представлять собой
функцию одного аргумента x , обозначающая значение яркости элемента
изображений в некоторый момент времени. Так как при обработке
изображений используются только цифровые сигналы, то все возможные
значения переменной x известны заранее. Это позволяет не вычислять
функцию p x | H f каждый раз для нового значения x , а использовать


табличный метод хранения функции.
Во-вторых, для оценки яркости фона в элементе изображения,
используется формула:
k

mˆ b  arg max ln PH b   p xi | H b , mb   PH f  pxi | H f  ,
mb
 i 1

где PH b  – априорная вероятность наличия сигнала фона;
PH f  – априорная вероятность наличия сигнала объекта контроля;
p xi | H b , mb  вычисляется по формуле (6.44);
px | H f  вычисляется по формуле (6.54).
Сущность этой операции сводится к следующему: нам известны
значения яркости элемента изображения x1 , x 2 ,..x n , априорные вероятности
 
наличия сигналов фона PH b  и объекта контроля P H f . По x1 , x 2 ,..x n
вычисляются плотности вероятности яркости элемента, заслоненного
объектом контроля p x k | H f , где k  1,2..n . Затем, мы выдвигаем L


гипотез о яркости элемента заднего плана mb , и каждая гипотеза
соответствует своему значению яркости mb1 , mb 2 ..mbL . По значениям
mb1 , mb 2 ..mbL и x1 , x 2 ,..x n вычисляются плотности вероятности яркости
заднего плана p x k | H b , mb1 , p x k | H b , mb 2 .. p x k | H b , mbL  , где
168
k  1,2..n . Затем выбирается такое m̂b = mb (где mb принимает одно из
значений mb1 , mb 2 ..mbL ), для которого выражение
 lnPH b  pxk | H b , mb   PH f  pxk | H f 
n
будет
k 1
принимать максимальное значение. Полученное значение m̂b берется в
качестве оценки яркости элемента изображения заднего плана.
Выражение
ln PH b   pxk | H b , mb   P H f  p xk | H f ,

  

является функцией двух переменных – x k и mb . Переменная mb может
принимать только дискретные значения mb1 , mb 2 ..mbL , x k – также только
  задаются в
дискретные значения, априорные вероятности PH b , P H f
начале
выполнения
алгоритма.
Функция
хранится в табличном
 p xk | H f
ln PH b   pxk | H b , mb   PH f 


виде,
что
позволяет
ускорить
работу
алгоритма.
Операция
логарифмирования, как правило, имеет дробное значение, а это приводит к
возникновению погрешности при оперировании с числами с плавающей
точкой. Чтобы избежать этого, значения функции округлялись до некоторого
значения после запятой.
Параметры PH b , P H f имеют смысл априорных вероятностей
 
наличия сигнала фона и объекта контроля и используются для оценивания
яркости фона в элементе изображения и для вычисления порога
обнаружителя. На практике эти вероятности недоступны. Однако результаты
компьютерного моделирования, приведенные в Главе 4, показывают, что
незнание априорных вероятностей приводит лишь к незначительным
погрешностям оценки яркости фона в элементе изображения. Для
вычисления порога обнаружителя можно воспользоваться критерием
Неймана-Пирсона [238].
В-третьих, модель наблюдаемого сигнала яркости при изменении
освещенности, которая описывается выражением (6.23):
xi     i  bi   1      i  f i    i  ni ,
является идеализированной. В действительности контрастность
видеоизображения  i и яркость видеоизображения  i не для всех элементов
изображений не будут одинаковыми величинами в i -тый момент времени.
Эти параметры только приблизительно описывают те изменения яркости,
которые происходят на видеоизображении. Кроме того, не все элементы
изображения, которые классифицированы как «фон» и используются для
оценки ̂ и ̂ в действительности могут относиться к «объекту контроля».
Для решения этих проблем, третий этап выполняется в несколько итераций.
После каждой итерации значения ̂ и ̂ определяются повторно, так как
часть элементов изображения, помеченные как «фон», при очередной
169
итерации могут стать помеченными как «объект контроля», и наоборот: часть
элементов изображения, помеченные как «объект контроля», при очередной
итерации могут стать помеченными как «фон». С учетом этих ограничений,
третий этап реализуется следующим образом.
После выполнения второго этапа, по тем элементам изображения, что
классифицированы, как «фон» производиться оценка параметров
̂ и ̂ по
формуле (7.12). Обозначим их: ̂ 0 , ̂ 0 – оценка контрастности
видеоизображения и яркости видеоизображения после предварительного
определения появления объекта контроля.
Дальнейшее обнаружение объектов контроля происходит в несколько
итераций, для этого:
 выбираются значения параметров   ,1    , 2  ..    , k  0 ,
  ,1    ,2  ..    ,k  0 , где k
     ,1 ,      ,1 ;
–
количество итераций,
 на каждой итерации обнаружение объектов контроля проводится с
использованием формул:
x    ,  x  
p x | H b  

PH f 
p x | H b 
, 
,
PH b 
px | H f 
2  2 , j


2
 x  mˆ ˆ
ˆ


 j 1
b  j 1
 exp  
2   2 , j   n2   2 , j mb2
  n2   2 , j mb2

1







(7.13)
px | H f  

 max

 min
2 f max
C

 f min  2   , j

1   x  f min 
Ф
    n2   2 , j
 




  Ф x  f max

  2  2
n
, j




2

 exp    m  d .


2 2 , j 


(7.14)
где
j – номер итерации,
j  1,2..k ; ˆ j 1 , ˆ j 1 – контрастность
видеоизображения и яркость видеоизображения, оценка которых
производится по формуле (7.12) после j  1 итерации.
Такая процедура позволила повысить достоверность обнаружения.
Основную мысль этого способа обнаружения иллюстрирует рис. 7.1. Как
можно увидеть, на каждой итерации «уменьшается неопределенность»
яркости фона из-за того, что «уменьшаются» параметры   , j ,   , j на
каждой итерации, достоверность обнаружения будет повышаться.
170
а)
б)
в)
Рис. 7.1 – Итеративное обнаружение: предварительное обнаружение (а),
первая (б) и вторая (в) итерация обнаружения
171
Алгоритм обнаружения объектов контроля при изменяющейся
освещенности с учетом практических замечаний представлен на рис. 7.2.
Рис. 7.2 – Алгоритм обнаружения объекта контроля при изменяющейся
освещенности
На
этапе
«Инициализация»
устанавливаются
параметры:
PH b , P H f ,  n ,   ,   . Выбирается количество итераций k
 
итеративного обнаружения объекта контроля и для каждой итерации
  ,1    , 2  ..    ,k  0 ,
устанавливаются
параметры
172
  ,1    ,2  ..    ,k  0 . Каждому элементу изображения ставится в
соответствии буфер для хранения n предыдущих отсчетов яркости и буфер
памяти
для
хранения
значений
вероятностей
L
где
px1 , x2 ..xn | mb1 , px1 , x2 ..xn | mb 2 ,.., px1 , x2 ..xn | mbL  ,
mb1 , mb 2 ..mbL – дискретные значения, которые может принимать mb .
Формируется
таблица
значений
для
функции
p x | H b , mb 
ln PH b   px | H b , mb   PH f  px | H f , где
вычисляется по формуле (6.44) и px | H f  вычисляется по формуле (6.54).
На
этапе
видеоизображения.
«Обновление»
загружается
очередной
кадр
Производится
пересчет
вероятностей
px1 , x 2 ..x n | mb1 , px1 , x2 ..x n | mb 2 ,.., p x1 , x2 ..xn | mbL  .
На
этапе
«Оценивание»
среди
p x1 , x2 ..xn | mb1 , p x1 , x2 ..xn | mb 2 ,.., p x1 , x2 ..xn | mbL  ведется поиск
значения максимальной вероятности. Значение m̂b , соответствующая
максимальной вероятности, выбирается как оценка заднего плана.
На этапе «Предварительное определение появления объекта
контроля» вычисляются вероятность p x | H b  по формуле (6.44), где

вместо переменной mb подставляется значение m̂b и p x | H f

  
 по формуле
(6.54). Если p x | H b   PH b   p x | H f  P H f , то соответствующий
элемент изображения помечается как относящийся к «объекту контроля». В
противном случае соответствующий элемент изображения помечается как
относящийся к «фону».
На этапе «Определение появления объекта контроля с учетом
изменений освещенности» по изображению-маске и кадру видеоизображения
проводят оценку контрастности  и изменения яркости из-за изменения
освещенности  согласно формуле (7.12). Использую вычисленные
значения
̂ j и ̂ j , ( j  1,2..k , j – номер итерации) вычисляются

вероятности p x | H b  и p x | H f
соответственно.
Если

согласно формулам (7.13) и (7.14)
px | H b   PH b   px | H f   PH f ,
то
соответствующий элемент изображения помечается как относящийся к
«объекту контроля». В противном случае соответствующий элемент
изображения помечается как относящийся к «фону».
Завершение работы осуществляется по сигналу выхода из программы.
173
7.4 Алгоритмы обнаружения неподвижного объекта контроля при
съемке движущейся видеокамерой
Для разработки алгоритмов обнаружения неподвижного объекта при
съемке движущейся камеры использовалась двухэтапная последовательная
процедура классификации данных (раздел 6.5), когда на первом этапе
определяются фрагменты изображения, которые могут быть отнесены к
«объекту контроля», а на втором этапе проводиться анализ найденных
фрагментов для принятия решения о наличии объекта.
Задача обнаружения рельсовой плети (пример 1 раздел 6.5) покажет
принципы построения алгоритма обнаружения. Для определения
местоположения рельсовой плети к анализируемому изображению
применялся детектор краев, который выделяет высокие перепады яркости,
так что на полученном изображении рельсы приняли вид двух прямых линий
(см. рис. 6.12), параметры которых необходимо оценить.
На первом этапе изображение делиться на фрагменты. Чтобы
определить, какие из фрагментов могут быть отнесены к «объекту контроля»
(рельсу), а какие к «фону», определим вероятностные характеристики их
изображений.
Обозначим плотность распределения яркости сигнала «объекта» как
g f  f , который соответствует яркости рельса (на изображении после
применения детектора краев). Яркость рельса близка к максимальному
значению. Однако, из-за щебня, окружающего рельсы, в отдельных
фрагментах изображения, в некоторых местах наблюдаются «пропадания
прямой» (рис. 7.3).
Рис. 7.3 – Фрагменты изображения, где снижается или отсутствует перепад
яркости
174
Для описания g f  f  было выбрано следующее распределение:
 pf
, f   f b , f max  ;

f

f
b
 max
 1  p f
(7.15)
g f f  
, f   f min , f b  ;
 f b  f min
0, f b   f min , f max .


где  f b , f max  – диапазон яркостей, соответствующих высокому перепаду
яркости, свойственный рельсу.
 f min , fb  – диапазон яркостей, соответствующих снижению или отсутствию
перепада яркости.
p f – вероятность того, что яркость элемента будет принадлежать диапазону
яркости  fb , f max  .
Значение p f близко к единице и отражает тот факт, что наиболее
вероятным является событие, при котором яркость элемента,
соответствующего «объекту контроля», будет принадлежать диапазону
яркости  f b , f max . График плотности вероятности яркости g f  f 
представлен на рис. 7.4.
Рис. 7.4 – Плотность распределения яркости «объекта контроля»
Обозначим плотность распределения яркости сигнала «фона» как
g b b  , который соответствует яркости щебня и шпалам, прилегающих к
рельсам (на изображении после применения детектора краев). Яркость
«фоновых объектов» близка к минимальному значению. Однако, из-за
неоднородного по цвету щебня, в некоторых местах перепады яркости будут
высоким (см. рис. 7.3).
Для описания g b b  было выбрано следующее распределение:
175
 1  pb
, b  bb , bmax  ;
b
 bb
max

 pb
(7.16)
g b b   
, b  bmin , bb  ;
 bb  bmin
0, bb  bmin , bmax .


– диапазон яркостей, соответствующих низкому перепаду
где bmin , bb 
яркости;
bb ,bmax  – диапазон яркостей, соответствующих высокому перепаду
яркости
pb – вероятность того, что яркость элемента будет принадлежать диапазону
яркости bmin , bb .
Значение pb близко к единице и отражает тот факт, что наиболее
вероятным является событие, при котором яркость элемента,
соответствующего «фону», будет принадлежать диапазону яркости
bmin , bb . График плотности вероятности яркости g b b представлен на
рис. 7.5.
Рис. 7.5 – Плотность распределения яркости «фона»

Найдем плотность распределения p x | H f
 наблюдаемого сигнала
яркости x при условии, что справедлива гипотеза H f . Согласно формуле
(6.60):
  x  z 2 
dz 
p x | H f    g f  z   p x  z dz   g f  z  
exp  
2 
2  n
2 n 





1
fb
  x  z 2 
  x  z 2 
1 p f
1
dz  

dz 
 

exp 

exp
2 
2 


f

f
2


f

f
2


2

2

max
b
n
min
n
n 
n 
fb
f min b


f max
  x  z 2 
1
1
dz 
 pf 

exp 
2 

f

f
2


2

max
b
n
fb


n
f max
pf
1
176
 1  p f
fb

f min
  x  z 2 
1
1
dz .

exp 
2 
f b  f min
2  n
2 n 

(7.17)
Рассмотрим интеграл:
t
f max

fb
xz
x  f max
;
t
;
n
 x  z  
z  f max ;
1
1

n
dz  z  t   n  x;

exp 

2 

x

f
z

f
;
f max  fb 2  n
b
2

b
n 

t
.
dz   n  dt;
n
2
x  f max
x  f max


n

2
2
n
 2
 t 
 t  
n
1
1


  exp  dt 

  exp  dt  
f max  fb 2  n x  f b
2 f max  fb   2 x  f b
 2
 2 


n
n
  x  f max 
  x  fb 
 x  f b 
 x  f max 
1
1
  Ф
 
  Ф


 Ф
 Ф
2 f max  fb     n 
  n  2 f max  fb     n 
  n 
(7.18)
fb

f min
Аналогичным образом найдем интеграл:
  x  z 2 
  x  f min
1
1
1
dz 

exp 

Ф
2 



fb  f min
2  n
2
f

f
2

b
min
n
  n



 x  fb 
  Ф


  n 
(7.19)
Подставляя (7.18) и (7.19) в (7.17) находим:
px | H f  

pf
2 f max
1 pf
2 f b  f min
  x  fb
 Ф
 fb     n
  x  f min
 Ф
   n

 x  f max
  Ф

 n

 x  fb
  Ф

 n

 
 .
(7.20)



Аналогичным образом найдем плотность распределения p x | H b 
сигнала яркости x при условии, что справедлива гипотеза H b .
p x | H b  

  x  bb 
 x  bmax 
1  pb
  Ф
 
Ф
2bmax  bb     n 
  n 
  x  bmin
pb
Ф
2bb  bmin     n
(7.21)

 x  bb 
  Ф



 n 
На рис. 7.6 представлены графики плотностей вероятностей яркости
p x | H f и p x | H b  .


177

Рис. 7.6 – Плотность распределения яркости p x | H b  и p x | H f
Зная плотность распределения яркости

p x | H b  и px | H f  для
элемента изображения, вычисляются плотности распределения яркостей для
фрагмента изображения согласно формулам (6.58 и 6.59). Решение об
обнаружении объекта контроля принимается по алгоритму максимального
правдоподобия (МП) согласно формулам (6.56 и 6.57).
На втором этапе фрагменты, классифицированные как «объект
контроля», из-за малого размера можно рассматривать как «полосы-отрезки»,
которые характеризуются двумя точками – началом и концом отрезка.
Параметры прямой линии, определяющие местоположение рельсовой плети,
находятся «усреднением» координат точек. Для этой цели использовался
метод наименьших квадратов.
Прямую можно задать уравнением вида y  kx  b  0 . Метод
наименьших квадратов состоит в том, что прямая подбирается таким
образом, чтобы минимизировать сумму:
n
f k , b     y i  kxi  b 2 ,
(7.22)
i 1
где xi , y i – это координаты точек «полос-отрезков»; n – количество точек.
Упростим выражение:
n
n
n
i 1
i 1
i 1
f k , b     yi  kxi  b 2   yi2  k 2   xi2  b 2  n 
n
n
.
n
 2k   xi yi  2b   yi  2kb   xi
i 1
i 1
i 1
f k , b   E y  k  Ex  b  n  2k  Z xy  2b  S y  2kb  Sx ,
2
n
где E y  
i 1
y i2
2
n
, Ex  
i 1
x i2
n
n
n
i 1
i 1
i 1
, Z xy   x i y i , S y   y i , S x   x i .
Для определения k и b необходимо найти минимум функции
f k , b :
178
n
 kˆ 
   arg min   y i  kxi  b 2 .
 bˆ 
k ,b
i 1
 
Для нахождения минимума функции
производную функции и приравнять ее к нулю:
 f k , b 
 k  0,

 f k , b   0;
 b
kˆ 
(7.23)
необходимо
вычислить
 f k , b 
 k  2kEx  2 Z xy  2bSx  0,

 f k , b   2bn  2 S  2kS  0;
y
x
 b
Z xy n  S x S y
E x n  S x2
;
bˆ 
E x S y  Z xy S x
Ex n  S x2
.
(7.24)
Вычисленные значения k̂ и b̂ определяют уравнение прямой.
Определяя параметры прямых, соответствующих двум рельсам, определяется
местоположение рельсовой плети.
Очень похожим способом выводиться алгоритмы обнаружения
переходов через железнодорожные пути и сварных стыков, описанных в
примерах 2 и 3 (параграф 6.5). Разница состоит в том, что на втором этапе по
фрагментам, классифицированным как «объект контроля», решение
принимается по геометрическим размерам области, которую они
(фрагменты) занимают.
Разработанный алгоритм обнаружения позволяет проводить
достоверное обнаружение объектов контроля при съемке движущейся
видеокамерой за счет того, что наряду с анализом плотности распределения
яркостей учитываются геометрические параметры объектов.
7.5 Определение мощности шума
Для оценивания яркости элементов изображения фона и для
обнаружения объектов контроля при съемке неподвижной видеокамерой
(формулы 6.44, 6.54, 7.13, 7.14), а также для классификации фрагментов на
«фон» и «объекты контроля» в задаче обнаружения неподвижных объектов
контроля при съемке движущейся видеокамерой (формулы 7.20 и 7.21)
требуется знание мощности шума. Мощность шума определяется его
дисперсией.
Для определения мощности (дисперсии) шума воспользуемся
методом максимального правдоподобия. При неменяющемся освещении
перед камерой расположить неподвижный объект (например, лист бумаги),
который полностью закрывает обзор камеры. Желательно, чтобы яркость
объекта не была близка к минимально или максимально возможной яркости,
которые способна фиксировать камера, чтобы при определении параметров
179
шума не влияли погрешности из-за того, что яркость объекта не может быть
зафиксирована камерой.
Рассмотрим оценку дисперсии шума для одного элемента
изображения. В элементе изображения будет наблюдаться яркость x ,
плотность вероятности которой определяется выражением:
p x | H b  
  x  mb  2 
,
exp 
2

2  n
2 n 

1
где mb – яркость объекта в элементе изображения;  n – СКО шума.
Так как яркость объекта в I -том элементе изображения не меняется,
условия освещения остаются неизменными, и никакие объекты контроля не
могут заслонить элементы изображения, то оценка m̂b сводится к
вычислению среднего значения яркости:
k
mˆ b 
 xi
i 1
,
k
где xi – значение яркости в элементе изображения в i -тый момент времени.
Для оценки мощности шума достаточно определить дисперсию
яркости элемента изображения:
k
̂ n2 
 xi  mˆ b 2
i 1
.
k
Рассмотрим оценку мощность шума одновременно для всех
элементов изображения. Обозначим x I  x I ,1 , x I , 2 ..x I ,k
– значения
яркости в I -том элементе изображения в i -тый момент времени, где
i  1,2..k . Совместная плотности вероятности яркостей p x I ,1 , x I , 2 ..x I ,k ,
полагая, что отсчеты шума некоррелированы, а вследствие «гауссовости»
независимы, будет иметь вид:




 k

  x I ,i  mb, I 2 
 1
,
  exp  i 1
px I   px I ,1 , x I , 2 ..x I ,k   


2 Dn
 2  Dn 




2
где Dn – дисперсия яркости, которая равна дисперсии шума  n ; mb, I –
яркость объекта в I -том элементе изображения.
Полагая, что отсчеты яркости шума для каждого из M элементов
k
2
изображения независимы и для каждого элемента изображения дисперсия
180
шума имеет одно и тоже значение Dn   n , то совместная плотность
вероятности яркостей примет вид:
2
px1 , x 2 ,.., x M    px I ,1 , x I , 2 ..x I ,k  
M
I 1

 k
2 
k




x

m

I ,i
b, I
M 
2

1

 
  exp  i 1
  


2 Dn
I 1  2  Dn 





 M k

k M
  x I ,i  mb, I 2 
 1  2
.

 
 exp  I 1 i 1

2 Dn
 2  Dn 




Взяв натуральный логарифм левой и правой части, получаем:
k M
k M
1 M k
xI ,i  mb,I 2 
ln px1 , x 2 ,.., x M   
ln 2  
ln Dn  


2
2
2 Dn  I 1 i 1

Параметры D n , m b , I можно найти, решив M  1 уравнения:
 
ln px 1 , x 2 ,.., x M 
 0;

ˆ
ˆ
ˆ
ˆ
m
,
m
,..
m
,
D

m
b ,1
b,2
b, M
n
 b,1

  ln px , x ,.., x 
 0;
1
2
M
 mb, 2
mˆ b,1 , mˆ b, 2 ,..mˆ b, M , Dˆ n

...

  ln px , x ,.., x 
 0;
1
2
M
 mb, M
mˆ b,1 , mˆ b, 2 ,..mˆ b, M , Dˆ n

 
ln px 1 , x 2 ,.., x M 
 0.

ˆ
ˆ
ˆ
ˆ
m
,
m
,..
m
,
D

D
b ,1
b, 2
b, M
n
 n
Рассмотрим левую часть J -ого уравнения, J  1,2..M :

ln px1 , x 2 ,.., x M  
mb, J


mb, J
 k M
k M
1 M k
2 








ln
2


ln
D

x

m

n
I ,i
b, I




2
2
2 Dn  I 1 i 1


181

  k M
  k M


ln 2  
ln Dn  


mb, J 
2
2
 mb, J 

 1 M k
2



x

m

I ,i
b, I  
 2D 


n  I 1 i 1

  1 M k
2



 00
x

m
  I ,i b, I   
mb, J  2 Dn  I 1 i 1



mb, J
k
k
k
 k

  x1,i  mb,1 2   x2,i  mb, 2 2  ..   xJ ,i  mb, J 2  ..   xM ,i  mb, M 2 
1

i 1
i 1
i 1

  i 1
2 Dn
mb, J

 k
 k 2
2
  xJ ,i  mb, J  
  xJ ,i  2  mb, J  xJ ,i  mb2, J
1
   1   i 1

  i 1
2 Dn
mb, J
2 Dn
mb, J
k
k
 k 2
  x J ,i   2  mb, J  x J ,i   mb2, J
1  i 1
i 1
i 1

2 Dn
mb, J



k
 k 2

  x J ,i  2  mb, J   x J ,i  mb2, J  k 
1  i 1

i 1

2 Dn
mb, J
k

 2   xJ ,i  2  k  mb, J
i 1
 2 Dn
k

 xJ ,i  k  mb, J
i 1
Dn
Приравняем полученное выражение к нулю:
k
 x J ,i  k  m b , J
i 1
Dn
 0,
откуда находим:
k
mˆ b, J 
 x J ,i
i 1
, J  1,2..M .
k
Рассмотрим левую часть M  1-ого уравнения:

ln px1 , x 2 ,.., x M  
Dn
182


  k M
k M
1 M k
2 








ln
2


ln
D

x

m
 I ,i b,I   
n
Dn 
2
2
2 Dn  I 1 i 1

k M
1 M k
2




x

m

I
,
i
b
,
I


2 Dn 2 Dn2  I 1 i 1

1 
1 M k
2 



x

m
k  M 

I ,i
b, I

2 Dn 
Dn  I 1 i 1

Приравняем полученное выражение к нулю:
1
2 Dn

1 M k
2 


k

M

x

m

b, I
 I ,i
  0 ,
D

n  I 1 i 1

откуда находим:
1
Dn 
kM
M k

  x I ,i  mb, I 2 
 I 1 i 1

ˆ b , J , J  1,2..M , оценка
Таким образом, при известных значениях m
мощности (дисперсии) шума:
̂ n2
 Dˆ n 
1
kM
M k

  x I ,i  mˆ b, I 2  .
 I 1 i 1

Наряду с параметрами яркости фона – mb , яркости и контрастности
видеоизображения –  и  , параметр дисперсии шума  n позволяет
повысить достоверность обнаружения объектов контроля.
2
183
Глава 8 Экспериментальная проверка
алгоритмов обнаружения объектов контроля
разработанных
8.1 Эффективность разработанного алгоритма при оценивании яркости
фона
Для определения эффективности разработанного алгоритма была
разработана компьютерная модель, в которой используется один элемент
изображения, для определения погрешностей измерений яркости фона при
различных параметрах. В этой модели формируется сигнала яркости фона,
который наблюдается в элементе изображения. Общая схема компьютерной
модели представлена на рис. 8.1.
Рис. 8.1 – Схема формирования сигнала яркости для оценки яркости mb
Слева на схеме представлены два блока: b и f , которые отвечают за
формирование сигнала фона и объекта контроля соответственно. Блок b
формирует сигнал mb , который не меняется в течение всего эксперимента,
где mb – это яркость фона, которая оценивается в ходе алгоритма. Блок f
(ГСЧ – генератор случайных чисел) формирует сигнал, которые имеет
равномерное распределение, границы которого определяются значениями
[ f min ; f max ] , где f min , f max – минимальное и максимальное значение
яркости, которое способно фиксировать видеокамера. Сигналы от блоков b и
f попадают на ключ K , пропуская только один из сигналов. «Блок
управления» состоит из ГСЧ, который формирует числа в диапазоне [0;1] с
равномерным законом распределением. Порог определяется значением
184
PH f  – априорной вероятностью наличием сигнала объекта контроля. Если
число, полученное от ГСЧ в «Блоке управления», меньше PH f , то ключ
K пропускает сигнал от блока f , в противном случае пропускает сигнал от
блока b . Сигнал после ключа K умножается на  и суммируется с  и n , в
результате формируется сигнал x . Параметр  имеет распределение (7.12),
 – (7.13), n – (6.4).
Параметры  ,  , n – это соответственно   ,   ,  n , которые
можно регулировать. Аналогично можно регулировать значение mb и
PH f .
В цифровых системах видеонаблюдения значение яркости
представляется в границах от минимального до максимального значения с
некоторым шагом квантования.
Минимальное значение яркости определят черный цвет,
максимальный – белый. Для графиков запись вида mb  40 будет
обозначать, что яркость фона равна шагу квантования яркости, помноженной
на сорок.
Для определения эффективности используется значение среднего
квадрата погрешности оценивания:
1 N
(8.1)
  mˆ b  mb    mˆ b,i  mb 2 ,
N i 0
ˆ b ,i – оценка яркости фона
где m b – действительное значение яркости фона; m
на i -том опыте; N – количество опытов для оценки яркости.
Оценка яркости фона m̂b производится по алгоритму, который
2
2
описывается выражением (6.12):
k

mˆ b  arg max ln PH b   p xi | H b , mb   PH f  pxi | H f  ,
mb
 i 1

где k – количество кадров (число отсчетов яркости x ), которые участвуют в
оценке яркости фона; PH b , PH f  – априорные вероятности наличия
сигнала фона и объекта контроля соответственно; p x | H b , mb 
вычисляется по формуле (6.44) и px | H f  вычисляется по формуле (6.54).
Схема, представленная на рис. 8.1, имеет параметры:   ,
  ,  n , mb , PH f  и k которые можно регулировать. Так как параметров
довольно много, то для определения закономерностей эффективности оценки
яркости фона
меняются.
 2 часть параметров фиксируется, а все остальные параметры
185
Рассмотрим предварительно случай, когда не наблюдается изменения
освещенности, то есть    0 ,    0 .
В табл. 8.1 и на рис. 8.2 представлены результаты моделирования
   0 ,    0 , k  100 и mb  40 , которые показывают, как влияет на
оценку яркости фона mb СКО шума  n и априорная вероятность P H f .
 
Табл. 8.1 – Средний квадрат погрешности оценивания при различных
значениях априорной вероятности наличия сигнала объекта контроля
n
1
2
3
4
5
6
7
8
9
10
PH f   0,0,000
0
0,012 0,095 0,211 0,323 0,440 0,570 0,717 0,885 1,076
003
759
340
740
341
088
227
17
423
121
PH f   0,10,000 0,019 0,121 0,247 0,367 0,502 0,663 0,843 1,051 1,282
000
387
203
537
208
767
176
308
14
265
PH f   0,0,000
2
0,030 0,151 0,289 0,426 0,590 0,781 1,005 1,261 1,552
000
464
996
641
143
106
145
209
516
667
H
P f   0,0,000
3
0,045 0,186 0,337 0,498 0,695 0,930 1,207 1,523 1,887
077
244
59
549
88
621
064
265
732
813
PH f   0,0,000
4
0,069 0,233 0,400 0,595 0,844 1,146 1,501 1,913 2,381
509
803
927
149
927
535
584
617
074
247
PH f   0,0,001
5
0,104 0,293 0,491 0,742 1,071 1,471 1,947 2,503 3,138
495
741
68
292
453
461
411
695
512
823
PH f   0,0,004
6
0,157 0,376 0,633 0,979 1,431 1,996 2,678 3,480 4,406
694
652
768
039
729
953
054
87
582
901
Табл. 8.1 – Средний квадрат погрешности оценивания при различных
значениях априорной вероятности наличия сигнала объекта контроля
(продолжение таблицы)
n
11
12
13
14
15
16
17
PH f   0,0 1,28337
1,510615 1,756811 2,024521 2,308886 2,612229 2,929036
PH f   0,1 1,538488 1,817814 2,121645 2,444046 2,791965
3,16216
3,555269
H
P f   0,2 1,872626 2,225671 2,608954 3,013796 3,448471
3,909828 4,401095
PH f   0,3 2,296377 2,74745
3,236446 3,762925 4,322342 4,913433 5,535938
PH f   0,4 2,916349 3,509627 4,156553 4,851702 5,599021
6,381901 7,209689
PH f   0,5 3,862015 4,674764 5,568677 6,528877 7,566994
8,652357 9,808746
PH f   0,6 5,463119 6,659609 7,983901 9,42361
10,976734 12,606084 14,332156
186
Рис. 8.2 – Зависимость среднего квадрата погрешности оценивания 
от значения СКО шума  n при различных значениях P H f и остальными
2
 
параметрами:    0 ,    0 , mb  40 и k  100
 
Как видно из рис. 8.2 с ростом значений P H f и  n точность
оценки яркости фона снижается. Снижение точности оценивания с ростом
СКО шума  n является естественным процессом, обусловленным
увеличением мощности шумовой составляющей. Снижение точности
оценивания объясняется тем, что с ростом P H f уменьшается количество
отсчетов яркости, соответствующих «фону».
Возвращаясь к проблеме, озвученной в параграфе 3.3, что значение
априорной вероятности P H f
не может быть известно, определим
 
 
погрешность
 2 , если действительное значение PH f  не совпадает с
 у . Формула для оценивания яркости фона
установленным значениями P H f
(6.12) примет вид:


k

mˆ b  arg max  ln PH b у  p xi | H b , mb   PH f у  pxi | H f   (8.2)
mb
 i 1

В табл. 8.2 и на рис. 8.3 представлены результаты моделирования при
   0 ,    0 ,  n  7 , mb  40 и k  100 , которые показывают, как
влияет на оценку яркости фона mb незнание априорной вероятности P H f .
 
187
Табл. 8.2 – Средний квадрат погрешности оценивания при
априорной вероятности наличия сигнала объекта контроля
PH f у
0,0
0,001
0,1
0,2
0,3
H
P f   0,0
0,571450 0,5773
0,584809 0,592232
0,570227
PH f   0,001 0,693341
0,570809 0,577994 0,585546 0,592942
PH f   0,1
88,800818 0,703638 0,663176 0,665711 0,671005
PH f   0,2
329,168862 0,901779 0,786147 0,781145 0,783217
PH f   0,3
715,650143 1,174613 0,949536 0,93342
0,930064
H


P f  0,4
1254,3731 1,617633 1,199157 1,164269 1,149999
H
P f   0,5
1950,45385 2,374327 1,603246 1,526741 1,49388
PH f   0,6
2794,28514 3,777758 2,309316 2,150533 2,071721
незнание
0,4
0,601018
0,601753
0,678367
0,78862
0,93239
1,146584
1,477056
2,027667
Табл. 8.2 – Средний квадрат погрешности оценивания при незнание
априорной вероятности наличия сигнала объекта контроля (продолжение
таблицы)
PH f у
0,5
0,6
0,7
0,8
0,9
H
P f   0,0
0,611498 0,624312 0,641561 0,666957 0,71034
H
P f   0,001 0,61229
0,625033 0,64231
0,667449 0,710802
PH f   0,1
0,687972 0,700299 0,717091 0,744378 0,791772
PH f   0,2
0,797623 0,81013
0,828439 0,856792 0,909098
PH f   0,3
0,939539 0,951982 0,972288 1,006232 1,067804
PH f   0,4
1,150315 1,16121
1,181837 1,217524 1,285558
H
P f   0,5
1,471411 1,477148 1,494218 1,529675 1,608087
H
P f   0,6
2,004559 1,996054 2,006149 2,043222 2,136339
188
Рис. 8.3 – Зависимость среднего квадрата погрешности оценивания  от
значения установленного значения априорной вероятности P H f при
 у
2
  и остальными параметрами:    0 ,  
различных значениях P H f
 0,
 n  7 , mb  40 и k  100
Как видно по табл. 8.2 и рис. 8.3, если PH f у  PH f , то
погрешность  2 будет минимальным (выделено полужирным шрифтом в
табл. 8.2). Если PH f у  PH f , и PH f у  0 , то погрешность  2
возрастает незначительно по отношению к случаю, когда PH f у  PH f .
Рассмотрим случай, когда наблюдаются изменения освещенности, но
в предположении, что камера установлена таким образом, что свет от солнца
не попадает напрямую в объектив камеры, то есть    0 ,    0 .
Обратимся к формулам (6.44) и (6.54):
189
p x | H b , mb  
px | H f  

 max

 min
2 f max
1

2  2   n2   2 mb2


 x  m mb 2

 exp 
 2  2  2  2 m2

n
 b







C

 f min  2  

1   x  f min 
Ф
    n2   2
 
.
2

 x  f  





m
  Ф
 exp 
max
 
d .
2



  2   2 
2




n
 


Плотность вероятности px | H f  слабо зависит от параметра   , в




этом можно убедиться, построив графики этой функции при различных
значениях   (см. рис. 8.4).

Рис. 8.4 – Зависимость p x | H f
 от значения  
При фиксированном значении mb , функция p x | H b , mb  будет
представлять собой нормальное распределение с математическим ожиданием
mb и дисперсией  n2   2 mb2 . Таким образом, графики  2 при различных
знаниях  n в условиях меняющейся освещенности будут иметь тот же
характер, что и на рис. 8.2. Интерес представляет только случай, который
показывает, как будут влиять изменение параметров   и mb на
2.
В табл. 8.3 и на рис. 8.5 представлены результаты моделирования при
   0 , k  100 , PH b   0,5 при различных значениях   и mb .
190
Табл. 8.3 – Средний квадрат погрешности оценивания при различных
значениях параметра  
mb










5
 0,011,283
974
 0,021,283
725
 0,031,285
287
 0,041,285
188
 0,051,285
728
 0,061,287
252
 0,071,286
492
 0,081,287
635
 0,091,289
115
 0,101,288
747
10
1,229
174
1,230
563
1,232
224
1,235
213
1,237
292
1,241
397
1,246
013
1,252
058
1,258
203
1,265
195
20
1,447
528
1,451
54
1,457
306
1,465
576
1,475
988
1,488
731
1,503
732
1,520
936
1,539
065
1,561
898
30
1,466
436
1,470
614
1,482
535
1,499
786
1,525
451
1,554
445
1,590
004
1,629
186
1,675
493
1,725
008
40
1,476
399
1,489
14
1,511
861
1,547
074
1,592
548
1,645
538
1,708
468
1,782
266
1,866
892
1,960
733
191
50
1,457
272
1,484
543
1,522
563
1,576
771
1,643
422
1,726
711
1,828
223
1,944
746
2,075
179
2,226
216
60
1,453
269
1,485
679
1,542
943
1,619
569
1,718
959
1,844
57
1,995
26
2,167
605
2,364
793
2,583
203
70
1,455
406
1,503
983
1,584
117
1,686
408
1,824
113
1,992
724
2,194
463
2,426
849
2,686
984
2,992
684
80
1,478
844
1,537
752
1,634
501
1,768
676
1,942
453
2,162
106
2,422
782
2,725
773
3,080
096
3,479
104
Табл. 8.3 – Средний квадрат погрешности оценивания при различных
значениях параметра   (продолжение таблицы)
mb










90
 0,011,4756
58
 0,02 1,5530
46
 0,031,6763
02
 0,04 1,8500
5
 0,05 2,0784
67
 0,06 2,3578
49
 0,07 2,6960
83
 0,08 3,1063
84
 0,09 3,5761
75
 0,10 4,1109
86
100
1,4811
16
1,5721
38
1,7248
08
1,9458
28
2,2403
61
2,6120
2
3,0521
45
3,5694
7
4,1755
09
4,8540
5
120
1,5089
81
1,6503
67
1,8796
67
2,2080
04
2,6314
98
3,1629
47
3,8131
9
4,5717
47
5,4648
26
6,4874
74
140
1,5025
38
1,6767
97
1,9765
47
2,4147
89
2,9957
24
3,7323
51
4,6243
06
5,6861
21
6,9330
9
8,3764
7
160
1,5260
59
1,7663
86
2,1720
75
2,7466
43
3,5189
5
4,5005
89
5,6993
38
7,1375
42
8,7896
58
10,745
694
180
1,5710
24
1,8643
61
2,3745
55
3,1152
53
4,1112
24
5,3693
59
6,9275
02
8,7782
05
10,819
625
13,342
741
200
1,5931
85
1,9751
66
2,6253
89
3,5857
54
4,8514
78
6,3748
93
8,2941
3
10,474
61
13,029
387
15,686
69
220
1,5947
11
2,0298
75
2,7675
28
3,8497
58
5,2336
66
7,0924
97
8,9523
9
11,277
742
14,324
134
16,739
194
Рис. 8.5 – Зависимость среднего квадрата погрешности оценивания  от
значения установленного значения яркости фона mb при различных
2
192
 
значениях   и остальными параметрами:    0 ,  n  7 , P H f  0,5 и
k  100
Как можно видеть, при малых значениях mb , изменение  
практически не влияет на точность оценки. Это объясняется тем, что
дисперсия  n    mb при малых значениях mb будет мало зависеть от
  . При увеличении mb погрешность оценки возрастает, так как дисперсия
2
2
2
 n2   2 mb2 начинает очень сильно зависеть от   .
В условиях изменяющейся освещенности, когда камера установлена
таким образом, что свет от солнца попадает напрямую в объектив камеры,
параметры будет соответствовать    0 ,    0 .
Обратимся к формулам (6.44) и (6.54):
p x | H b , mb  
px | H f  

 max

 min

2  2   n2   2 mb2
2 f max


 x  m mb 2

 exp 
 2  2  2  2 m2

n
 b





  Ф x  f max

  2  2
n





.
2


 exp    m  d .


2 2 


В выражениях для плотностей вероятностей
px | H f



,


C

 f min  2  

1   x  f min 
Ф
    n2   2
 

1
содержится выражение
p x | H b , mb  и
 n2   2 . Если обозначить его как
 N2   n2   2 , то можно заметить, что выражения p x | H b , mb  и
px | H f  не изменятся кардинальным образом, если вместо    0
   0 . Таким образом, графики  2 при    0 ,    0 будут
иметь тот же характер, что и при    0 ,    0 .
положить
Чтобы повысить точность оценки увеличим число отсчетов k
яркости, которые участвуют в оценке яркости фона. В табл. 8.4 и на рис. 8.6
представлены результаты моделирования при    0 , PH b   0,5 ,
mb  220 при различных значениях   и k .
193
Табл. 8.4 – Средний квадрат погрешности оценивания при различных
значениях параметра k

0,00
0,01
0,02
0,03
0,04
0,05
0,06
0,07
k  100 1,4511
1,5947 2,0298 2,7675 3,8497 5,2336 7,0924 8,9523
29
11
75
28
58
66
97
9
k  200 0,7358
0,8159 1,0363 1,4074 1,9578 2,6737 3,6241 4,5755
6
51
9
83
51
56
09
71
k  400 0,4192
0,4529 0,5693 0,7644 1,0433 1,4057 1,8662 2,3262
09
55
21
15
38
57
91
9
k  800 0,2969
0,3244 0,4066 0,5339 0,7155 0,9494 1,2604 1,5686
68
36
21
51
5
01
01
6
k  1000 0,2210
0,2456 0,3134 0,4143 0,5535 0,7283 0,9600 1,1902
94
94
97
61
87
15
72
65
k  1200 0,1805
0,2072 0,2688 0,3434 0,4563 0,5922 0,7623 0,9347
41
06
31
92
01
94
9
68
k  1400 0,1321
0,1496 0,2052 0,2813 0,3751 0,4917 0,6402 0,7862
57
31
77
54
25
61
56
73
k  1600 0,1066
0,1176 0,1662 0,2434 0,3314 0,4258 0,5529 0,6773
62
92
65
82
97
42
17
99
k  1800 0,0813
0,0917 0,1368 0,1998 0,2809 0,3741 0,4827 0,5944
69
43
48
26
97
04
78
32
k  2000 0,0593
0,0716 0,1108 0,1704 0,2555 0,3381 0,4349 0,5360
96
31
69
46
15
29
83
96
Табл. 8.4 – Средний квадрат погрешности оценивания при различных
значениях параметра k (продолжение таблицы)

0,08
0,09
0,10
0,11
0,12
0,13
0,14
0,15
k  100 11,277
14,324 16,739 19,868 23,820 26,836 30,662 35,267
742
134
194
084
03
239
764
931
k  200 5,7542
7,3268 8,5463 10,155 12,246 13,742 15,711 18,190
74
44
79
935
805
431
68
154
k  400 2,8809
3,6107 4,1806 4,9218 5,9134 6,5903 7,5117 8,7223
07
92
32
34
72
39
4
04
k  800 1,9425
2,4326 2,8236 3,3205 3,9833 4,4434 5,0625 5,8813
63
43
75
29
49
55
05
92
k  1000 1,4724
1,8682 2,1630 2,5426 3,1023 3,4161 3,8976 4,6079
46
9
14
67
92
49
15
32
k  1200 1,1445
1,4347 1,6469 1,9413 2,3861 2,5937 2,9629 3,5434
93
73
04
06
51
49
18
44
k  1400 0,9605
1,2080 1,3877 1,6346 2,0191 2,1937 2,5165 3,0177
64
13
32
91
52
37
84
51
k  1600 0,8335
1,0662 1,2145 1,4318 1,7908 1,9166 2,2007 2,6919
8
7
24
31
02
73
34
35
k  1800 0,7276
0,9107 1,0426 1,2279 1,5380 1,6402 1,8585 2,2668
194
95
k  2000 0,6570
71
7
0,8329
71
26
0,9459
83
12
1,1038
84
12
1,3612
87
31
1,4458
53
29
1,6324
72
18
2,0169
89
Рис. 8.6 – Зависимость среднего квадрата погрешности оценивания  от
  при различных значениях k и остальными параметрами:    0 ,
2
 n  7 , PH f   0,5 , mb  220
Как видно по табл. 8.4 и рис. 8.6 с ростом значения   точность
оценивания яркости фона снижается, а при увеличении параметра k
точность оценки повышается. Это объясняется тем, что с ростом  
дисперсия  n    mb возрастает, что снижает точность измерений, а при
увеличении параметра k растет число отсчетов, соответствующих «фону»,
что повышает точность измерений.
2
2
2
195
8.2
Сравнение
существующими
разработанного
трехэтапного
алгоритма
с
Для сравнения предложенного алгоритма с существующими
алгоритмами
используется
компьютерное
моделирование.
Схема
компьютерного моделирования представлена на рис. 8.7.
Рис. 8.7 – Схема формирования видеоизображения
На известное изображение фона накладывается изображение
объектов контроля, которые в данном случае представляют собой машины и
пешеходы. Объекты контроля двигаются в с разными скоростями, которые
выбираются случайным образом. Когда объект контроля покидает
изображение на одной стороне, на противоположной стороне создается
другой объект контроля, у которого случайным образом выбирается цвет и
скорость движения.
Яркость каждого элемента изображения фона с объектами контроля
умножается на значение  и суммируется с  . Параметр  имеет
распределение (6.24),  – (6.25) и моделируют изменения освещенности.
После этого на полученное изображение накладывается изображение,
яркость каждого элемента которого определяется гауссовым шумом.
В этом эксперименте можно контролировать изображение, которое
должно быть получено на выходе алгоритма (рис. 8.8).
196
а
б
Рис. 8.8 – Кадр видеоизображения (а) и «идеальное» обнаружение объектов
контроля (б)
Для сравнения были рассмотрены два существующих алгоритма –
MoG и KDE. Результаты моделирования при  n  7 и различных значениях
  представлены в табл. 8.5 и на рис. 8.9.
Табл. 8.5 – Вероятность ошибки при различных
алгоритмов MoG, KDE и предложенного алгоритма

0,000
0,005
0,01
0,015
0,021840 0,022070 0,022759 0,023944
MoG
04
122
405
578
0,027759 0,027812 0,028048 0,028432
KDE
902
159
826
624
Предложен
0,022763 0,023187 0,023259 0,023448
ный
729
174
738
547
алгоритм
параметрах   для
0,02
0,025699
441
0,028938
547
0,025
0,028195
559
0,029540
228
0,023646 0,024171
069
307
Табл. 8.5 – Вероятность ошибки при различных параметрах   для
алгоритмов MoG, KDE и предложенного алгоритма (продолжение таблицы)

0,03
0,035
0,04
0,045
0,05
0,0316098 0,0361072 0,0417328 0,0484004 0,0559379
MoG
16
32
67
13
58
0,0302438 0,0309949 0,0318099 0.0336507 0.0355171
KDE
4
9
51
79
84
Предложенн
0,0251055 0,0265658 0,0288088 0.0309971 0.0332349
ый
9
33
8
28
87
алгоритм
197
Рис. 8.9 – Результаты моделирования определения вероятности ошибки для
алгоритмов MoG, KDE и предложенного алгоритма при различных
значениях   , определяющего изменения освещенности
Как видно по табл. 8.5 и рис. 8.9, в отсутствие мешающих факторов
наилучшие результаты обнаружения имеет известный алгоритм KDE, однако,
при изменяющейся освещенности разработанный алгоритм снижается
вероятность ошибки до 2-3% вместо 4-6% у существующих алгоритмов.
8.3
Результаты
экспериментальной
проверки
разработанных
алгоритмов обнаружения объектов контроля при изменениях
освещенности
На рис. 8.10 представлено изображение (а) – изображение фона,
полученное в блоке «Оценивание»; (б) кадр, получаемый с видеокамеры; (в)
изображение-маска, полученное в блоке «Предварительное определение
появления объекта контроля»; (г), (д), (е) первая, вторая, третья итерация
изображения-маски соответственно, полученные в блоке «Определение
появления объекта контроля с учетом контрастности». В результате работы
алгоритма большая часть изображения из-за изменения освещенности было
классифицировано как объект контроля (автомобили), однако, последующая
обработка показала, какие участки изображения в действительности
содержат объекты контроля. Существующие алгоритмы обнаружения
(Pfinder [127], MoG [129], KDE [140], Codebook [132]) в таких условиях
эксплуатации перестали функционировать (см. рис. 8.11), что подтверждает
повышение достоверности обнаружения объектов контроля разработанным
алгоритмом.
198
На рис. 8.12 представлено изображение (а) – изображение фона,
полученное в блоке «Оценивание»; (б) кадр, получаемый с видеокамеры; (в)
изображение-маска, полученное в блоке «Предварительное определение
появления объекта контроля»; (г), (д), (е) первая, вторая, третья итерация
изображения-маски соответственно, полученные в блоке «Определение
появления объекта контроля с учетом контрастности». В результате работы
алгоритма часть изображения из-за изменения освещенности была
классифицировано как объект контроля (вагон, локомотив, автомобиль),
однако, последующая обработка показала, что эти участки изображения
принадлежали фону. Существующие алгоритмы обнаружения (Pfinder [127],
MoG [129], KDE [130], Codebook [132]) в таких условиях эксплуатации
перестали функционировать (см. рис. 8.13), что подтверждает повышение
достоверности обнаружения объектов контроля разработанным алгоритмом.
а
б
в
г
199
д
Рис. 8.10 – Экспериментальная проверка алгоритма обнаружения на участке
автомобильной трассы
200
201
–
Сравнение
результатов
обнаружения
(на
участке
дороги
с
выделены серым цветом.
[132]; на рисунках ошибки обнаружения отмечены областями, границы которых
разработанного алгоритма, (г) Pfinder [127], (д) MoG [129], KDE [130], (ж) Codebook
(б) кадр, получаемый с видеокамеры, (в) результат обнаружения объекта контроля
разработанного алгоритма с существующими алгоритмами: (а) изображение фона,
автомобильным движением) в сложных условиях изменяющейся освещенности
Рис.8. 11
а
б
в
г
д
Рис. 8.12 – Экспериментальная проверка алгоритма обнаружения на участке
железнодорожного переезда
202
На рис. 8.14 представлено изображение (а) – изображение заднего
плана, полученное в блоке «Оценивание»; (б) кадр, получаемый с
203
обнаружения отмечены областями, границы которых выделены серым цветом.
(г) Pfinder [127], (д) MoG [129], KDE [130], (ж) Codebook [132]; на рисунках ошибки
видеокамеры, (в) результат обнаружения объекта контроля разработанного алгоритма,
Рис.8. 13 – Сравнение результатов обнаружения (на железнодорожном переезде) в
Рис
сложных условиях изменяющейся освещенности разработанного алгоритма с
. 8.13
существующими алгоритмами: (а) изображение фона, (б) кадр, получаемый с
видеокамеры; (в) изображение-маска, полученное в блоке «Предварительное
определение появления объекта контроля». В сложных погодных условиях
снегопада существующие алгоритмы (Pfinder [127], MoG [129], Codebook
[132]) перестают функционировать (см. рис. 8.15), в то время как
разработанный алгоритм обнаружения сохраняет свою работоспособность.
а
б
в
Рис. 8.14 – Экспериментальная проверка алгоритма обнаружения в
сложных погодных условиях снегопада
204
205
отмечены областями, границы которых выделены серым цветом.
(д) MoG [129], KDE [130], (ж) Codebook [132]; на рисунках ошибки обнаружения
результат обнаружения объекта контроля разработанного алгоритма, (г) Pfinder [127],
алгоритмами: (а) изображение фона, (б) кадр, получаемый с видеокамеры, (в)
условиях (во время снегопада) разработанного алгоритма с существующими
Рис.8. 15 – Сравнение результатов обнаружения в сложных погодных
8.4 Результаты обнаружения объектов контроля на видеоизображениях,
полученных с видеокамер, установленных на подвижных объектах
На рис. 8.16 представлено изображение (а) – кадр, получаемый с
видеокамеры; (б) результат обнаружения рельсов, определяющих
местоположения рельсовой плети. По рис. 8.16 видно, что алгоритм
обнаружения позволяет верно определить местоположение рельсовой плети.
а
б
Рис. 8.16 – Определение местоположения рельсовой плети
На рис. 8.17 представлено изображение (а) – кадр, получаемый с
видеокамеры; (б) результат обнаружения пешеходного перехода. По рис. 8.17
видно, что алгоритм обнаружения позволяет верно определить
местоположение пешеходный переход через железнодорожные пути.
а
б
Рис. 8.17 – Обнаружение перехода через железнодорожные пути
На рис. 8.18 представлено изображение (а) – кадр, получаемый с
видеокамеры; (б) результат обнаружения рисок для определения
местоположения сварного стыка. По рис. 8.18 видно, что следы отметин от
206
старых рисок не помечаются как обнаруженные «объекты контроля», что
соответствует правильной работе алгоритма обнаружения.
На рис. 8.19 представлено изображение (а) – кадр, получаемый с
видеокамеры; (б) результат обнаружения рисок для «маячной» шпалы. По
рис. 8.19 видно, что риски смещены относительно друг друга на шесть
пикселей. Это соответствует физическому смещению на три миллиметра.
а
б
Рис. 8.18 – Обнаружение рисок на рельсе для определения местоположения
сварного стыка
а
б
Рис. 8.19 – Измерение смещения рельсов относительно «маячных» шпал:
анализируемое изображение (а), результат обнаружения (б)
207
Заключение
Рассмотренные в монографии темы оценки скорости и обнаружения
появляющихся на изображении объектов представляют собой лишь частные
случаи
расширения
функциональных
возможностей
систем
видеонаблюдения.
Системы видеонаблюдения, оснащенные функциями анализа,
достаточно широко распространены, поэтому может сложиться впечатление,
что представленные в монографии темы являются не более чем констатацией
тех научно-технических мыслей, которые положены в основу существующих
современных систем видеонаблюдения.
В
реалиях
сегодняшнего
времени
разработка
систем
видеонаблюдения ведется, руководствуясь инженерной мыслью, а не
научными
проработками
отдельных
тематик.
Поэтому
основу
разрабатываемого программного обеспечения составляют, как правило,
базовые неоптимизированные алгоритмы. Доработка же этих алгоритмов на
реальных видеоданных усложняет их и затрудняет их последующую
доработку. Подобные алгоритмы практически невозможно представить в
виде плоской блок-схемы, которая позволяла бы с легкостью проводить ее
модификацию и масштабирование.
Поэтому одним из возможных подходов к расширению
функциональных возможностей видеокамер – это проведение достаточно
серьезных исследований в области анализа видеосигналов, учитывающих
особенности, которые связаны как с самим изображением, так и с
особенностью поставленной задачи. Этот подход является более трудоемким,
но он гарантирует создание максимально прозрачных и масштабируемых
решений, и, как правило, с получением высококачественных результатов
обработки видеоданных.
Учитывая, что системы видеоаналитики с каждым годом становятся
все более сложными, а требования к измерениям все более жесткими, то
проектирование расширяемых решений необходимо ставить в угол проблемы
развития интеллектуальных видеосистем.
Использование достаточно развитого математического аппарата
теории вероятностей, теории принятия решений и теории матричных
геометрических преобразований позволяет получать готовые решения, но
требует достаточно высокого уровня квалификации специалистовинженеров.
Представленные в монографии темы приоткрывают общие идеи того,
каким образом могут быть построены алгоритмы обработки изображений, но
не охватывают все то многообразие проблем, которые существуют на
настоящий момент. Можно с уверенностью утверждать, что тематика
видеосистем является достаточно разработанной с точки зрения
технического обеспечения, но как и всякая телекоммуникационная тематика
нуждается в серьезных фундаментальных исследованиях.
208
Список литературы
1. Васин Н.Н., Куринский В.Ю. Расширение функциональных возможностей
систем видеонаблюдения // Вестник транспорта Поволжья, 2010, № 3, с. 5-9.
2. Еремин С.Н., Малыгин Л.Л., Михайлов А.Е., Царев В.А. Опыт
использования технологии обработки изображений при проектировании
интеллектуальных транспортных систем // Искусственный интеллект в XXI
веке: Труды международного конгресса ICAI ‘ 2001. М.: Физмалит, 2001. – Т.
2, – с. 676 – 690.
3. Чернов П.В., Чекурнов В.В., Лукошков В.С., Парилов В.А., Колесниченко
Н.Н. Способ измерения скорости движения отцепов на сортировочной горке
и устройство, его реализующее // Патент РФ. № 2229404, заявка
2000105688/28, 07.03.2000, опубл. 07.03.2000.
4. Б.М. Яворский, А.А. Пинский, "Основы физики. Том 2. Колебания и волны.
Квантовая физика". – М.: Наука, 2003. – 550 с.
5. М.М. Архангельский, "Курс физики. Механика". – М.: Просвещение, 1965. – 448
с.
6. Основы цифровой обработки сигналов: Курс лекций / Авторы: А.И.
Солонина, Д.А. Улахович, С.М. Арбузов, Е.Б. Соловьева / Изд. 2-е испр. и
перераб. – СПб.: БХВ-Петербург, 2005. – 768 с.: ил.
7. А.Б. Сергиенко. Цифровая обработка сигналов. – СПб.: Питер, 2003 – 604
с.: ил.
8. А.В. Оппенгейс, Р.В. Шафер. Цифровая обработка сигналов: Пер. с англ./
Под ред. С.Я. Шаца. – М.: Связь, 1979. – 416 с., ил.
9. «Сокол М-С», скоростемер
http://www.arms-expo.ru/site.xp/054057048124049048051057048.html
10. Радиолокационный измеритель скорости СОКОЛ М-Д (скоростемер)
http://www.1avtorem.ru/pages/sokol-md.html
11. Измеритель скорости автотранспорта «Искра-1»
http://www.i-radar.ru/faq/33-izmeritel-skorosti-avtotransporta-iskra-1.html
12. Измеритель скорости автотранспорта «Луч-2»
http://www.i-radar.ru/faq/29-izmeritel-skorosti-luch-2.html
13. Радиолокационный индикатор скорости железнодорожных вагонов РИСВ3
http://www.istok-mw.ru/Products/reg/products2_1.htm
14. А.И. Башмаков, И.А. Башмаков. Интеллектуальные информационные
технологии: Учеб. пособие. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. – 304
с.: ил.
15. А.А. Амосов, Ю.А. Дубинский, Н.В. Копленова. Вычислительные методы
для инженеров. – М.: Высшая школа, 1994. – 544 с.
16. Е.П. Путятин, С.И. Аверин. Обработка изображений в робототехнике. –
М.: Машиностроение, 1990. – 320 с.
17. Проектирование IP сети для системы видеонаблюдения
http://www.ciscoexpo.ru/expo2010/materials/video_surveillance/mkhlopot_vsurv_
design.pdf
209
18. Дизайн сетевой инфраструктуры для систем IP видеонаблюдения.
http://www.ciscoexpo.ru/expo2009/materials/vs/vs_network_amarchen.pdf
19. Зачем нужна система видеонаблюдения?
http://www.systemasb.ru/
20. Система видеонаблюдения за 2 - 4 объектами
http://www.akvilona.ru/serv/cctv/2-8camera.htm
21. Система видеонаблюдения
http://avs50.ru/view_post.php?id=135
22. Видеонаблюдение объектов
http://www.ip-link.ru/video_systems/services13.html
23. Дистанционные системы видеонаблюдения
http://www.itain.spb.ru/videosupervision-and-connection/controlled-fromdistance-systems-of-videosupervision
24. Системы видеонаблюдения на промышленных и протяженных объектах
http://www.tahion.spb.ru/book/vvedenie
25. Решения Cisco для построения систем IP видеонаблюдения.
http://www.ciscoexpo.ru/expo2009/materials/vs/vs_intro_amarchen.pdf.
26. Новые перспективы систем видеоаналитики.
http://www.ciscoexpo.ru/expo2009/materials/vs/ISS.pdf
27. Васин Н.Н., Баранов А.М., Куринский В.Ю., Пронькин А.А. Обработка
изображений для управления технологическими процессами на транспорте.
Проблемы техники и технологии телекоммуникаций: Материалы VII Межд.
НТК. – Самара: ПГАТИ, 2006 с.79-80.
28. Афанасенко, А. С. Обработка данных при измерении скорости протяженного
подвижного объекта / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.: в 3 ч.
Ч. II. Технические науки. ГУАП. СПб. 2008. С. 3–6.
29. Афанасенко, А. С. Повышение достоверности измерения движения на
видеоизображении с помощью нечеткой логики / А. С. Афанасенко // Научная
сессия ГУАП: сб. докл.: в 3 ч. Ч. I. Технические науки. ГУАП. СПб. 2006. С. 124–
126.
30. Афанасенко, А. С. Аналитическая обработка изображения движущегося
железнодорожного состава / А. С. Афанасенко // Научная сессия ГУАП: сб. докл.:
в 3 ч. Ч. II. Технические науки. ГУАП. СПб. 2007. С. 5–8.
31. Афанасенко, А. С. Высокоточное измерение движения на видеоизображениях /
А. С. Афанасенко // 4-я Международная научно-техническая конференция
«Цифровые и информационные технологии в электронной медиаиндустрии –
2006»: тез. докл. ГУКиТ. СПб. 2006. С. 24.
32. Абакумов А.М., Бережной И.А., Денкевиц В.А, Кузнецов П.К., Ляпидов
В.С., Мишин В.Ю., Семавин В.И. Способ измерения параметров движения
протяженного объекта со случайным распределением яркости // Патент РФ.
№ 753244, заявка 2726238/23, 14.02.1979, опубл. 20.09.2006.
33. Абакумов А.М., Кузнецов П.К., Мишин В.Ю., Проскуровский Д.Н.,
Семавин В.И. Устройство для вектора скорости движения изображения
протяженного объекта со случайным распределением яркости // Патент РФ.
№ 1085389, заявка 3457956/23, 21.06.1979, опубл. 20.09.2006.
210
34. В.В. Мясников, В.В. Сергеев. Отчет ЗАО «Компьютерные технологии» об
опытно конструкторской работе: «Разработка устройства измерения скорости
движения железнодорожных вагонов на сортировочной горке». – Самара,
2001 г. – 25 с.
35. Пирим Патрик. Способ и устройство для идентификации и локализации в
реальном масштабе времени зоны с относительным перемещением в сцене и
для определения скорости и направления перемещения // Патент РФ. №
99103620, заявка 99103620/09, 22.07.1997, опубл. 10.03.2001.
36. Tomio Echigo. Apparatus and method for detecting a velocity of a moving
obkect // Патент США. № 5771485, заявка 632539, 19.04.1996, опубл.
23.01.1998.
37. Обухова, Н.А. Особенности применения метода сопоставления блоков
для обнаружения и сегментирования медленно движущихся объектов / Н.А.
Обухова // Телевидение: передача и обработка изображений: материалы III
Междунар. науч. конф., г. C.-Петербург, 5-6 июня 2003 г. – CПб., 2003. – С.
25-27.
38. Обухова, Н.А. Метод видеонаблюдения за медленно движущимися
малоразмерными объектами / Н.А. Обухова // Известия высших учебных
заведений России. Сер. Радиоэлектроника. – 2003 - №4. – C. 44-52.
39. Обухова Н.А. Программа коррекции геометрических искажений в
видеоданных полученных ТВ камерой с короткофокусным объективом: свидво об отраслевой регистрации разработки № 2808 / Н.А. Обухова; СПб
ГУАП.- М.: ВНИТЦ, 2003 - № 50200300805.
40. Ташлинский А.Г. Оценивание параметров пространственных деформаций
последовательностей изображений. Ульяновск: УлГТУ, 2000. 132 с.
41. Васин Н.Н., Куринский В.Ю. Обработка видеосигналов для измерения
скорости движения железнодорожных вагонов на сортировочной горке.
Компьютерная оптика, 2005. №27. С. 185-188.
42. Васин Н.Н., Куринский В.Ю. Метод измерения скорости движения
железнодорожных
вагонов
на
сортировочной
горке.
//
Инфокоммуникационные технологии, 2005. – Т3. – №1. – С. 40-44.
43. Васин Н.Н., Куринский В.Ю. Телевизионный метод измерения скорости
движения железнодорожных вагонов на сортировочной горке. XII
Российская научная конференция профессорско-преподавательского состава,
научных сотрудников и аспирантов. Тезисы докладов.- Самара 2005.- С. 84 –
85.
44. Васин Н.Н., Баранов А.М., Дворянинов П.Ю., Куринский В.Ю., Пронькин
А.А. Метод межкадровой разности для измерительных систем.
«Радиотехника и связь», Материалы МНТК. – Саратов, СГТУ 2007, с. 67-71.
45. Куринский В.Ю. Метод амплитудного сравнения участков изображений
для вычисления скорости движения железнодорожных вагонов.
Радиотехника и связь, Материалы МНТК. – Саратов, СГТУ 2007, с. 75-82.
46. Васин Н.Н., Куринский В.Ю. Метод обработки видеосигналов для
измерительных систем. Проблемы техники и технологии телекоммуникаций:
«Оптические технологии в телекоммуникациях». – УФА 2007, с. 161.
211
47. Васин Н.Н., Куринский В.Ю., Пронькин А.А. Метод межкадровой
разности в задачах идентификации состояния подвижных и квазистатических
объектов.
XV
Российская
научная
конференция
профессорскопреподавательского состава, научных сотрудников и аспирантов. Тезисы
докладов.- Самара 2008, с. 95-96.
48. Куринский
В.Ю.
Система
измерения
скорости
движения
железнодорожных вагонов на сортировочной горке. Конференции «Наука и
образование транспорту» – Самара, СамГУПС, 2009.
49. Васин Н.Н., Куринский В.Ю. Метод обработки. Видеосигналов для
измерения
скорости
движения
протяженных
объектов
//
Инфокоммуникационные технологии, 2010. – Т3. – №2. – С. 36-39.
50. Васин Н.Н., Куринский В.Ю. Способ измерения скорости движения
протяженных объектов // Патент РФ. № 2398240, заявка 2009112710/ 28,
06.04.2009, опубл. 27.08.2010, Бюл. № 24.
51. Заказнов Н.П., Кирюшин С.И., Кузичев В.И. Теория оптических систем. – М.:
Машиностроение 1992.
52. Бегучев В.П., Филачев А.М., Чапкевич А.Л. Электронно-оптические
преобразователи. Состояние и тенденции развития. Прикладная физика,
1999. №2.
53. Е.М. Гершензон, Н.Н. Малов, А.Н. Мансуров. Оптика и атомная физика.
М.: Издательский центр «Академия», 2000. 378 c.
54. Борн М., Вольф Э. Основы оптики. М.: Наука, 1973. – 718 с.
55. Методы компьютерной обработки изображений. Под ред. В.А. Сойфера.
М.: Физмалит, 2004. 784 c.
56. А.А. Харкевич. Борьба с помехами. Издание второе, исправленное – М.:
Изд-во «Наука», 1965 – 275 С.
57. Куринский В.Ю., Пронькин А.А. Погрешность измерения параметров
подвижного объекта при обработке видеосигналов. XV Российская научная
конференция
профессорско-преподавательского
состава,
научных
сотрудников и аспирантов. Тезисы докладов.- Самара 2008, с. 93-94.
58. Васин Н.Н., Куринский В.Ю., Пронькин А.А. Погрешность измерения
параметров объекта при обработке видеосигналов. Конференции «Наука и
образование транспорту» – Самара, СамГУПС 2009, с. 143.
59. Bernd J¨ahne. Digital Image Processing, 5th, revised and extended edition. Springer
Verlag Berlin, 2002.
60. Bernd J¨ahne. Digital Image Processing, 5th, revised and extended edition. Springer
Verlag Berlin, 2002.
61. Цифровая обработка изображений в информационных системах: Учебное
пособие / Грузман И.С., Киричук В.С. и др. – Новосибирск: НГТУ, 2002. –
352 с.
62. Б. Яне. Цифровая обработка изображений. Пер. с англ. – М.: Техносфера.
2007. – 581 с.: ил.
63. У. Прэтт. Цифровая обработка изображений: Пер. с англ. – М.: Мир, 1982.
– Кн.1 – 312 с.: ил.
212
64. У. Прэтт. Цифровая обработка изображений: Пер. с англ. – М.: Мир, 1982.
– Кн.2 – 480 с.: ил.
65. Б.В. Анисимов, В.Д. Курганов, В.К. Злобин. Распознавание и цифровая
обработка изображений: Учеб. пособие для студентов вузов. – М.: Высш.
шк., 1983. – 295 с.: ил.
66. А.А. Юдашкин. Распознавание растровых изображений с помощью
динамической нейронной сети, заданной в пространстве комплексных чисел.
// Известия Самарского научного центра РАН. 2003. – С. 127-133.
67. Э.Т. Романычева, Т.Ю. Соколова, Г.Ф. Шандурина. Инженерная и
компьютерная графика. – 2-е изд., перераб. – М.: ДМК Пресс, 2001. – 592 с.:
ил.
68. Т. Павлидис. Алгоритмы машинной графики и обработки изображений.
М.: Мир, 1986. – 396 с.: ил.
69. Image Analysis, Sediments and Paleoenvironments. Edited by Pierre Francus.
– Spinger Science + Business Media, Inc. – 330 p.
70. А.Ю. Поляков, В.А. Брученцев. Методы и алгоритмы компьютерной
графики в примерах на Visual C++, 2-е изд., перераб. и доп. – СПб.: БВХПетербург, 2003 – 560 с.: ил.
71. В.В. Яншин, Г.А. Обработка изображений на языке Си для IBM PC:
Алгоритмы и программы. – М.: Мир, 1994. – 553 с.: ил.
72. Я.А. Фурман, Юрьев А.ФН., Яншин В.В. Цифровые методы обработки и
распознавания бинарных изображений. – Красноярск: Изд-во Краснояр. унта, 1992. – 248с.
73. Jim Casaburi. 2D Cleaner Filter. Denoising filters comparison results - CS MSU
graphics&media lab Moscow, 05 apr 2003: 2-4.
74. Р.В. Хемминг. Цифровые фильтры. Перевод с английского В.И.
Ермишина / Под ред. Профессора А.М. Трахтмана. – М.: Советское Радио,
1980. – 224 С.
75. Колос М.В., Колос И.В. Методы оптимальной линейной фильтрации /
Под ред. В.А Морозова. – М.: Изд-во МГУ, 2000. – 102 с.
76. Введение в контурный анализ; приложения к обработке изображений и
сигналов / Я.А. Фурман, А.В. Кревецкий, А.К. Передеев, А.А. Роженцов, Р.Г.
Хафизов, И.Л. Егошина, А.Н. Леухин; Под ред. Я.А. Фурмана. – 2-е изд.,
испр. – М.: Физмалит, 2003. – 592 с.
77. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. – М.:
Техносфера, 2005. – 1072 с.
78. Е.А. Бутаков и др. Обработка изображений на ЭВМ/Е. – М.: Радио и
связь, 1987. – 240 с.: ил.
79. Л.П. Ярославский. Введение в цифровую обработку изображений. – М.:
Советской радио, 1979. – 312 с.: ил.
80. Р. Дуда, П. Харт. Распознавание образов и анализ сцен. Пер. с англ. – М.:
Мир, 1976. – 509 с.
81. А. Фор. Восприятие и распознавание образов. / Пер. с фр. А.В.
Серединского; под ред. Г.П. Катыса – М.: Машиностроение, 1989. – 272 с.
213
82. Густав Олссон, Джангуидо Пиани. Цифровые системы автоматизации и
управления. – СПб.: Невский Диалект, 2001. – 557 с.: ил.
83. Д. Даджион, Р. Мерсеро. Цифровая обработка многомерных сигналов.
Пер. с англ. – М.: Мир, 1988. – 488 с.
84. В. В. Гнеденко. Курс теории вероятностей. – М.: Наука, 1988. – 451 c.
85. В. П. Чистяков. Курс теории вероятностей. – М.: Наука, 1982. – 224 с.
86. А. А. Боровков. Теория вероятностей. – М.: Наука, 1988. – 367 с.
87. Б. А. Севастьянов. Курс теории вероятностей и математической
статистики. – М.: Наука, 1982. – 256 с.
88. Д. Марр. Зрение. Информационный подход к изучению представления и
обработки зрительных образов. Пер. с англ. Под ред. И.Б. Гуревича. – М.:
Радио и связь, 1987. – 400 с.: ил.
89. В.С. Гутников. Фильтрация измерительных сигналов. – Л.:
Энергоатомиздат. Ленингр. отд-ние, 1990. – 192 с.: ил.
90. Эндрюс Г. Применение вычислительных машин для обработки
изображений. – М.: Энергия, 1977. – 160 с.
91. Pearson K., On lines and planes of closest fit to systems of points in space,
Philosophical Magazine, (1901) 2, 559—572.
92. Sylvester J.J., On the reduction of a bilinear quantic of the nth order to the form
of a sum of n products by a double orthogonal substitution, Messenger of
Mathematics, 19 (1889), 42—46.
93. Л.М. Финк. Теория передачи дискретных сообщений. Изд. 2-е,
переработанное, дополненное. Изд-во «Советское радио», 1970, 728 С.
94. Ю. Сато. Обработка сигналов. Первое знакомство / Под ред. Ё. Амэмия.
Изд-во ОДЭКА, 1999 – 174 С.
95. Л. Френкс. Теория сигналов. Нью-Джерси, 1969 г. Пер. с англ., под ред.
Д.Е. Вакмана. М., «Сов. радио», 1974, 344 С.
96. А.М. Трахтман, В.А. Трахтман. Основы теории дискретных сигналов на
конечных интервалах. Изд-во «Советское радио», 1975, 208 С.
97. Э. Айфичер, Б. Джервис. Цифровая обработка сигналов: практический
подход, 2-е издание.: Пер. с англ. – М.: Издательский дом «Вильямс», 2004. –
992 с.: ил.
98. Применение компьютерной обработки сигналов. Под ред. Э. Оппенгейма.
М.: Мир, 1980. 552 c.: ил.
99. Л. Рабинер, Б. Гоулд. Теория и применение цифровой обработки
сигналов. Пер. с англ., под ред. Ю.И. Александрова. – М.: Мир, 1978. – 848 с.
100. Р. Блейхут. Быстрые алгоритмы цифровой обработки сигналов. Пер. с
англ. – М.: Мир, 1989. – 448 с.: ил.
101. Л.М. Гольденберг и др. Цифровая обработка сигналов: Учеб. пособие
вузов / 2-изд., перераб. и доп. – М.: Радио и связь, 1990. – 256 с.: ил.
102. Голд Б., Рэйдер Ч. Цифровая обработка сигналов. Пер. с англ., под ред.
А.М. Трахтмана. М.: «Советское радио», 1973. – 368 с.
103. Печинкин В. А., Тескин О. И., Цветкова Г. М. и др. Теория
вероятностей: Учеб. для вузов / Под ред. В. С. Зарубина, А. П. Крищенко. —
214
М.: Изд-во МГТУ им. Баумана, 1998. — 456 с. (Сер. Математика в
техническом университете; Вып. XVI).
104. Зайдель А.Н. Погрешности измерений физических величин. - Л.: Наука, 1985.
– 112 c.
105. Куо Б. Теория и проектирование цифровых систем управления: Пер. с
англ. – М.: Машиностроение, 1986. – 448 с., ил.
106. Алберг Дж., Нильсон Э., Уолш Дж. Теория сплайнов и ее приложения.
Пер. с англ. – М.: Мир, 1972. – 316 с., ил.
107. Стренг Г. Линейная алгебра и ее применения. М.: Мир. 1980.
108. Каханер Д., Моулер К., Нэш С. Численные методы и программное
обеспечение. М.: Мир. 1998.
109. Стрижов В. В. Методы индуктивного порождения регрессионных
моделей. М.: ВЦ РАН. 2008. 55 с.
110. Демидович Б.П., Марон И.А., Шувалова Э.З. Численные методы
анализа. Приближение функций, дифференциальные и интегральные
уравнения. М., 1967 г., 368 с., ил.
111. В.А. Зорич. Математический анализ. Часть I. Изд. 2-е, испр. и доп. М.:
ФАЗИС, 1997. – xiv + 554 c.
112. В.А. Зорич. Математический анализ: Учебник. Часть II. М.: Наука
Главная редакция физико-математической литературы, 1984. – 640 c.
113. Ч. Лоусон, Р. Хенсон. Численное решение задач метода наименьших
квадратов. Пер. с англ. – М.: Наука, Гл. ред. физ.-мат. лит., 1986 – 264 с.
114. Б.В. Дворяшин. Основы метрологии и радиоизмерения: Учеб. Пособие
для вузов. – М.: Радио и связь, 1993. – 320 с.: ил.
115. Васин Н.Н., Куринский В.Ю. Статистический анализ данных при
обработке видеосигнала в измерительных системах. Радиотехника и связь,
Материалы МНТК. – Саратов, СГТУ 2009.
116. Тэйлор Дж. Введение в теорию ошибок. - М.: Мир, 1985. – 271 c.
117. Васин Н.Н., Куринский В.Ю. Статистический анализ данных при
обработке видеосигнала в измерительных системах. «Радиотехника и связь»,
Материалы МНТК. – Саратов, СГТУ 2009.
118. Куринский В.Ю. Интерполяция изображений для повышения точности
обработки видеосигналов в измерительных системах. «Радиотехника и
связь», Материалы МНТК. – Саратов, СГТУ 2009
119. Куринский В.Ю. Способы повышения точности результата в задачах
измерения параметров движения объектов. Десятая Международная научнотехническая конференция "ПРОБЛЕМЫ ТЕХНИКИ И ТЕХНОЛОГИЙ
ТЕЛЕКОММУНИКАЦИЙ" – Самара, ПТмТТ-2009.
120. Cisco 4300 IP Camera HD Day/Night (CIVS-IPC-4300)
http://www.shop.mcart.ru/goods/90604_cisco_CIVS-IPC-4300
121. Универсальная IP-камера Cisco 2500 «день-ночь» с WDR, микрофоном и
разрешением D1 при 25 к/с
http://www.ip-videosystems.ru/news/ip-camera.ahtm
122. Сетевая камера AXIS 221 для круглосуточного видеонаблюдения
http://www.axis.com/ru/products/cam_221/
215
123. BD4070-K12 Цветная IP-камера КМОП 1/3'', 2 Mpx, День/Ночь. уличное
исполнение в термокожухе
http://www.aktivsb.ru/prod-12104.html
124. МВК-8152ц ДВ (2,8-11мм)
http://www.expert-video.ru/catalog/videocameras-colour/ulichnye/mvk-8152tsdv/
125. BD4070H-K12 Уличная IP-камера, 2 мегапикселя, День/Ночь. 0.5
лк(День)/0.01(Ночь), Н.264/MJPEG
http://www.aktivsb.ru/prod-12099.html
126. Описание среды программирования Borland Delphi 8.0
http://www.interface.ru/fset.asp?Url=/borland/delphi8.htm
127. Wren, C., Azarbayejani, A., Darrell, T., Pentland, A.: Pfinder: Real-time
tracking of the human body. IEEE Transactions on Pattern Analysis and Machine
Intelligence 19(7), 780–785, 1997.
128. R. Cucchiara, C. Grana, M. Piccardi, and A. Prati, “Detecting moving objects,
ghosts and shadows in video streams”, IEEE Trans. on Patt. Anal. and Machine
Intell., vol. 25, no. 10, Oct. 2003, pp. 1337-1342.
129. Stauffer C, Grimson WEL. Adaptive background mixture models for realtime tracking. IEEE International Conference on Computer Vision and Pattern
Recognition 1999;2:246–52.
130. Elgammal A, Harwood D, Davis LS. Non-parametric model for background
subtraction. European Conference on Computer Vision 2000;2:751–67.
131. C. Ridder, O. Munkelt, H. Kirchner, Adaptive background estimation and
foreground detection using kalman-filtering, in: Proceedings of International
Conference on Recent Advances in Mechatronics, 1995, pp. 193–199.
132. K. Kim, T.H. Chalidabhongse, D. Harwood and L. Davis. Real-time
Foreground-Background Segmentation using Codebook Model. Real-Time
Imaging, vol.11, issue 3, pp.167-256, June 2005.
133. Csaba Benedek and Tamas Szirany. Markovian Framework for ForegroundBackground-Shadow Separation of Real World Video Scenes. ACCV, 2006,pp.
898-907.
134. Konrad Schindler, Hanzi Wang. Smooth Foreground-Background
Segmentation for Video Processing. ACCV 2006, Hyderabad, India, Volume 3852,
pages 581-590.
135. Патент RU2031545C1, 04.02.1992.
136. Патент RU2250478C2, 11.04.2003.
137. Патент RU2140721C1, 27.12.1984.
138. Патент US7742650, 12.11.2003.
139. Патент US7359552, 15.12.2004.
140. Патент US20080095435, 23.03.2001.
141. Патент US7373012, 01.02.2005.
142. Патент US7415164, 05.01.2005.
143. Horpresert et al, "A Statistical Approach for Real-Time Robust Background
and Shadow Detection", Computer Vision Laboratory, University of Maryland,
Colledge Park, MD 20742, pp. 1-19, circa 1999.
216
144. McKenna et al., "Tracking Groups of People", Computer Vision and Image
Understanding, Academic Press, San Diego, CA, US, vol. 80, No. 1, Oct. 2000,
pp.45-56, XP004439258.
145. C. Harris and M. Stephens, "A combined corner and edge detector", Fourth
Alvey Vision Conference, pp. 147-151, 1988.
146. D.G. Lowe. "Object recognition from local scale invariant features",
ICCV’99, Sep. 1999.
147. Гмурман В.Е. Руководство к решению задач по теории вероятностей и
математической статистике. – М. Высшая школа // 2004 – с. 121-122., с. 132.
148. Горячкин О.В. – Лекции по статистической теории систем радиотехники
и связи // 2007. - с.192
149. Ташлинский А.Г. Оценивание
параметров
пространственных
деформаций
последовательностей изображений / Ульяновский
государственный технический университет. – Ульяновск: УлГТУ, 2000. - 132
с.
150. Крашенинников В. Р. Основы теории обработки изображений: Учебное
пособие. – Ульяновск: УлГТУ, 2003. – 150 с.
151. Пешков Н.Н. Временная селекция объектов на видеоизображениях //
Обозрение прикладной и промышленной математики. - М.: Редакция
журнала «ОПиПМ», 2004. -т.И. - Вып. 2. - С.387-388.
152. Обухова, Н.А. Метод автоматической сегментации и сопровождения
объектов интереса на основе математического аппарата нечеткой логики/
Н.А.Обухова // Известия высших учебных заведений России. Сер.
Радиоэлектроника. - 2007- №3. - C. 53-63.
153. Васин Н.Н., Куринский В.Ю. Метод обработки. Видеосигналов для
измерения
скорости
движения
протяженных
объектов
//
Инфокоммуникационные технологии, 2010. – Т3. – №2. – С. 36-39.
154. Ляшко И.И., Боярчук А.К., Гай Я.Г., Головач Г.П. Справочное
руководство по высшей математике Т.2: Математический анализ: ряды,
функции векторного аргумента. – М.: Едиториал УРСС, 2003. – с. 196.
(определения)
155. ГОСТ 17657—79 «Передача данных. Термины и определения»
156. M. Xu, T. Ellis, Colour-Invariant Motion Detection under Fast Illumination
Changes., 2nd European Workshop on Advanced Video-based Surveillance, pp.
335-345, 2002.
157. Дуда Р., Харт П. «Распознавание образов и анализ сцен». // М «МИР»,
1976. Пер. с англ. Г. Г. Вайештейнв, А. М. Васьковского, под ред. В. Л.
Стефанюка, 509 с.
158. Фуканага К. «Введение в статистическую теорию распознавания
образов» // М. Наука, 1979, Пер. с англ. Главная редакция физикоматематической литературы, 368 с.
159. И.С. Грузман, В.С. Киричук, Цифровая обработка изображений в
информационных системах.
217
160. Анисимов Б.В., Курганов В.Д., Злобин В.К., «Распознавание и цифровая
обработка изображений: Учеб. пособие для студентов вузов». – М.: Высш.
шк., 1983 – 295 с., ил.
161. Мандель И.Д. «Кластерный анализ». - М.: Финансы и статистика., 1988.
– 176 с.
162. Эдвард А. Патрик «Основы теории распознавания образов»: / Пер. с
англ. / Под ред. Б.Р. Левина. – М. Сов. радио, 1980 – 408 с., ил.
163. Гашников М.В., Глумов Н.И., Ильясова Н.Ю., Мясников В.В., Попов
СБ., Сергеев В.В., Сойфер В.А., Храмов А.Г., Чернов А.В., Чернов В.М.,
Чичева М.А., Фурсов В.А. Методы компьютерной обработки изображений /
Под ред. В.А. Сойфера. — 2-е изд., испр. - М.: ФИЗМАТЛИТ, 2003. - 784 с. ISBN 5-9221-0270-2.
164. Дж. Ту, Р. Гонсалес., «Принципы распознавания образов»: / Пер. с англ.
И.Б. Гуревича под редакцией Ю.И. Журавлева.- М. «Мир», 1978 – с. 403, ил.
165. Прет У. «Цифровая обработка изображений», Пер. с англ. – М.: Мир,
1982. – Кн. 2 – с. 480, ил.
166. Ван Трис Г. «Теория обнаружения, оценок и модуляции». Т. 3.
Обработка сигналов в радио- и гидролокации и прием случайных гауссовых
сигналов на фоне помех. Нью-Йорк, 1971. Пер. с англ. под ред. проф. В.Т.
Горяинова. М., «Сов. радио», 1977, 664 с.
167. А.Г.Зюко, Д.Д. Кловский, В.И. Коржик, М.В. Назаров «Теория
электрической связи»: Учебник для вузов. Под ред. Д.Д. Кловского. – М.:
Радио и связь, 1999. – 432 с.: 204 ил.
168. Финк Л.М. Сигналы, помехи, ошибки … Заметки о некоторых
неожиданностях, парадоксах и заблуждениях в теории связи. – 2-е изд.
перераб. и доп. – М.: Радио и связь, 1984. – 256с.
169. Прокис Д. Цифровая связь. Пер. с англ. / Под ред. Д.Д. Кловского. – М.:
Радио и связь. 2000. – 800 с.
170. H. Kim, R. Sakamoto, I. K. T. Toriyama, K. Kogure Robust Foreground
Segmentation from Color Video Sequences Using Background Subtraction with
Multiple Thresholds.
171. Harville M., Gordon G., Woodfill J. Foreground Segmentation Using
Adaptive Mixture Models in Color and Depth
172. C. Eveland, K. Konolige, R. Bolles. “Background Modeling for Segmentation
of Video-rate Stereo Sequences”.In CVPR’98, pp.266-271, June 1998.
173. N. Friedman, S. Russell. “Image Segmentation in Video Sequences: a
Probabilistic Approach”.In 13th Conf. on Uncertainty in Artificial Intelligence,
August 1997.
174. G. Gordon, T. Darrell, M. Harville, J.Woodfill. “Background Estimation and
Removal Based on Range and Color”.In CVPR’99, Vol.2, pp.459-464, June 1999.
175. Bohyung Han, Dorin Comaniciu, Larry Davis «Sequential kernel density
approximation through mode propagation: applications to background modeling»
176. Mustafa Karaman, Lutz Goldmann, Da Yu and Thomas Sikora «Comparison
of Static Background Segmentation Methods»
218
177. N. Ohta, “A Statistical Approach to Background Suppression for Surveillance
Systems,” Proc. IEEE Int’l Conf. Computer Vision, pp. 481-486, 2001.
178. D. Koller, J.Weber, T. Huang, J. Malik, G. Ogasawara, B. Rao, and S. Russel,
“Towards Robust Automatic Traffic Scene Analysis in Real-Time,” Proc. Int’l
Conf. Pattern Recognition, pp. 126-131, 1994.
179. R. Cucchiara, C. Grana, M. Piccardi, A. Prati, and S. Sirotti, “Improving
Shadow Suppression in Moving Object Detection with HSV Color Information,”
Proc. IEEE Int’l Conf. Intelligent Transportation Systems, pp. 334-339, Aug. 2001.
180. S. Jabri, Z. Duric, H. Wechsler, and A. Rosenfeld, “Detection and Location of
People in Video Images Using Adaptive Fusion of Color and Edge Information,”
Proc. Int’l Conf. Pattern Recognition, pp. 627-630, 2000.
181. N.M. Oliver, B. Rosario, and A.P. Pentland, “A Bayesian Computer Vision
System for Modeling Human Interactions,” IEEE Trans. Pattern Analysis and
Machine Intelligence, vol. 22, no. 8, pp. 831-843, Aug. 2000.
182. A. Prati, R. Cucchiara, I. Mikic, and M.M. Trivedi, “Analysis and Detection
of Shadows in Video Streams: A Comparative Evaluation,” Proc. IEEE Int’l Conf.
Computer Vision and Pattern Recognition, 2001.
183. A. Bainbridge-Smith and R. G. Lane, “Determining Optical Flow Using a
Differential Method,” Image and Vision Computing, vol. 15, pp. 11-22, 1997.
184. Teresa Ko, Stefano Soatto, and Deborah Estrin «Background Subtraction on
Distributions»
185. Jain, R., Nagel, H.:On the analysis of accumulative difference pictures
fromimage sequences of real world scenes. IEEE Transactions on Pattern Analysis
and Machine Intelligence 1(2), 206–214 (1979)
186. Kameda, Y., Minoh, M.: A human motion estimation method using 3successive video frames. In: International Conference on Virtual Systems
andMultimedia, pp. 135–140 (1996)
187. Migliore, D., Matteucci, M., Naccari, M., Bonarini, A.: A revaluation of
frame difference in fast and robust motion detection. In: VSSN 2006. Proceedings
of the 4th ACM international workshop on Video surveillance and sensor
networks, pp. 215–218 (2006) .
188. Harville, M.: A framework for high-level feedback to adaptive, per-pixel,
mixture-of-gaussian background models. In: European Conference on Computer
Vision, pp. 543–560 (2002)
189. Tian, Y.L., Lu, M., Hampapur, A.: Robust and efficient foreground analysis
for real-time video surveillance. In: Computer Vision and Pattern Recognition, pp.
1182–1187 (2005)
190. Mittal, A., Paragios,M.: Motion-based background subtraction using adaptive
kernel density estimation. In: IEEE International Conference on Computer Vision
and Pattern Recogntion, pp. 302–309 (2004)
191. Comaniciu, D., Ramesh, V., Meer, P.: Kernel-based object tracking. IEEE
Transactions on Pattern Analysis and Machine Intelligence 25(5), 564–577 (2003)
192. Sen-Ching S. Cheung, Chandrika Kamath, Robust Background Subtraction
with Foreground Validation for Urban Traffic Video
219
193. S. Maludrottu, C.S. Regazzoni H.Sallam, I. Talkhan and A. Atiya, Cornerbased background segmentation using adaptive resonance theory.
194. T. Pun, “A new method for gray-level picture thresholding using the enthropy
of the histogram,” Signal Processing, vol. 2, pp. 223–237, 1980.
195. A. Cavallaro and T.Ebrahimi, “Change detection based on color edges,” Proc.
of IEEE International Symposium on Circiuts and Systems, May 2001.
196. S. Avidan Q. Zhu and K.T. Cheng, “Learning a sparse corner-based
representation for time-varying background modelling,” Proceedings of the Tenth
IEEE International Conference in Computer Vision (ICCV’05), 2005.
197. J.H. Reynolds G.A. Carpenter, S. Grossberg, “Artmap: Supervised real-time
learning and classification of non-stationary data by a self-organizing neural
network,” Neural Networks, vol. 4, pp. 565–588, 1991.
198. J. Shi and C. Tomasi, “Good features to track,” Proc.IEEE Conf. on Computer
Vision and Pattern Recognition (CVPR94), June 1994.
199. P. Tissainayagam and D. Suter, “Assessing the performance of corners
detectors for point feature tracking applications,” Image and Vision Computing,
vol. 22, pp. 663–679, 2004.
200. Shivani Agarwal and Dan Roth Learning a Sparse Representation for Object
Detection
201. Logothetis, N.K., Sheinberg, D.L.: Visual object recognition. Ann. Rev.
Neurosci. 19 (1996) 577-621
202. Palmer, S.E.: Hierarchical structure in perceptual representation. Cognitive
Psychology 9 (1977) 441-474
203. Wachsmuth, E., Oram,M.W., Perrett, D.I.: Recognition of objects and their
component parts: responses of single units in the temporal cortex of the macaque.
Cerebral Cortex 4 (1994)
204. Biederman, I.: Recognition by components: a theory of human image
understanding. Psychol. Review 94 (1987) 115–147.
205. Colmenarez, A.J., Huang, T.S.: Face detection with information-based
maximum discrimination. In: Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition. (1997) 782–787
206. Rowley, H.A., Baluja, S., Kanade, T.: Neural network-based face detection.
IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (1998) 23–38
207. Osuna, E., Freund, R., Girosi, F.: Training support vector machines: an
application to face detection. In: Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition. (1997) 130–136.
208. Amit, Y., Geman, D.: A computational model for visual selection. Neural
Computation 11 (1999) 1691–1715.
209. Roth, D., Yang, M.H., Ahuja, N.: Learning to recognize 3d objects. Neural
Computation 14 (2002).
210. Viola, P., Jones, M.: Rapid object detection using a boosted cascade of simple
features. In: Proceedings of the IEEE Conference on Computer Vision and Pattern
Recognition. (2001).
220
211. Weber, M., Welling, M., Perona, P.: Unsupervised learning of models for
recognition. In: Proceedings of the Sixth European Conference on Computer
Vision. (2000) 18–32.
212. Yang, M.H., Roth, D., Ahuja, N.: A SNoW-based face detector. In Solla,
S.A., Leen, T.K., Muller, K.R., eds.: Advances in Neural Information Processing
Systems 12. (2000) 855–861.
213. D.M. Gavrila Multi-feature Hierarchical Template Matching Using Distance
Transforms
214. Я.А. Фурман, А.К. Передреев, А.А. Роженцов, Р.Г. Хафизов, И.Л.
Егоршина, А.Н. Леухин Введение в контурный анализ; приложения к
обработке изображений и сигналов/ Под ред. Я.А. Фурмана – 2 изд., испр. –
М. ФИЗМАЛИТ, 2003, - 592 с. – ISBN 5-9221-0374-1.
215. Krystian Mikolajczyk, Bastian Leibe, Bernt SchieleMultiple Object Class
Detection with a Generative Model
216. T. Berg, A. Berg, and J. Malik, Shape Matching and Object Recognition
using Low Distortion Correspondence. In CVPR, pages 26–33, 2005.
217. J. Beis and D. Lowe, Shape Indexing Using Approximate Nearest-Neighbour
Search in High-Dimensional Spaces. In CVPR, pages 1000–1006, 1997.
218. G. Csurka, C.R. Dance, L. Fan, J. Willamowski, C. Bray. Visual
Categorization with Bags of Keypoints In ECCV Workshop, 2004.
219. G. Dorko and C. Schmid. Selection of scale-invariant parts for object class
recognition. In ICCV, pages 634–640, 2003.
220. L. Fei-Fei, R. Fergus, P. Perona, A Bayesian Approach to Unsupervised OneShot Learning of Object Categories. In ICCV, pages 1134–1140, 2003.
221. R. Fergus, P. Perona, and A.Zisserman, Object class recognition by
unsupervised scale-invariant learning. In CVPR, pages 264–271, 2003.
222. B. Leibe, E. Seeman, and B. Schiele. Pedestrian Detection in Crowded
Scenes. In CVPR, pages 878–885, 2005.
223. B. Leibe, A. Leonardis, and B. Schiele. Robust Object Detection by
Interleaving Categorization and Segmentation. Submitted to IJCV, 2006.
224. T. Lindeberg. Feature detection with automatic scale selection. In IJCV,
30(2):79–116, 1998.
225. D. Lowe, Distinctive image features from scale-invariant keypoints. IJCV,
2(60):91–110, 2004.
226. K.Mikolajczyk, A. Zisserman, and C. Schmid. Shape recognition with edgebased features. In BMVC, pages 779–788, 2003.
227. K. Mikolajczyk, B. Leibe, and B. Schiele. Local features for object class
recognition. ICCV, pages 1792–1799, 2005.
228. J. Shotton, A. Blake and R. Cipolla, Contour-Based Learning for Object
Detection. In ICCV, pages 503–510, 2005.
229. J. Sivic, B. Russell, A. Efros, A. Zisserman, andW. Freeman, Discovering
object categories in image collections. In ICCV, pages 370–377 , 2005.
230. E. Sudderth, A. Torralba, W. T. Freeman, and A. Wilsky. Learning
Hierarchical Models of Scenes, Objects, and Parts. In ICCV, pages 1331–1338,
2005.
221
231. A. Torralba, K. Murphy, and W. Freeman. Sharing features: efficient boosting
procedures for multiclass object detection. In CVPR, pages 762–769, 2004.
232. M. Weber, M. Welling, and P. Perona, Unsupervised Learning of Models for
Recognition. In ECCV, pages 628-0641, 2000.
233. Математический энциклопедический словарь. / Гл. ред. Ю.В.Прохоров;
Ред. кол.: С.И. Адян, Н.С.Бахвалов, В.И. Битюцков и др. – М.: Сов.
энциклопедия, 1988. – 847 с. стр. 459.
234. Майорова О.В., Майоров Е.Е., Туркбоев Б.А. – Светотехника // С-Пб.,
СПбГУИТМО, 2005, c.83.
235. A. Prati, I. Mikic, C. Grana, M. M. Trivedi, «Shadow Detection Algorithms
for Traffic Flow Analysis: a Comparative Study», In Proceedings of IEEE Int’l
Conf. On Intelligent Transportation Systems, Aug 2001, pp. 340-345
236. H. Farid and E. P. Simoncelli, Differentiation of discrete multi-dimensional
signals, IEEE Trans Image Processing, vol.13(4), pp. 496--508, Apr 2004.
237. Förstner, W. and Gülch, E. 1987, A fast operator for detection and precise
location of distinct points, corners and centres of circular features. ISPRS
Conference on Fast Processing of Photogrammetric Data, Interlaken. Switzerland,
pp. 281-305.
238. Шлезингер М.И., Главач В. Десять лекций по статистическому и
структурному распознаванию. – Киев: Наук. думка, 2004, 546 с.
239. Монич Ю.И., Старовойтов В.В., Коноплин Е.Е. Сегментация примерно
однородных по яркости областей цифровых изображений. – Минск:
Искусственный интеллект, 2008, 332-338 с.
222
Научное издание
Расширение функциональных возможностей систем видеонаблюдения
Авторы:
Васин Н.Н.
Диязитдиов Р.Р.
Куринский В.Ю.
223
Федеральное государственное образовательное бюджетное учреждение
высшего профессионального образования
“Поволжский государственный университет
телекоммуникаций и информатики”
443010, г. Самара, ул. Льва Толстого 23
_____________________________________________________________
Подписано в печать 1.10.12 г. Формат 60 х 84/16 Бумага офсетная №1. Гарнитура Таймс.
Заказ 1288. Печать оперативная. Усл. печ. л. 12,6. Тираж 100 экз.
_____________________________________________________________
Отпечатано в издательстве учебной и научной литературы
Поволжского государственного университета
телекоммуникаций и информатики
443090, г. Самара, Московское шоссе 77, т. (846) 228-00-44
224
Документ
Категория
Без категории
Просмотров
0
Размер файла
7 951 Кб
Теги
kurinskij, nyh, diyazitdinov, videonabludeniya, sister, rasshirenie, funkcionaldi, vozmozhnosti, vasil
1/--страниц
Пожаловаться на содержимое документа