close

Вход

Забыли?

вход по аккаунту

?

Методы и алгоритмы определения характеристик подвижных и неподвижных объектов путем анализа их изображений в комплексной системе контроля

код для вставкиСкачать
На правах рукописи
ЛОКТЕВ Даниил Алексеевич
МЕТОДЫ И АЛГОРИТМЫ ОПРЕДЕЛЕНИЯ ХАРАКТЕРИСТИК
ПОДВИЖНЫХ И НЕПОДВИЖНЫХ ОБЪЕКТОВ ПУТЕМ АНАЛИЗА ИХ
ИЗОБРАЖЕНИЙ В КОМПЛЕКСНОЙ СИСТЕМЕ КОНТРОЛЯ
Специальность: 05.11.13 – Приборы и методы контроля природной среды, веществ, материалов и изделий
АВТОРЕФЕРАТ
диссертации на соискание учёной степени
кандидата технических наук
Москва - 2016
Работа выполнена в Федеральном государственном бюджетном образовательном
учреждении высшего образования «Московский государственный университет
путей сообщения Императора Николая II» (МИИТ)
Научный руководитель:
Людаговский Андрей Васильевич,
доктор технических наук, старший научный сотрудник,
ФГБОУ ВО «Московский государственный университет путей сообщения Императора Николая II», профессор кафедры «Транспортное строительство»
Официальные оппоненты: Рогов Александр Александрович,
доктор технических наук, профессор,
ФГБОУ ВО «Петрозаводский государственный университет», заведующий кафедрой теории вероятностей
и анализа данных;
Якименко Игорь Владимирович,
доктор технических наук, доцент,
филиал ФГБОУ ВО «Национальный исследовательский университет «МЭИ»» в г. Смоленске, заведующий кафедрой «Электроники и микропроцессорной
техники»
Ведущая организация:
ФГБОУ ВО «Донской государственный технический
университет», г. Ростов–на–Дону
Защита диссертации состоится «30» сентября 2016 г. в 14:00 на заседании объединённого диссертационного совета Д999.050.03 по адресу: г. Ижевск, ул.
Т.Барамзиной, д.34, актовый зал.
Отзывы на автореферат в двух экземплярах, заверенные гербовой печатью, просим направлять по адресу: 426067, г. Ижевск, ул. Т.Барамзиной, д.34.
С диссертацией можно ознакомиться на сайте www.udman.ru/iam/ru/node/5865 и в библиотеке Института механики УрО РАН по адресу: г. Ижевск, ул. Т. Барамзиной, д.34.
Автореферат разослан «______» ________________2016 г.
Учёный секретарь
диссертационного совета Д 999.050.03, к.ф.-м.н.
Зонов Р.Г.
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность исследования. Создание методик определения геометрических и кинематических характеристик статичных и движущихся транспортных
средств, людей, других живых организмов, изделий в технологических процессах,
которые могли бы функционировать в режиме реального времени и визуализироваться с помощью современных средств ЭВМ, является достаточно актуальным
как с точки зрения теоретических основ приборов и методов контроля объектов и
изделий, так и с точки зрения практических приложений в области безопасности,
измерительной техники и математического моделирования.
В настоящее время наиболее актуальными и своевременными, в связи с расширением проблематики противодействия терроризму, мониторинга и управления транспортными и пассажирскими потоками, являются задачи разработки пассивных методов и алгоритмов, позволяющих определять широкий спектр параметров подвижных объектов, не излучая каких-либо электромагнитных импульсов. Одним из перспективных направлений развития таких методов является исследования изображений объектов, полученных фото- и видеодетекторами, такой
подход отличается безопасностью для людей и сложностью обнаружения и противодействия объектами мониторинга или сторонними системами. В связи с вышеизложенным актуальной является также задача реализации пассивных методов
и алгоритмов в виде программно-аппаратной системы контроля и мониторинга.
Степень разработанности темы. Потенциальные возможности пассивных методов детектирования подвижных объектов в системах контроля и мониторинга
транспортных средств, мест скопления людей и производственных процессов обуславливают возрастающий интерес к ним как со стороны научного сообщества, так и
со стороны разработчиков-практиков. Основные аспекты функционирования подобных методов, разработка информационного и алгоритмического обеспечения описаны в работах Алпатова Б.А., Шубина Н.Ю., Атанова А.В., Крыловецкого А.А., Кургалина С.Д., Быкова С.А., Еременко А.В., Гаврилова А.Е., Девятерикова Е.А., Котюжанского Л.А., Охотникова С.А., Bardram J., Bender C., Denker K., Elder J.H., Jiwani
M.A., Lelegard L., Muljowidodo K., Subbarao M., Zaman T. и других исследователей.
Существующие системы аналитического и неразрушающего контроля обычно имеют узкую область применения, например, позволяют распознавать только
автомобильные номера или определять положение транспортного средства относительно дорожной разметки. Существующие методы, алгоритмы и системы контроля имеют значительную вычислительную сложность, трудоемкость переконфигурации, требуют дополнительного обучения операторов, обработка информа-
3
ции в них занимает существенное время, а получаемые результаты обладают значительными погрешностями.
Работа выполнена в рамках научного направления «Определение параметров
подвижных и неподвижных объектов по серии их изображений и разработка программных приложений для комплексной системы мониторинга» ФГБОУ ВО
«Московский государственный университет путей сообщения Императора Николая II (МИИТ)». Работа соответствует приоритетным направлениям развития науки, технологии и техники в Российской Федерации «Безопасность и противодействие терроризму» и «Информационно-телекоммуникационные системы» и способствует развитию критических технологий «Технологии информационных,
управляющих, навигационных систем» и «Технологии предупреждения и ликвидации чрезвычайных ситуаций природного и техногенного характера». Настоящая
работа выполнена при поддержке Российского научного фонда (проект № 14-4900079), а также ряда организаций транспортной и строительной отрасли, в интересах которых решались отдельные задачи.
Цель работы – разработка методов определения геометрических и кинематических параметров объектов на основе анализа их изображений, алгоритмического и
программно-технического обеспечения процессов обработки информации для увеличения точности определяемых характеристик и быстродействия функционирования
системы контроля.
В соответствии с поставленной целью сформулированы и решены следующие задачи:
1) обоснование метода получения первичной информации о подвижном объекте, выбор моделей процессов обработки информативных сигналов и методов
проектирования автоматизированных систем удаленного контроля;
2) разработка метода определения параметров статичного и подвижного объекта путем агрегирования методов стереозрения и анализа размытия изображения;
3) разработка автоматизированного алгоритма размещения детекторов программно-аппаратной системы мониторинга для получения изображений, позволяющих точно определить характеристики подвижных объектов;
4) разработка метода распознавания объекта путем анализа серии его изображений;
5) реализация разработанных методов и алгоритмов в виде комплексной программно-аппаратной системы контроля;
6) апробирование разработанной системы контроля и мониторинга с определением параметров функционирования в нормальном режиме эксплуатации.
Объектом исследования являются параметры подвижных и неподвижных
объектов различной природы, перемещение которых может быть привязано к мес4
там скопления людей, транспортных средств, общественным зданиям, объектам инфраструктуры и технологическим процессам при производстве различных изделий.
Предмет исследования – информационное, методологическое, программноалгоритмическое обеспечение определения геометрических и кинематических параметров подвижного объекта, модель системы контроля и мониторинга и ее реализация в виде программно-аппаратного комплекса.
Тематика работы соответствует п. 2. «Разработка и оптимизация методов
расчета и проектирования элементов, средств, приборов и систем аналитического
и неразрушающего контроля с учетом особенностей объектов контроля», п. 3
«Разработка, внедрение и испытания приборов, средств и систем контроля природной среды, веществ, материалов и изделий, имеющих лучшие характеристики
по сравнению с прототипами», п. 6 «Разработка алгоритмического и программнотехнического обеспечения процессов обработки информативных сигналов и представление результатов в приборах и средствах контроля, автоматизация приборов
контроля», п.7 «Методы повышения информационной и метрологической надежности приборов и средств контроля в процессе эксплуатации, диагностика приборов контроля» паспорта специальности 05.11.13 «Приборы и методы контроля
природной среды, веществ, материалов и изделий».
Достоверность полученных результатов подтверждается корректной постановкой задач, выверенностью математических выкладок, корректным использованием математических методов, проверкой адекватности предложенных моделей, подтверждением теоретических результатов экспериментальными данными и
результатами других авторов, применением современных верифицированных методик моделирования и программных вычислительных средств.
Научная новизна работы:
1. Предложен метод определения геометрических (размеры и расстояние) и кинематических (скорость и направление движения) характеристик объектов на основе обработки изображений, отличительной особенностью является использование изображений, полученных с помощью стереоскопического зрения, и анализа размытия образов объектов в зависимости от дефокусировки камеры; данный метод обладает большей точностью, допустимой вычислительной сложностью, позволяет работать на
больших расстояниях по сравнению с известными методами.
2. Впервые разработан алгоритм расположения детекторов комплексной системы контроля и мониторинга, учитывающий характеристики движущегося объекта, планировку зданий и сооружений, их освещенность и позволяющий с определенной точностью определять искомые величины.
5
3. Впервые разработан метод распознавания объектов, основанный на анализе размытия образа объекта и на алгоритме изменения фокусного расстояния детектора и позволяющий работать при различных скоростях и направлениях движения исследуемого объекта или изделия.
4. Разработано алгоритмическое и программное обеспечение процессов обработки информации в системе мониторинга и определения характеристик подвижных объектов, включая пользовательско ориентированные интерфейсы и архитектуру программно-аппаратного комплекса, что позволит создать комплексную систему удаленного контроля, ориентировать ее на решение широкого круга
задач контроля и адаптировать под конкретного оператора, это является принципиальным отличием от существующих систем контроля.
5. Реализована и апробирована автоматизированная система удаленного контроля и мониторинга, которая в отличие от существующих систем позволяет не только
обнаруживать и распознавать объекты, но также и определять параметры их движения и состояния с заданной точностью.
6. Экспериментально подтверждена работоспособность предлагаемых методов
и алгоритмов, реализованных в системе контроля; установлено, что точность определения расстояния от наблюдателя до объекта, скорости и направления движения
этого объекта, функциональное быстродействие на уровне человеко-машинного
взаимодействия и взаимодействия между отдельными модулями системы мониторинга выше, чем у известных аналогов и прототипов. Отличительной особенностью является то, что предложенные методы и алгоритмы не только направлены на
решение поставленных задач, но и сами являются объектом исследования.
Теоретическая и практическая значимость работы заключается в том, что
разработанные модели, алгоритмы и методы являются научной основой аналитического, неразрушающего (бесконтактного) и экологически безопасного контроля и
мониторинга транспортных средств, людей, объектов живой природы, технологических процессов. Результаты проведенного исследования при их практической
реализации приведут к повышению качества оценки ситуации на транспортных магистралях и дорогах, к более точному определению параметров движения и местоположения объектов живой и неживой природы, к увеличению безопасности техногенных объектов, к расширению автоматизации производственных процессов.
Методология и методы исследования основаны на использовании методов
математического моделирования состояния и поведения подвижных объектов, системного и статистического анализа, численных методов решения определяющих систем уравнений, методах объектно-ориентированного программирования, имитацион6
ного моделирования и визуализации процессов на ЭВМ. При получении, обработке и
оформлении результатов были использованы компьютерные программы MathCAD,
Visual Basic, Microsoft Office, а также собственные программные приложения, реализованные с помощью языков программирования С++, Java, XML, JavaScript.
Положения, выносимые на защиту:
1. Модель системы аналитического и неразрушающего контроля подвижных
объектов, объединяющая отдельные программные и аппаратные модули, позволяет
реализовать процессы получения первичной информации об объекте, обработки
информационных сигналов, человеко-машинного и программного взаимодействия,
и вычислять параметры различных объектов более точно чем известные прототипы.
2. Метод определения геометрических (расстояние и размеры) и кинематических (скорость и направление движения) характеристик объектов, основанный на
обработке серии изображений, полученных с использованием алгоритмов и моделей
стереозрения, анализе размытия объектов, обеспечивает точность на 20-40% выше
точности существующих прототипов при допустимой вычислительной сложности, и
позволяет работать в более широком диапазоне параметров внешней среды, поведения и состояния самого объекта.
3. Алгоритм расположения фотодетекторов комплексной программноаппаратной системы контроля и мониторинга, основанный на совместном учете параметров движущегося объекта, планировки и функциональности зданий и сооружений, позволяет с определенной точностью вычислять исходные величины, а также отслеживать перемещение объекта по всей контролируемой территории.
4. Метод распознавания объектов, базирующийся на анализе размытия образа
объекта, алгоритме изменения фокусного расстояния детектора, алгоритме использования примитивов Хаара и характерных точек, позволяет работать при различных
скоростях и направлениях движения исследуемого объекта, а также в широком диапазоне расстояний до него.
5. Алгоритмическое и программное обеспечение процессов обработки информации в системе контроля и мониторинга и определения параметров состояния и
поведения подвижных объектов, основанное на пользовательско ориентированных
интерфейсах и модульной архитектуре программно-аппаратного комплекса, позволяет конфигурировать и масштабировать систему контроля в зависимости от поставленных задач и рассматривать в качестве объектов контроля людей, транспортные средства, изделия в ходе промышленного производства.
6. Разработанные методы и алгоритмы при реализации в системе контроля,
позволяют с точностью до 96% определять расстояние до объекта, скорость и на7
правления его движения и имеют высокое быстродействие на уровне взаимодействия между отдельными модулями системы и человеко-машинного взаимодействия
при работе с системой обычного оператора ЭВМ.
Апробация работы. Результаты исследований, изложенные в диссертации, неоднократно докладывались на научно-практических конференциях и семинарах: на
национальной научно-технической конференции «Развитие научно-технического
творчества молодежи в Москве и регионах России» в 2013 г.; Всероссийских научнопрактических конференциях «Математика, информатика, естествознание в экономике
и в обществе» (Москва 2010 г., 2013 г., 2014г., 2015г., 2016 г.), на Всероссийских научно-практических и учебно-методических конференциях «Фундаментальные науки в
современном строительстве», Москва 2012 г., 2013г.; на Международном симпозиуме
«Динамические и технологические проблемы механики конструкций и сплошных
сред» им. А.Г. Горшкова, Москва, 2010, 2015; на научных конференциях профессорско-преподавательского состава Московского государственного технического университета им. Н.Э. Баумана, в 2012-2015 годах, на семинарах Московского государственного университета путей сообщения и Московского финансово-юридического университета в 2011-2016 годах, на XII Международной Сибирской конференции по контролю и коммуникациям (SIBCON) в 2016 г., а также на семинаре Федерального исследовательского центра «Информатика и управление» РАН в 2015 году.
Реализация результатов работы. Результаты диссертации были использованы в научно-производственной деятельности Группы компаний «Вагонпутьмаш» г.
Москва (отдельные алгоритмы и модули системы мониторинга для контроля состояния рельсошпальной решетки), ООО ПТК «КАМАЗ» г. Острогожск Воронежской области (система видеонаблюдения и безопасности), ООО «Эксперт» г. Воронеж (система измерения расстояний до отдельных элементов зданий и сооружений
и выявления дефектов конструкций), а также в научно-производственной и учебной деятельности Московского государственного строительного университета.
Публикации. Основные положения диссертации опубликованы в 18 печатных
работах, из них 12 статей опубликовано в изданиях, рекомендованных ВАК Минобрнауки РФ для опубликования основных научных результатов диссертаций на
соискание ученой степени кандидата наук, а 6 работ опубликованы в сборниках
научных трудов и материалов конференций. Получено 5 свидетельств о государственной регистрации программ для ЭВМ.
Личный вклад автора в работу. Разработка моделей, методов, алгоритмов, методики проведения экспериментальных исследований, требований к системе контроля
и мониторинга, программная реализация методов и алгоритмов, разработка и реали8
зация комплексной системы удаленного контроля, анализ полученных были проведены автором лично. Выбор приоритетов, направлений и методов исследования, способов представления результатов, формирование структуры и содержания работы, формулирование основных положений выполнены при участии научного руководителя.
Структура и объём диссертации. Диссертация включает в себя введение, четыре главы, заключение и изложена на 192 страницах машинописного текста, в том
числе 7 таблиц, 80 рисунков. Список литературы насчитывает 212 наименований.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность темы диссертации, сформулирована цель
исследования, указаны основные задачи и научные положения, выносимые на защиту,
кратко изложена структура диссертации, охарактеризована ее научная новизна, теоретическая и практическая значимость, соответствие тематики работы пунктам паспорта
научной специальности, указаны основы используемой методологии и методов исследования.
В первой главе приводится общая постановка задач мониторинга и измерений
характеристик подвижных и неподвижных объектов, формируются требования для
разработки и эффективного функционирования системы мониторинга и контроля
состояния и поведения объектов различной природы. Выполнен обширный обзор
существующих методов нахождения параметров объектов (люди, транспортные
средства и т.д.). Основная часть сравнительного анализа посвящена пассивным методам, основанным на получении и обработке изображений отдельных объектов и
фоновых картин и имеющим преимущества по сравнению с активными методами
по критериям безопасности влияния на живые организмы, стоимости, сложности
обнаружения сторонними наблюдателями или противодействующими системами.
В главе выполняется классификация по параметрам, описывающим отдельные
процессы обработки информации и представления результатов, в существующих программно-аппаратных системах контроля и мониторинга. Проведена классификация
способов получения первичной информации по удаленности модуля сбора данных от
исследуемого объекта и по типу средств измерения (активные и пассивные).
Вторая глава посвящена разработке и исследованию методов определения геометрических и кинематических параметров подвижных объектов, которые могут быть
реализованы с использованием возможностей современной вычислительной техники.
Реализуются и исследуются возможности метода анализа размытия изображения для определения геометрических параметров объекта, тела или изделия; при
этом учитывается, что размытие происходит, в том числе из-за различных настроек
9
фотодетектора (фокусное расстояние, выдержка и диафрагма), которые связаны с
расположением объекта в общей экспозиции (Рис.1) соотношением:
Drip  D fip  D fip B , D fip  f  Dob  Dob  f  ,
(1)
где  - величина размытия объекта, f – фокусное расстояние, Dob – расстояние от
выбранной точки объекта до объектива фотокамеры, Drip – расстояние от центра
объектива до плоскости, в которой находится объект, Dfip – расстояние между
центром объектива и сфокусированным изображением наблюдаемого объекта,
знак «+» применяется при Drip  D fip , «–» соответствует Drip  D fip .
Drip
Dob
Dfip
Искомый
объект
Плоскость
отображения
объекта
f
Система
линз
Плоскость
фокусировки
изображения

Рис. 1. Схема определения глубины изображения при помощи размытия от
дефокусировки камеры
С учетом размытия образа расстояние от детектора до объекта определяется как:
z  D  p  f  D     f    p 
(2)
где z – искомое расстояние до объекта, p – расстояние до объекта, находящегося в
фокусной точке, D – диаметр линзы.
Для увеличения точности (рис. 2а) определяемых по (2) параметров и устойчивости алгоритмов предлагается использовать методы статистического анализа, значение размытия из серии измерений можно представить:
i = i (X) + i,, для М-оценок X()=arg minX (ni=1 L(i – i (X))),
(3)
где i (X) –зависимость размытия объекта от расстояния до него, X – вектор расстояний, i – ошибка измерения, i – величина размытия, L() – функция метода оценивания.
Если представить i (X) в линейном, логарифмическом или экспоненциальном виде, то можно путем варьирования входящих в них параметров а и b для фотодетектора
с различными настройками (Рис. 3) уменьшить погрешность до 10% при отношении
реального расстояния до объекта к расстоянию до объекта в фокусе от 0.4 до 3.2.
Если же при определении расстояния до искомого объекта учитывать размытие
трех основных цветов модели RGB изображения объекта, то получим:
d   r  Fr  Fg  r  Fr   Fg  Fr   D 
(4)
10
где
r
– диаметр размытия на границах объекта красного цвета, Fr и Fg – фокусные
расстояния используемой камеры для красного и зеленого цветов, определяемые
опытным путем, что представляет собой некоторые трудности.
 (пкс)
 (пкс)
а)
б)
z (м)
z (м)
Рис.2. Зависимости размытия образа от расстояния до объекта: а) экспериментальные
и теоретические (2) данные, б) логарифмический вид i (X) при рассчитанном a
а)
б)
в)
г)
Рис. 3. Изображения, полученные с помощью фотокамеры, при различных
фокусных расстояниях: а) 24 мм, б) 35 мм, в) 45 мм, г) 55 мм.
Использование метода сопоставления двух изображений со стереопары также
сопряжено со значительными сложностями, связанными с правильной установкой
двух камер, при этом для уменьшения погрешности необходимо увеличить базу до
расстояния того же порядка, что и измеряемое.
Для устранения недостатков, присущих предыдущим методам, разработан метод определения геометрических параметров объектов, основанный на агрегировании методов стереозрения и анализа размытия, при этом используются уточняющие коэффициенты k, которые находятся из условия
∑N(e|(σ-a)/b|+0,2 – k*f*d/(∆x*Sx))2→min.
(5)
Алгоритм применения нового метода можно представить в следующем виде:
Шаг 1. Задаются характеристики камеры {f, A, W,H,P, rf, T} (Dс – диафрагма, W
и H – длина и ширина используемой сенсорной матрицы, P – общее количество пикселей в изображении, rf – точка фокусировки, T – выдержка) для определения границ
применимости {Grbl, Grdal} метода размытия изображения и стереозрения без уточ11
няющего коэффициента k. Получаемое в момент времени t изображение (рис.4) обозначим как Izt(G,V), где G и V – количество пикселей по горизонтали и вертикали.
Шаг 2. Определяется местонахождение объекта на изображении путем обнаружения и дальнейшего захвата области объекта ASit(X,Y).
Шаг 3. Определяется область размытия объекта it, и найденное размытие
объекта сравнивается с допустимыми областями размытия bl и dal границ применимости метода размытия изображения.
Шаг 3.1. Если полученное размытие входит в границы применимости этого метода, то расстояние rit до объекта Si вычисляется по полученной формуле, которая
наиболее точно описывает известные экспериментальные данные.
Шаг 4. Рассчитывается расстояние с помощью стереозрения rstit, которое сохраняется в массив данных для будущего использования накопленной информации
при вычислении уточняющего коэффициента k.
Шаг 3.2. Если полученное размытие it не входит в границы применимости
метода размытия объекта, то расстояние до объекта определяется по формуле, учитывающей коэффициент, который вычисляется с помощью метода наименьших
квадратов по заполненным массивам данных для N измерений.
Для увеличения границ применимости агрегированного метода предложен итерационный алгоритм настройки фокусного расстояния камеры, основными этапом
которого является определение местонахождение объекта путем обнаружения и захвата области объекта ASit(X,Y) и области размытия объекта it , которая сравнивается с допустимыми областями размытия bl и dal, здесь же определяется погрешность
нахождения размытия по уже построенным графикам для каждого фокусного расстояния и расстояний до различных точек фокусировки, которые хранятся в виде
массивов данных. Затем выбирается минимально допустимое фокусное расстояние
fnach и точка фокусировки rfnach, при которых погрешность глубины резкости и погрешность метода должны быть не более выбранного порога, например, в 5%.
Рис.4. Изображения-стереопары для подвижного объекта
12
Для определения точности описываемой методики предлагается использовать соотношение, использующее элементы модифицированных методов:
F ( x)  a b1e 1

c d1x  f 
c d x  f l  
 b2e 2  2
 n  m,

(6)
где х – измеряемое расстояние до объекта; l – расфокусировка камер относительно
друг друга; b1, b2 – коэффициенты внешних условий для двух камер; с1, с2 – параметры кривизны изображения (размерность 1/м); d1, d2 – коэффициенты, определяющие временное и оптическое разрешение камер; a – общий уровень точности
системы детектирования; n – параметр, определяющий квалификацию персонала;
m – параметр, отвечающий за обзор объекта.
На рис. 5 приведены графики, которые показывают, что при использовании комбинированного
метода (кривая 1) точность измерения расстояния до объекта существенно увеличивается по
сравнению с методами, основанными на стереозрении (кривая 2) и оценке размытия (кривая 3).
Реальное расстояние до объекта (рис. 4) 11.8 м.
Рис. 5 Зависимость точности определения расстояния до объекта для разных методов
Сравнение результатов использования различных методов для определения
расстояния до исследуемых объектов представлено в виде следующей таблицы.
Таблица 1
Показатели Выч. расст. Выч. расст., Кол-во
Методы
Отн. ошибка Кол-во опе-
рис. 4а (м) рис. 4б (м) изображ. рис.4а/4б(%)
раций
Анализ размытия
3.80
12.75
4
8/8
4
Стереозрение
4.00
13.55
8
14/15
3
Агрегированный метод
3.58
12.12
16
2/3
16
Эксперимент
3.50
11.80
В таблице 2 представлен результат сравнения определения расстояния до объектов различных размеров, движущихся с разными скоростями.
Для уточнения математической модели и получения более точных результатов
можно также выбрать функцию потерь, предлагается представить ее в виде сочетания трех основных зависимостей: квадратичной, прямоугольной и простой. В главе
также рассматриваются различные распределения ошибок (нормальное, лапласовское, равномерное, логнормальное).
13
Таблица 2
Показатели
Методы
Анализ размытия
Размер объекта 0.2 м
Размер объекта 1.5 м
Скорость Скорость Погрешн. Скорость Скорость Погрешн.
1 м/с
4 м/с
1/4 м/с
1 м/с
4 м/с
1 / 4 м/с
8.29
8.41
10/12
15.32
15.86
7/8
Стереозрение
8.48
8.63
13/14
15.64
16.12
9/10
Агрегированный метод
7.68
7.85
2/4
14.67
15.15
2/3
Эксперимент
7.52
7.54
14.35
14.72
Как показали численные исследования, предлагаемое в работе методическое и
алгоритмическое обеспечение может быть реализовано как при неподвижной (распознавание людей, транспортных средств, изделий), так и при движущейся системе контроля и мониторинга (аэрофотосъемка, работа путеизмерительных тележек).
Третья глава посвящена разработке и реализации в виде программного приложения алгоритмов распознавания образов подвижных объектов различной природы,
при этом предлагается использовать метод анализа размытия изображений и предварительной классификации детектируемых объектов по расстоянию, скорости и типу.
Скорость объекта с размерностью пиксель/с определяется по каждой оси
отдельно (σix и σjx – по горизонтали, σiy и σjy - по вертикали), при анализе
изображений из-за их двумерности движение
по осям
Y и Z будут
характеризоваться обобщенной переменной vy, поэтому полную скорость объекта,
с учетом перевода ее размерности в м/с, можно записать как:
vi  xi 2  yi 2  ri  S x   i t , где  i   ix2   iy2 ,
(7)
∆x и ∆y – перемещения центра объекта по горизонтали и вертикали, t – интервал
времени между кадрами видеопотока, ri – расстояние до объекта, вычисляемое по
размытию объекта; Sx – размер пикселя сенсорной матрицы камеры; i – полное размытие объекта (для каждого i-ого кадра).
При обработке нового кадра видеопотока или серии изображений поиск объекта
будет производиться в окрестности 30х30 пикселей объекта в предыдущем кадре, поэтому для устойчивой работы алгоритма определения скорости смещение центра объекта за 1 кадр не должно превышать 30 пикселей, иначе возможна потеря объекта.
При скорости в 20 пикселей/кадр точность определения скорости равна 88% и держится около это значения до 30 пикселей/кадр. Результат измерения скорости движения объекта в зависимости от направления движения и приведенного к характерному
размеру объекта расстояния до него приведен в таблице 3.
14
Таблица 3
Показатели Приведенное расст.10 Приведенное расст.100
Относит.
Угол направления движения относительно камеры ошибка для
Методы
0
45
90
0
45
90
0/45/90 (%)
Агрегированный метод
6.10
6.04
5.89
6.97
6.23
6.12
10/7/3;12/8/5
Эксперимент
5.52
5.64
5.71
6.25
5.75
5.84
Направление движения объекта определяется сравнением размытия i и координат центра изображения объекта xi и yi. При разработке алгоритмического обеспечения системы контроля выделены три ситуации для подвижного объекта: объект
движется строго перпендикулярно детектору вправо/влево; объект движется строго от камеры/ к камере; объект движется под углом к центральной оси детектора.
На первом этапе распознавания объекты обладают только двумя параметрами скоростью и удаленностью от камеры. По скорости объекты делятся на «быстрые» и
«медленные», по расстоянию до них – на «далекие» и «близкие».
На втором этапе возможно распознавание объекта с учетом индивидуальных
особенностей по другим характеризующим его признакам (форма, размеры, цвет
и т.д.). При определении объекта в класс «медленные» и «близкие» применяется
адаптивный алгоритм распознавания образов с использованием усложненных
каскадных классификаторов с примитивами Хаара. При определении объекта в
другие возможные классы предлагается использовать модифицированный алгоритм распознавания объектов по характерным точкам. При расчете оптического
потока изображения вокруг характерных точек, выделенных в определенные области с помощью детектора Харриса-Лапласа, предложено использование метода
Лукаса-Канаде, выбор размеров прямоугольного фрейма вокруг исследуемого
пикселя происходит на основе пирамидальной итерационной схемы Боке.
Согласно методике, на k-ой итерации метода вычисляется значение поправки
из условия минимизации суммы квадратов отклонений:
 ( k )    I L ( x, y)  J L (x  g xL  vxk 1   xk , y g yL  v ky 1   yk ) 
x
2
(8)
y
Описанные действия при сравнении двух последовательных изображений
можно представить в виде следующего алгоритма:
1. Ввод изображений I, J и координат исследуемого пикселя u на изображении I.
2. Построение пирамид исходных изображений I L и J L .
15
3. Задание смещения, накопленного по пройденным уровням g Lm  [0,0]T
4. Цикл по уровням L от Lm до 0 с шагом -1.
5. Расчет координат (px, py) интересующего пикселя u на изображении IL.
6. Расчет производных изображения IL по пространственным координатам х, у.
7. Расчет матрицы градиентов G в плоскости изображения.
8. Инициализация смещения, накопленного по итерациям v0  [0,0]T .
9. Подцикл по итерациям k от 1 до 5
9.1. Вычитание изображений (оценка производной изображения по времени):
 I k ( x, y)  I L ( x, y)  J L ( x  g xL  vxk 1, y  g yL  v ky 1)
(9)
9.2. Расчет вектора расхождения bk .
9.3. Расчет оптического потока:  k  G 1bk .
9.4. Обновление смещения, накопленного по итерациям: v k  v k 1   k .
10. Расчет смещения для уровня L: d L  v k .
11. Расчет смещения, накопленного к следующему уровню L-1: g L1  2(g L  d L )
12. Расчет общего смещения: d  g 0  d 0 .
13. Расчет координат интересующего пикселя на изображении J: w  u  d
14. Вывод координат интересующего пикселя w на изображении J.
Предлагаемый алгоритм распознавании объектов с учетом оценивания размытия их образа на изображении позволяет уменьшить количество ошибок первого и второго рода и увеличить надежность функционирования метода до 96% (исследование проводились на сериях по 100 изображений).
Оценка вычислительной сложности процедуры отслеживания рассчитывается с
учетом количества используемых кадров (скорость видеопотока – 10 кадров/с), попиксельного ввода текущего кадра (для изображения разрешением 600х800
O(n)=500000 циклов), метода Лукаса-Канаде с учетом числа используемых уровней
пирамиды Боке (O(Lp(n2Nокна +n3))=2,4 млн. циклов, здесь L=4; p – число используемых характерных точек (p=150); Nокна – количество пикселей в окне поиска (в данном случае Nокна = 31х31≈1000); n – число изменяемых параметров (n=2, смещение
только по x и y)); определение характерных точек с помощью детектора ХаррисаЛапласа (O(b3Nвычисл+ b2Nвычисл) =18 млн. циклов, где b – порядок используемой матрицы (b=3), Nвычисл - количество пикселей, для которых используется метод ХаррисаЛапласа). Получаем, что для одного кадра сложность без учета использования детек16
тора Харриса-Лапласа равна около 2,9 млн. циклов; для выполнения обработки одной секунды видеопотока со скоростью 10 кадров/с требуется процессор 2,55 Гц.
На рис.6,7 приведены зависимости вероятности возникновения ошибок первого
(рис.6а, 7а) и второго (рис.6б,7б) рода от размера и скорости объекта контроля для
методов распознавания образов с использованием примитивов Хаара и характерных
точкек. Графики позволяют увеличить информационную и метрологическую надежность приборов и средств контроля, при формулировке условий по параметрам состояния (размеры, форма) и поведения (скорость, направление движения).
P,%
P,%
Размер
объекта, пкс
а)
Размер
объекта, пкс
б)
Рис. 6. Зависимость вероятности ошибок от размеров объекта
P,%
а)
P,%
Скорость
объекта,
пикс/кадр
Скорость
объекта,
пикс/кадр
б)
Рис. 7. Зависимость вероятности ошибок от скорости объекта
Реализация предлагаемых алгоритмов непосредственно связана с созданием
программного обеспечения, которое будет использовать Web-среду (рис.8), поскольку она позволяет применять различные языки программирования и может использоваться для создания распределенной программно-аппаратной системы контроля, работающей как на стороне сервера, так и на стороне клиента.
Модуль визуального распознавания
Связующее приложение
Сервер и конечное приложение
Web-приложение
Рис. 8. Схема обмена данными между элементами системы
Следуя этому подходу модуль распознавания может работать непрерывно, не
останавливаясь при сеансовых обновлениях Web-страниц. Для иллюстрации в ка17
честве Web-приложения реализована система, позволяющая моделировать здание
(рис. 10а) и работать с объектами, находящимися внутри, например, распознавать
лица людей (рис. 10б), синей рамкой отмечены распознанные лица, красной – нераспознанные, при этом расстояние может быть определено до каждого объекта.
Четвертая глава посвящена разработке алгоритмического и методического
обеспечения программно-аппаратной системы контроля и мониторинга, содержащей модули идентификации, распознавания объектов, определения их параметров, подсистему адаптации интерфейсов и взаимодействующих приложений.
Для подсистемы управления, сформулированы требования непротиворечивого
формализованного проектирования под конкретную задачу и конкретного пользователя, гибкости, модифицируемости, мобильности и повторяемости основных форм и
шаблонов, скорости доступа оператора к тем или иным функциям системы контроля
(не более 15 с), быстроты представления результатов контроля в виде, удобном для
анализа. Указанным требованиям к разработке подсистемы взаимодействия удовлетворяет онтологический подход, предполагающий необходимость сформулировать
систему понятий пользователя, которую можно разделить на систему понятий диалога и систему понятий задач пользователя (рис.9).
Проектируемая система управления состоит из адаптируемой и постоянной частей, имеет модульную структуру, возможность настройки отдельных компонент и пополнения базы знаний о пользователях. На рис. 10а показан режим моделирования
здания, в котором устанавливается система контроля; из этого режима можно перейти
к просмотру по камерам, комнатам, маршрутам. На рис. 10б представлены результаты
распознавания лиц людей в одном из помещений. На рис. 11 представлена работа системы с применением стереозрения для «быстрых» подвижных объектов.
WIMP-интерфейс, формирование текстов,
графические сцены
Интерфейс
Генератор кода
интерфейса
Взаимодействие с Связь интерфейса
пользователем:
с программой
диалог, задачи
Пользователь
Код интерфейса
на абстрактном
языке (онтология)
Преобразователь
Программная реализация
Код интерфейса
Библиотеки
…
Библиотеки
Рис. 9. Представление результатов измерений на основе онтологического подхода
В главе рассматривается несколько примеров, в которых определяется время,
необходимое пользователю для управления тем или иным модулем комплексной
системы мониторинга, при этом используется метод GOMS. Оценка быстродействия
18
интерфейса
заключается
в
разложении
выполняемой
задачи
на
типовые
составляющие и вычислении времени, которое будет в среднем затрачиваться
пользователем на выполнение этой задачи, вычисляемом по закону Фитса:
Pi (мс) = a + b∙log2(D/S+1),
(10)
где для одномерного примера S – размер объекта вдоль линии перемещения курсора, D – дистанция от начальной позиции курсора до объекта, a и b константы, устанавливающиеся эмпирически по параметрам производительности человека.
Разработан и исследован алгоритм размещения видеокамер с учетом практически всех характеристик помещения, объекта обнаружения и распознавания, самой видеокамеры (рис. 12), который затем реализован программно в виде пользовательского приложения. Проводится изначальная увязка точек размещения видеокамер внутри здания, которое может иметь сложные планировочные и конструктивные решения. Учтен угол наклона потерь, т.к. при его изменении меняются соотношения видимых в реальных размерах объектов, что оказывает существенное
влияние на решение оптимального расположения камер.
Рис. 10. а) режим моделирования здания, б) распознанные и нераспознанные лица
Рис.11. Распознавание движущегося объекта на изображениях-стереопарах
В главе также анализируется предложенный алгоритм с точки зрения его
сложности; предполагается, что порядок сложности алгоритма зависит только от
наиболее быстро возрастающей его ветви. Из определяемых оценок отдельных
элементов алгоритма видно, какие из них вносят наибольший вклад в конечное
значение сложности; согласно этим данным можно выделить процедуры, которые
19
могут быть оптимизированы на этапе тестирования комплекса измерения и мониторинга. Верхняя оценка вычислительной сложности данного алгоритма равна
O(3683N2), где N - количество введенных точек плана.
начало
Ввод координат
плана здания (3
координаты)
А
Ввод фокусного
расстояния, угла
обзора, количества камер для установки
Выходные данные:
ширина max6irina
и высота maxvisota
плана
Нахождение
координат камер
и их прорисовка
на плане в виде
треугольников
Поиск высоты и
ширины плана
Рисование плана
Кол-во камер
> кол-ва
дверей
Выходные данные: рисунок
Выходные данные:
массив точек
to4ki[p], обозначающих двери в
комнатах, больших
чем фок. расст-ие
Выходные данные: ширина
количество дверей koldv
Поиск ближайшей
точки до двери
Нет
Расчет количества
дверей
Показ дверей на
плане здания в виде
двух отрезков
Выходные данные: рисунок
А
Да
Дальнейшее нахождение координат
камер и их прорисовка на плане в
виде треугольников
Расчет мах количества камер
Выходные данные: количество
камер
maxkolkamer
Выходные данные:
массивы координат
камер xkam[i],
ykam[i], xnizkam[i],
ynizkam[i],
xverkam[i],
yverkam[i]; рисунок
Выходные данные:
массивы координат
камер xkam[i],
ykam[i], xnizkam[i],
ynizkam[i],
xverkam[i],
yverkam[i]; рисунок
конец
Рис. 12. Алгоритм расстановки видеокамер в здании
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
1. На основе исследования и классификации программно-аппаратных систем
контроля и мониторинга за подвижными объектами по различным критериям разработана модель системы аналитического и неразрушающего контроля и мониторинга, объединяющая отдельные программные и аппаратные модули, реализующие
20
процессы получения первичной информации об объекте в диапазоне длин волн 0.3
– 0.85 мкм, обработки информационных сигналов, обоснованы 13 требований к
проектируемым системам контроля и измерений и подсистемам человекомашинного и программного взаимодействия.
2. Разработан и апробирован метод измерения геометрических и кинематических параметров объектов на основе использования методов стереозрения и анализа
размытия изображения. Метод обладает большей точностью определения параметров объектов по сравнению с другими известными пассивными методами (при размерах объекта в 75 пикселей точность определения расстояния до объекта составляет 93%) при допустимой вычислительной сложности, что позволяет представлять
его на современных ЭВМ с частотой 2,55 ГГц, и границы применимости данного
метода зависят от выбранных параметров камеры (при фокусном расстоянии камеры в 50 мм и стереобазе в 5 см возможно определять параметры объекта на расстоянии до 10 м). При приведенном расстоянии до объекта 10-100 и скорости его движения до 20 м/с точность определения его параметров составляет около 95%.
3. Разработан и исследован метод детектирования объектов и изделий на основе определения размытия изображений и алгоритма перенастройки фокусного расстояния камеры, разработанного для увеличения границ применимости метода анализа размытия изображений (при возможности изменения фокусного расстояния
камеры от 24 мм до 51 мм диапазон применимости метода увеличивается в 1,8 раз),
для увеличения точности распознавания объектов. Использование данного метода с
применением модифицированных алгоритмов распознавания на основе примитивов Хаара и выделения характерных точек позволяет увеличить точность распознавания объекта в среднем на 8-40% в зависимости от параметров объекта (удаленности от камеры и скорости) и добиться итоговой точности распознавания в 96%.
4. Разработан и исследован алгоритм расположения фотодетекторов для устойчивого отслеживания подвижного объекта и повышения точности измерения его параметров. Алгоритм основан на уменьшении влияния внешних факторов (наличие
преград, освещенность и т.д.), что отличает его от существующих алгоритмов размещения камер. С применением данного алгоритма точность определения параметров
объектов может быть увеличена на 50%, а дальность распознавания людей до 12м.
5. Разработаны модель и архитектура программно-аппаратной системы удаленного контроля и мониторинга, совокупность пользовательских интерфейсов, позволяющих настроить систему под конкретного пользователя и исследуемый объект, на
основе онтологического подхода; это позволяет развернуть систему на конкретном
21
предприятии или сооружении в течение нескольких человеко-часов, а время взаимодействия оператора с системой приблизить к стандартным параметрам работы с ЭВМ.
6. Реализован программно-аппаратный комплекс измерений на основе разработанных методов, моделей и алгоритмов, который позволяет осуществлять мониторинг
зданий и сооружений, распознавать объекты различных типов и определять их параметры (удаленность от камеры – размеры объекта должны быть не менее 5 пикселей;
скорость – не более 30 пикселей/кадр; направление движения может меняться от 0 до
180) и имеет лучшие характеристики по сравнению с прототипами. Быстродействие
функциональности программно-аппаратного комплекса для рассмотренных типовых
сценариев работы с системой составляет около 56 с, а выполнение отдельных операций по распознаванию объекта и измерению его параметров составляет 2-4 с.
7.
Результаты
диссертационной
работы
используются
в
научно-
исследовательской, проектно-изыскательской и проектно-конструкторской деятельности Группы компаний «Вагонпутьмаш», ООО ИЦ «Эксперт» (при выявлении внешний дефектов, отклонений элементов от проектного положения, при
оценке содержания железнодорожной колеи), ООО ПТК «КАМАЗ» (для распознавания людей и транспортных средств, для управления системой видеомониторинга), НИУ МГСУ (для определения параметров макета сооружения, обдуваемого в аэродинамической трубе), а также внедрены в учебный процесс МИИТа и
НИУ МГСУ при подготовке специалистов и бакалавров.
Перспективным направлением развития темы является разработка переносного
компактного варианта комплекса удаленного контроля и мониторинга, а также увеличение диапазона величин измеряемого расстояния и скорости движения объектов.
Основные результаты диссертации изложены в следующих работах:
Публикации в изданиях, рекомендованных ВАК РФ
1. Локтев Д.А. Влияние технологических режимов нанесения пленок гексаметилдисилазана в плазме ионного разряда на физико-механические свойства терморегулирующих покрытий / Локтев Д.А., Савельев А.А., Железный А.Г. // «Технология машиностроения», №4, 2012. – С. 132 – 138.
2. Локтев Д.А. Разработка пользовательского интерфейса комплексной системы видеомониторинга / Локтев Д.А., Алфимцев А.Н., Локтев А.А. // «Вестник
МГСУ», №11, 2012 – С. 98-108
3. Локтев Д.А. Моделирование комплексной системы видеомониторинга внутри здания. Часть 1. Алгоритм размещения видеокамер и его программная реализация
/ Локтев Д.А., Алфимцев А.Н., Локтев А.А. // «Вестник МГСУ», №5, 2012. – С. 84-92
22
4. Локтев Д.А. Моделирование комплексной системы видеомониторинга внутри здания. Часть 2. Алгоритм распознавания объектов / Локтев Д.А., Алфимцев А.Н.,
Локтев А.А. // «Вестник МГСУ», №5, 2012. – С. 124-131
5. Локтев Д.А. Исследование и разработка ионно-плазменной технологии и
оборудования для управления структурой и физико-механическими свойствами
материалов покрытий для космических систем / Локтев Д.А., Савельев А.А., Железный А.Г. // «Технология машиностроения», №2, 2011. – С. 27 – 33.
6. Локтев Д.А. Поперечный удар шара по сфере с учетом волны в мишени / Локтев Д.А., Локтев А.А.// Письма в журнал технической физики. Т.34,В.22, 2008.–С.21-29
7. Локтев Д.А. Сравнение методологий разработки систем интеллектуального
взаимодействия / Локтев Д.А., Алфимцев А.Н., Локтев А.А. // «Вестник МГСУ»,
№5, 2013 – С. 142-151
8. Локтев Д.А. Определения параметров объекта по серии его изображений в
комплексной системе мониторинга /Локтев Д.А. // Путь и путевое хозяйство, №2,
2015. – С.24-28.
9. Локтев Д.А. Определение геометрических параметров объекта с помощью
анализа серии его изображений / Локтев Д.А. // Телекоммуникации и транспорт.
T-Comm, №5, 2015. – С. 46-52
10. Loktev D.A. Determination of Object Location by Analyzing the Image Blur / Loktev
D.A., Loktev A.A. // Contemporary Engineering Sciences, Vol. 8, N11, 2015. – P. 467 – 475
11. Loktev D.A. Development of a User Interface for an Integrated System of Video
Monitoring Based on Ontologies / Loktev D.A., Loktev A.A. // Contemporary Engineering Sciences, Vol. 8, 2015, no. 17, 789 – 797
12. Локтев Д.А. Использование метода анализа размытия изображения для
определения внешних дефектов железнодорожного пути / Локтев Д.А., Быков
Ю.А., Коваленко Н.И. // Наука и техника транспорта. № 1, 2016. – С. 69-75.
Свидетельства на программу для электронных вычислительных машин
13. Локтев Д.А. Агрегирование методов стереозрения и анализа размытия
изображения для определения расстояния до объекта / Локтев Д.А. - Свидетельство о государственной регистрации программы для ЭВМ №2015613988 от
01.04.2015. – М.: Федеральная служба по интеллектуальной собственности, 2015.
14. Локтев Д.А. Учет дрожания рук в процессе автоматической фотосъемки /
Локтев Д.А. - Свидетельство о государственной регистрации программы для ЭВМ
№2015614031 от 03.04.2015. – М.: Федеральная служба по интеллектуальной собственности, 2015.
23
15. Локтев Д.А. Настройка динамического фокуса камеры / Локтев Д.А. - Свидетельство о государственной регистрации программы для ЭВМ №2015614203 от
09.04.2015. – М.: Федеральная служба по интеллектуальной собственности, 2015.
16. Локтев Д.А. Расположение камер на плане здания / Локтев Д.А. - Свидетельство о государственной регистрации программы для ЭВМ №2015610833 от
19.01.2015. – М.: Федеральная служба по интеллектуальной собственности, 2015.
17. Локтев Д.А. Слежение камер за движущимся объектом и определение его
скорости и направления движения / Локтев Д.А. - Свидетельство о государственной регистрации программы для ЭВМ №2015613886 от 30.03.2015. – М.: Федеральная служба по интеллектуальной собственности, 2015.
Статьи и материалы конференций
18. Локтев Д.А. Определение параметров объекта путем анализа его изображений / Локтев Д.А., Алфимцев А.Н., Локтев А.А. // 16-ая Международная Конференция DSPA – 2014 Доклады, Т.2, Серия: Цифровая обработка сигналов и ее
применение (вып. XVI-2). – М.: ИПУ РАН, 2014. – С. 535-539
19. Локтев Д.А. Измерение расстояния до движущегося объекта с помощью
комплексной системы видеомониторинга / Локтев Д.А., Алфимцев А.Н. // Инженерный журнал: наука и инновации, вып.11 (23), 2013. – С. 44 – 53.
20. Локтев Д.А. Реализация пользовательского интерфейса системы видеомониторинга на основе онтологического подхода / Локтев Д.А., Алфимцев А.Н., Локтев
А.А. // Вестник МФЮА, №1, 2013. – М.:МФЮА – С. 87-98.
21. Локтев Д.А. Оценка сложности алгоритма автоматического расположения
видеокамер системы наблюдения / Локтев Д.А., Алфимцев А.Н. // Электронный
журнал «Молодежный научно-технический вестник», изд-во: ФГБОУ ВПО
«МГТУ им. Н.Э. Баумана», №3, 2012, – С. 32-38.
22. Локтев Д.А. Численные и аналитические методы в динамических задачах
прикладной механики / Локтев Д.А., Локтев А.А. // Труды Всероссийской научнопрактической конференции «Математика, информатика, естествознание в экономике и обществе», 16-17 ноября 2009. – М.: МФЮА, 2009 – С. 64-69.
23. Локтев Д.А. Использование языка написания сценариев JavaScript для обработки действий пользователя / Локтев Д.А., Локтев А.А. // Труды Всероссийской научно-практической конференции «Математика, информатика, естествознание в экономике и обществе», 19-20 декабря. – М.: МФЮА, 2007 – С. 79-80.
24
1/--страниц
Пожаловаться на содержимое документа