close

Вход

Забыли?

вход по аккаунту

?

Модели и алгоритмы реконструкции трехмерных сцен на основе спутниковых изображений и априорной информации

код для вставкиСкачать
На правах рукописи
ТУЖИЛКИН АЛЕКСЕЙ ЮРЬЕВИЧ
МОДЕЛИ И АЛГОРИТМЫ РЕКОНСТРУКЦИИ ТРЕХМЕРНЫХ СЦЕН
НА ОСНОВЕ СПУТНИКОВЫХ ИЗОБРАЖЕНИЙ И АПРИОРНОЙ
ИНФОРМАЦИИ
Специальность:
Специальность: 05.13.17 – «Теоретические основы информатики»
(технические науки)
АВТОРЕФЕРАТ
диссертации
на соискание ученой степени
кандидата технических наук
Нижний Новгород
2016
Работа выполнена на кафедре систем автоматизированного проектирования в
Муромском институте (филиале) федерального государственного бюджетного
образовательного
учреждения
высшего
образования
«Владимирский
государственный университет имени Александра Григорьевича и Николая
Григорьевича Столетовых» (ВлГУ).
Научный руководитель
кандидат технических наук, доцент, Захаров
Алексей Александрович.
Официальные оппоненты:
Матвеев Иван Алексеевич, доктор
технических наук, заведующий сектором,
Федеральный исследовательский центр
«Информатика и управление» Российской
академии наук, г. Москва;
Гай Василий Евгеньевич, кандидат
технических наук, доцент, доцент кафедры
«Вычислительные системы и технологии»,
Федеральное государственное бюджетное
образовательное учреждение высшего
образования «Нижегородский
государственный технический университет
им. Р.Е.Алексеева», г. Нижний Новгород.
Ведущая организация
Федеральное государственное бюджетное
образовательное учреждение высшего
образования «Юго-Западный
государственный университет», г. Курск.
Защита диссертации состоится «22» декабря 2016 года в 12:00 часов в
ауд. 1315 на заседании диссертационного совета Д 212.165.05 при Нижегородском
государственном техническом университете им. Р.Е. Алексеева по адресу: 603950,
г. Нижний Новгород, ул. Минина, 24.
С диссертацией можно ознакомиться в библиотеке Нижегородского
государственного технического университета им. Р.Е. Алексеева и на сайте
http://www.nntu.ru/content/aspirantura-i-doktorantura/dissertacii.
Автореферат разослан «____» _________ 2016 года.
Ученый секретарь
диссертационного совета
Суркова Анна Сергеевна
2
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. Одним из основных средств для подготовки
профессионалов в сфере транспорта, армии, промышленности, спецслужб
являются тренажеры. Главным предназначением тренажера является отработка
навыков и приобретение опыта в искусственных условиях в результате
неоднократных тренировок. Использование тренажеров позволяет ускорить
процесс обучения, сократить материальные затраты, избежать внештатных
ситуаций на начальном этапе обучения, смоделировать экстремальные условия,
создавать которые в реальной обстановке опасно и неоправданно.
Тренажеры моделируют необходимый уровень подобия действий
обучаемого в синтезируемой среде, которая получила название «виртуальной
реальности». Основой всех систем виртуальной реальности является визуальное
отображение трехмерных сцен. При помощи функции зрения человек получает до
85 % информации. Поэтому в тренажерно-обучающих системах важно обеспечить
адекватное отображение визуальной обстановки, соответствующей реальным
условиям процесса.
Создание трехмерных моделей местности для компьютерных тренажернообучающих систем является актуальной задачей в настоящее время. Основными
характеристиками процесса создания трехмерных сцен для тренажеров различного
назначения являются: реалистичность моделей, соответствие
визуальной
обстановке существующей местности, время и стоимость синтеза. Часто эти
характеристики являются взаимоисключающими. В сложившейся ситуации
возникла очевидная потребность в системах построения трехмерных моделей по
изображениям, не требующих дорогостоящего оборудования, в которых
взаимодействие с пользователем сводится к малому количеству простых операций.
Существенный вклад в развитие научных исследований в области
трехмерной реконструкции внесли отечественные и зарубежные ученые:
Конушин А.С., Лемпицкий В.С., Баринова О.А., Матвеев И.А., Фурсов В.А.,
Марр Д., Полефейс М., Шапиро Л., Форсайт Д., Циссерман А., Понс Ж.,
Харрис Ц., Хорн Б.К.П. и др.
В последнее время было разработано большое количество методов и систем
реконструкции трехмерных моделей местности на основе изображений. Однако
существующие системы часто требуют значительного участия оператора в
процессе реконструкции; осуществляют построение только моделей, которые не
обладают сложной геометрией в отличие от визуальной обстановки города; имеют
высокую стоимость программного обеспечения, оборудования, исходных данных.
Создание системы трехмерной реконструкции городских сцен на основе
спутниковых изображений высокого разрешения позволит снизить время генерации
моделей и, следовательно, сократит затраты на разработку тренажерно-обучающих
систем.
Таким образом, создание системы трехмерной реконструкции для
тренажеров транспортных средств является актуальной научно-технической задачей.
Объект исследования – системы синтеза компьютерных трехмерных
моделей сцен для приложений виртуальной реальности.
Предмет исследования – модели и алгоритмы реконструкции
компьютерных трехмерных сцен на основе спутниковых изображений для систем
визуализации транспортных тренажеров.
3
Цель и задачи работы
Целью работы является разработка моделей и алгоритмов, позволяющих
строить системы автоматической реконструкции трехмерных моделей городских
сцен на основе спутниковых изображений высокого разрешения (соответствует п.5
и п.7 паспорта специальности).
Для реализации поставленной цели необходимо решить следующие задачи:
 провести обзор и анализ методов и систем синтеза трехмерных моделей
местности;
 разработать
трехмерные
модели
зданий,
которые
будут
реконструированы;
 разработать и исследовать алгоритм нахождения соответствий на
изображениях, позволяющий уменьшить количество «выбросов»;
 разработать и исследовать алгоритм вычисления карты высот на основе
стереоизображений, позволяющий обрабатывать области однородной закраски на
снимках;
 разработать и исследовать алгоритм обнаружения зданий на спутниковых
изображениях;
 разработать и исследовать алгоритмы трехмерной реконструкции зданий
на основе спутниковых изображений;
 реализовать систему реконструкции трехмерных моделей местности для
транспортных тренажеров с использованием разработанных алгоритмов.
Научная новизна работы
В процессе проведенных исследований получены следующие новые
результаты:
­ алгоритм
нахождения
соответствий
на
стереоизображениях,
отличающийся от существующих подходов совместным использованием
дескрипторов и графов и позволяющий уменьшить количество «выбросов»;
­ алгоритм вычисления карты высот по стереоизображениям на основе
построчной минимизации энергии в пределах региона, отличающийся
от
существующих подходов предварительной сегментацией снимков и позволяющий
обрабатывать слаботекстурированные области стереоизображений;
­ алгоритм обнаружения зданий на спутниковых изображениях с
использованием априорной информации, отличающийся от существующих
подходов совместным использованием данных о высоте, цвете, форме и площади
проекций объектов и позволяющий выделять на снимках области зданий для
трехмерной реконструкции;
­ алгоритмы трехмерной реконструкции
моделей зданий на основе
спутниковых изображений и априорной информации, отличающиеся от
существующих подходов использованием геометрических гистограмм для
распознавания изображений и позволяющие синтезировать трехмерные
параметрические модели зданий уровня LOD2 по стандарту CityGML.
Теоретическая значимость
Теоретическая значимость заключается в расширении возможностей систем
синтеза трехмерных сцен за счет автоматизации процесса реконструкции и
повышения точности генерации объектов при использовании априорной
информации. Предложенные алгоритмы могут быть использованы в системах
компьютерного зрения с возможностью автоматического обнаружения,
локализации и синтеза трехмерных объектов.
4
Практическая значимость
Практическая значимость работы заключается в применении разработанных
подходов при синтезе трехмерных сцен
для компьютерных тренажеров
транспортных средств гражданского и военного назначения. Разработанные
алгоритмы и программные модули системы реконструкции трехмерных сцен
апробированы на АО «Муромское СКБ» (г. Муром), что подтверждается
соответствующим актом. Также разработанные алгоритмы и программные модули
используются в учебном процессе Муромского института (филиала) ВлГУ.
Методология и методы исследования
В работе использованы основные понятия теории алгоритмов,
математического моделирования, спектральной теории графов, методы цифровой
обработки изображений и распознавания образов, методы машинной графики и
вычислительной геометрии.
Положения, выносимые на защиту:
 алгоритм нахождения соответствий на изображениях на основе
дескрипторов и графов;
 алгоритм вычисления карты высот по стереоизображениям на основе
построчной минимизации энергии в пределах региона;
­ алгоритм обнаружения зданий на спутниковых изображениях с
использованием априорной информации;
 алгоритмы трехмерной реконструкции
моделей зданий на основе
спутниковых изображений и априорной информации;
 результаты экспериментальных исследований разработанных алгоритмов;
 система реконструкции трехмерных сцен на основе спутниковых
изображений для тренажеров транспортных средств.
Степень достоверности результатов исследования обусловлена
следующими положениями:
 результаты работы опубликованы в 9 журналах ВАК и обсуждались на 8
всероссийских и международных научно-технических конференциях;
 сравнение полученных результатов с существующими подходами показывает
преимущество разработанных алгоритмов. Результаты сравнения приведены с
использованием тестовых и реальных изображений, графиков и гистограмм.
Результаты работы подтверждаются изображениями синтезированных сцен;
 установлено соответствие результатов диссертационной работы с данными
карт и кадастровых планов г. Мурома;
 разработанные алгоритмы
и программные модули апробированы и
частично используются для реконструкции трехмерных сцен города в тренажерах
транспортных средств, выпускаемых АО «Муромское СКБ» (г. Муром). Это
подтверждается соответствующим актом внедрения;
 получено свидетельство о государственной регистрации программы для
ЭВМ № 2015610051 от 12.01.2015 г. «Система синтеза трехмерных моделей
местности на основе спутниковых и аэрофотоснимков»/ Тужилкин А.Ю.,
Захаров А.А., Жизняков А.Л.
Апробация результатов. Результаты работы получены автором при
выполнении Гранта РФФИ № 16-37-00236-мол_а «Методы и алгоритмы
автоматической реконструкции трехмерных моделей городских сцен на основе
спутниковых изображений»; Гранта РФФИ № 15-07-01612-А «Методы и
алгоритмы распознавания изображений на основе спектральной теории графов»;
5
Гранта РФФИ № 13-07-97523 р_центр_а «Разработка методов синтеза
пространственной информации по видеоизображениям для задач визуального
контроля технологических процессов в промышленности»; проекта № 2918
задания на выполнение государственных работ в сфере научной деятельности в
рамках базовой части государственного задания Минобрнауки России «Теория и
методы распознавания и синтеза пространственно-временной информации на
основе синтаксического анализа изображений в системах технического зрения».
Диссертационная работа и отдельные ее части докладывались и обсуждались
на 16-ой международной конференции «Цифровая обработка сигналов и её
применение - DSPA-2014» (Институт проблем управления им. В.А. Трапезникова
(ИПУ РАН), г. Москва, 2014), на всероссийской межвузовской научной
конференции «Наука и образование в развитии промышленной, социальной и
экономической сфер регионов России» (МИ (ф) ВлГУ, г. Муром, 2014), на 16-ой
международной научно-технической конференции
«Измерение, контроль,
информатизация» (АлтГТУ , г. Барнаул, 2015), на 12-ой международной
конференции «Pattern Recognition and Information Processing» (ОИПИ НАН
Беларуси, г. Минск, 2014), на 12-ой международной конференции «Оптикоэлектронные приборы и устройства в системах распознавания образов, обработки
изображений и символьной информации. Распознавание – 2015» (ЮЗГУ, г. Курск,
2015),
на
25-ой
международной
конференции
«СВЧ-техника
и
телекоммуникационные технологии» (КрыМиКо’2015) (СевГУ, 2015), на IX
международной научно-технической конференции «Современные проблемы
машиностроения» (ТПУ, г. Томск, 2015), на международной научно-технической
конференции «International Conference on Industrial Engineering-2015» ( ЮУрГУ,
г. Челябинск, 2015).
Система апробирована в АО «Муромское СКБ» (г. Муром) при
реконструкции трехмерных сцен для тренажеров транспортных средств.
Публикации
По теме диссертации была опубликована 21 работа: 9 работ в журналах из
перечня ВАК; 3 публикации в изданиях, входящих в реферативную базу SCOPUS; 1
монография; 7 тезисов докладов; 1 свидетельство о государственной регистрации.
Диссертационная работа включает введение, четыре главы, заключение,
список литературы, включающий 149 наименований, приложения. Общий объем
диссертации – 141 страница, таблиц 16, рисунков 52.
Личный вклад. Все выносимые на защиту результаты и положения,
составляющие основное содержание диссертационной работы, разработаны и
получены лично автором и при его непосредственном участии.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность темы, сформулированы цель и задачи
исследования, представлены положения, выносимые на защиту.
В первой главе проведен обзор литературы по теме синтеза трехмерных
моделей городских сцен.
Процесс создания трехмерной цифровой модели
местности характеризуется совокупностью следующих показателей: уровнем
детальности объектов сцены, исходными данными, степенью автоматизации
процесса реконструкции, размером реконструируемой местности. Был проведен
обзор и анализ методов трехмерной реконструкции городских сцен на основе
изображений (Табл. 1).
6
Таблица 1.Методы реконструкции трехмерных сцен на основе изображений
Характеристики
1. Тип съемки
2. Степень автоматизации
3. Количество изображений
4. Использование априорной
информации
5.Уровень детальности
6.Тип объектов
Методы
1.1. Наземная съемка
1.2. Аэросъемка
1.3. Космическая съемка
2.1.Автоматизированные
2.2.Автоматические
3.1. Одиночное изображение
3.2. Стереоизображения
3.3. Многовидовое стерео
3.4. Видеопоследовательность
4.1. Без использования априорной информации
4.2. С использованием априорной информации
(цвет, форма, высота, площадь, текстура)
LOD0, LOD1, LOD2, LOD3, LOD4
6.1. Фасады зданий
6.2. Отдельные здания
6.3. Протяженные городские сцены
На основе проведенного обзора были сформулированы следующие выводы:
1. Для подготовки водителей транспортных средств использование
тренажерных систем является важной составляющей процесса обучения. Создание
компьютерных трехмерных моделей заданной местности является важной задачей
при создании транспортных тренажеров.
2. Для отображения визуальной обстановки городских сцен в тренажерных
системах достаточно синтезировать компьютерные трехмерные модели городских
сцен уровня LOD2 (рис. 1.).
LoD 0
LoD 1
LoD 2 LoD 3
Lod 4
Рисунок 1. Представления трехмерного объекта с помощью уровней
детальности по стандарту CityGML
3. Для сокращения затрат на создание трехмерных моделей городских сцен
целесообразно использовать спутниковые изображения высокого разрешения, что
обусловлено доступностью и качеством снимков, значительным размером
пространств.
Однако использование спутниковых изображений для синтеза
трехмерных моделей в автоматическом режиме требует разработки алгоритмического
и программного обеспечений.
4. Существующие системы создания трехмерных моделей местности
функционируют либо в автоматизированном режиме, либо имеют высокую
стоимость программного и аппаратного обеспечения, а также процесса получения
исходных данных. Поэтому создание системы автоматической реконструкции
7
трехмерных сцен на основе спутниковых изображений позволит сократить затраты
на разработку транспортных тренажеров.
5. Анализ алгоритмов нахождения разреженных соответствий показал, что изза особенностей освещения, геометрии съемки, наличия перекрытий, присутствия
повторяющихся объектов могут возникать ошибки сопоставления особенностей,
что не всегда позволяет точно определить взаимную ориентацию изображений для
трехмерной реконструкции.
6. Анализ алгоритмов вычисления плотных стереосоответствий показал, что
существующие подходы затруднительно использовать для спутниковых снимков
из-за больших размеров изображений и наличия слаботекстурированных областей.
7. Анализ алгоритмов трехмерной реконструкции показал, что для повышения
точности результатов необходимо использовать методы обнаружения объектов на
изображениях, которые основаны на априорной информации.
Во второй главе рассматривается разработка моделей зданий и алгоритмов
трехмерной реконструкции на основе спутниковых стереоизображений высокого
разрешения. В общем виде процесс трехмерной реконструкции городских сцен
показан на рисунке 2. Многие из этапов на данный момент выполняются в
автоматизированном режиме или имеют некоторые недостатки при реализации.
Предлагается разработать новые алгоритмы для
решения следующих задач:
нахождения соответствий для взаимного ориентирования снимков; построения карты
высот на основе изображений, имеющих однородные области закраски; выделения
зданий на снимках; реконструкции трехмерных моделей зданий уровня LOD2.
Коэффициенты
рациональных
полиномов
Наземные
опорные точки
Спутниковые
снимки
Параметрические
3D-модели
крыш
Предобработка
снимков
Ориентирование снимков
Эпиполярная
ректификация
снимков
Построение
карты высот
Выделение зданий на снимках
Выделение
объектов:
здания, тени,
растительность
Удаление
растительности
и теней
Ортокоррекция
снимков
Реконструкция
3D-моделей
зданий
Выделение и
декомпозиция
контура здания
Распознавание
типа крыши и
реконструкция
3D-моделей
3D-модели
зданий
Рисунок 2. Разработанная схема процесса реконструкции 3D-моделей зданий на
основе спутниковых снимков
8
Модель реконструируемого здания имеет вид (рис. 3, а):
  {1 , ,i , , n } ,
где  i – i -ый набор параметров модели; n – количество наборов.
Модель типового реконструируемого здания описывается вектором
параметров  i  {Pi , C i , S i ,Ti } , где
Pi – параметры расположения; Ci –
параметры контура здания;
S i – параметры формы крыши; Ti – параметры
текстуры. Параметры расположения типовой 3D-модели здания: Pi  {x i , y i , a i } ,
где
xi , yi – координаты центра масс полигона; ai – угол между осью абсцисс и
осью, параллельной наибольшей стороне минимального прямоугольника,
ограничивающего контур. Параметры контура здания C i  {l i ,wi } , где
li
–
длина минимального прямоугольника, ограничивающего контур; wi – ширина
минимального прямоугольника, ограничивающего контур здания. Параметры
формы содержат тип крыши (рис. 3, б), высоту здания, высоту крыши, угол
наклона крыши и т.д. (рис. 3, в).
Q6 Q7
Q2
H2
Q3
Q8
Q5
H1
Q4
Q1
а)
б)
в)
Рисунок 3. Пример представления модели здания: а) декомпозиция трехмерной
модели здания, б) контурное представление (вид сверху), в) контурное
представление (фронтальный вид)
Разработка алгоритма нахождения соответствий на изображениях на
основе дескрипторов и графов. Для эпиполярной ректификации изображений
необходимо найти соответствия на стереоснимках. Недостатком существующих
подходов нахождения соответствий является то, что приходится сопоставлять
отдельные точки на двух изображениях. Это приводит к ошибкам при нахождении
соответствий. Для повышения точности сопоставления предлагается использовать
совместно
дескрипторы
и
графы.
Пусть
S 1   f 1i | i  1, , m
и
S 2  f 2 j | j  1, , n – два множества особенностей. Алгоритм состоит из
следующих шагов.

Шаг 1. Построение матрицы расстояний: Gij  e
rij2
2σ 2
, где rij  f1i  f 2 j –
евклидово расстояние между особенностями f 1i и f 2 j ; σ – коэффициент, который
регулирует степень взаимодействия между особенностями.
Шаг 2. Сингулярное разложение матрицы G  TDU , где D – матрица
собственных значений; T и U - матрицы собственных векторов.
Шаг 3. Вычисление матрицы соответствий: P  TEU .
Шаг 4. Вычисление матрицы M ij  K ij Pij , где K ij – матрица коэффициентов,
определяющих наличие соответствия между i -ой и j -ой особенностями первого и
второго изображений.
Шаг 5. Формирование бинарной матрицы L . Если значение M ij  z , то
Lij  0 , иначе Lij  1 , где z – установленный порог соответствия.
9
Разработка алгоритма вычисления карты высот по стереоизображениям
на основе построчной минимизации энергии в пределах региона. Диспаритет
представляет собой угловую невязку положений изображения некоторого объекта
для двух снимков. В представленном алгоритме предлагается предварительно
сегментировать изображение для вычисления значений диспаритетов (рис. 4 а, б).
а)
б)
в)
Рисунок 4. Вычисление карты высот: а) исходное изображение,
б) сегментированное изображение, в) карта высот
Это позволит получить хорошие результаты, когда поверхности объектов
имеют однородную закраску, что характерно для спутниковых изображений
городских сцен. Определение диспаритета вычисляется для строки каждого
региона на основе метода суммы квадратов разностей (рис. 5,а).
а)
б)
Рисунок 5. Алгоритм вычисления карты высот по стереоизображениям на основе
построчной минимизации энергии в пределах региона: а) предлагаемый принцип
вычисления диспаритета, б) зависимость энергии от количества итераций
Функция энергии представляет сумму штрафа за несоответствие цветовых
свойств сопоставляемых пикселей и штрафа за несоответствие свойств соседних
пикселей изображения: E  Edata  E smooth .
Штраф за несоответствие свойств сопоставляемых пикселей:
k
Edata  
w/2
 ( I R ( x, y)  I L ( x  drow , y))2 ,
x 1 y   w / 2
где d row – значение диспаритета между строкой, принадлежащей региону правого
изображения, и строкой левого изображения; w – размер по вертикали скользящего
окна; k – длина строки; I R ( x , y ) , I L ( x  d row , y ) – яркости пикселей правого и
левого изображений.
10
Штраф за несоответствие свойств соседних пикселей:
 smooth , если d ( p) - d (q)  1 ;
E smooth 

p , qN

 0, в остальных случаях,
где N – множество пикселей изображения. p, q  N – четырехсвязные пиксели; d ( p )
и d (q) – значения диспаритета для пикселей p и q ; smooth – константа штрафа.
Минимизация энергии осуществляется итеративно (рис. 5, б). При минимизации
осуществляется замена значений пикселей, обладающих наибольшими значениями
штрафов на значения диспаритетов соседних пикселей (рис 4, в).
Разработка алгоритма обнаружения зданий на спутниковых изображениях
с использованием априорной информации.
Для выделения объектов,
принадлежащих различным классам, необходимо сгруппировать регионы,
имеющие определенные цветовые характеристики и значения высоты. Каждый
регион определяется значением высоты, а также принадлежностью к области
растительности,
затененной области или остальным объектам сцены. Для
отнесения сегмента к области растительности или тени используются цветовые
инварианты. Изображение представляет собой неориентированный взвешенный
граф, узлами которого являются сегменты изображения (рис. 6). Весами вершин
графа являются числа, определяющие принадлежность к классу. Для разделения
регионов на кластеры используется метод разрезов на графах. Преимуществом
предлагаемого подхода по сравнению с известным методом нормализованных
разрезов является высокая скорость обработки, так как в процессе сегментации
участвуют не отдельные пиксели, а сегменты изображения.
1
1
2
4
3
5
а)
2
4
3
5
б)
Рисунок 6. Представление изображения в виде взвешенного
неориентированного графа: а) исходное сегментированное изображение, б) граф
сегментированного изображения
Шаг 1. Строится взвешенный граф на основе исходного изображения.
Рассчитываются весовая матрица W и степенная матрица D :

 x x 2
j 
 exp  i

 , если u,v смежные вершины;
2
W (u,v)  
2





0 , в другом случае,
n
Dii   Wij ,
j 1
где σ – коэффициент, который регулирует степень взаимодействия между
регионами, x - мера различия между регионами.
Шаг 2. Из выражения ( D - W ) y  Dy находятся собственные векторы с
наименьшими собственными значениями. На основе вектора со вторым
наименьшим собственным значением вычисляется разрез графа. Выполняется
рекурсивное разбиение.
11
Для повышения точности обнаружения зданий оценивается форма и
величина площади выделенной области.
Реконструкция трехмерных моделей зданий состоит из следующих шагов:
выделение, генерализация и декомпозиция контура здания; реконструкция
трехмерной модели здания.
Разработка алгоритма выделения и генерализации контура здания.
Граничные точки выделенной области здания представляют контур. Для
формирования прямолинейных сегментов границы используется преобразование
Хафа. Соседние прямолинейные сегменты соединяются отрезками. Генерализация
контура здания осуществляется на основе оценки пороговых значений расстояний
и углов между отрезками.
Разработка алгоритма декомпозиции контура здания. Декомпозиция
основана на анализе величины внутренних углов контура здания, выделенного на
предыдущем этапе. Если существуют внутренние углы, которые больше 180
градусов, то из вершин этих углов проводится отрезок, соединяющий наиболее
близкорасположенные вершины контура. При этом вновь образуемые углы должны
быть меньше 180 градусов. Результаты работы алгоритмов приведены в таблице 2.
Таблица 2. Результаты работы алгоритмов выделения, генерализации и декомпозиции
контура здания
Изображение
здания
Выделенная
область здания
Выделенные
сегменты
Замкнутый контур
здания
Декомпозиция
контура здания
Разработка алгоритма реконструкции трехмерных моделей зданий на
основе спутниковых изображений и априорной информации. Реконструкция 3Dмоделей зданий основана на распознавании изображений крыш и последующем
размещении параметрической модели здания в заданной области. Для
распознавания предлагается использовать геометрические гистограммы. Для
построения геометрических гистограмм выбирается система координат, в которой
ось ординат совмещена с центральной осью ограничивающего прямоугольника,
параллельной большей его стороне (рис. 7, а). Для построения гистограмм
используются неравные интервалы углов (рис. 7, б). Сравнение геометрических
гистограмм осуществляется на основе расстояния Бхаттачария (Табл. 3).
12
θ
а)
б)
Рисунок 7. Построение геометрических гистограмм: а) определение угла между
отрезком и осью абсцисс в системе координат полигона, б) интервалы разбиения
числовой окружности
Расстояние Бхаттачария:
d Bhattach ( H 1 , H 2 )  1  i
H 1 (i )  H 2 (i )
i H1 (i) i H 2 (i)
.
Таблица 3. Распознавание и реконструкция 3D-моделей на основе
геометрических гистограмм
Номер
Вид
сверху,
эталон
Геометрическая
гистограмма
эталона
Изображение
Линейное
представление
d Bhattach
3Dмодель
1
1
0,9
0,8
0,7
L
0,6
0,5
0
Р яд1
0,4
0,3
0,2
0,1
0
Интервалы углов, градусы
0,6
2
0,5
L
0,4
0,3
0,1
Р яд1
0,2
0,1
0
Интервалы углов, градусы
3
0,19
0,6
0,5
L
0,4
0,3
Ря д1
0,2
0,1
0
Интервалы углов, градусы
0,4
4
0,35
0,3
L
0,25
0,2
Ряд1
0,1
Ряд 1
0,15
0,15
0,1
0,05
0
Ин те рв алы угло в, гра дусы
5
0,8
0,7
0,6
L
0,5
0,4
0,3
0,2
0,1
0
Интерва лы углов, г ра дусы
0,6
6
0,5
L
0,4
0,18
Ряд1
0,3
0,2
0,1
0
Интервалы углов, гра дус ы
В третьей главе проводится исследование алгоритмов реконструкции
трехмерных моделей городских сцен на основе спутниковых изображений.
Исследование алгоритма нахождения соответствий на изображениях на
основе дескрипторов и графов. В ходе экспериментов было установлено, что
алгоритм позволяет уменьшать количество ложных соответствий на некоторых
изображениях до 90 % по сравнению с подходами, основанными только на
дескрипторах (рис. 8).
13
100
90
80
Количество
имеющихся на
изображ ении
ложных
соответствий ,
%
70
60
50
40
30
20
10
0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9
1
Порог, единицы
а)
б)
Рисунок 8. Исследование алгоритма нахождения соответствий на изображениях на
основе дескрипторов и графов: а) нахождение ложных соответствий,
б) зависимость количества ложных соответствий от выбранного порога
Сложность разработанного алгоритма – O (m) , где m – количество
найденных соответствий. Сложность алгоритма RANSAC превосходит сложность
разработанного алгоритма. При реализации алгоритма RANSAC перебрать все
возможные гипотезы за приемлемое время не представляется возможным. Поэтому
на практике для проверки выбирается только некоторое количество гипотез, что не
лучшим образом сказывается на точности результатов при нахождении
соответствий.
Исследование алгоритма вычисления карты высот по стереоизображениям
на основе построчной минимизации энергии в пределах региона. Для
количественной оценки алгоритма используются следующие характеристики:
процент неправильно определенных пикселей в областях без перекрытия BO ;
процент неправильно определенных пикселей на всем изображении B All , процент
неправильно определенных пикселей в областях с резким перепадом значений
диспаритета
BD . Процент неправильно определенных соответствий:
100
B
 ( d C ( x , y)  d T ( x , y)   d ) , где N – количество всех пикселей; d C ( x , y )
N ( x ,y )
– вычисленное значение диспаритета; dT ( x , y ) – эталонное значение диспаритета;
 d – порог, задающий максимально допустимое отклонение диспаритета от
эталонного значения. Для оценки полученных результатов были использованы
тестовые изображения «Middlebury dataset» (табл. 4).
Таблица 4. Сравнительная характеристика стереоалгоритмов
Тестовое
изображение № 1
B (Tsukuba)
B
B
Тестовое
изображение № 2
(Venus)
B
B
B
Тестовое
изображение № 3
B (Cones)
B
B
Адаптивные веса
Распространение
доверия
1.38
1.11
1.85
1.37
6.90
5.79
0.71
0.10
1.19
0.21
6.13
1.44
3.97
2.48
9.79
7.92
8.26
7.32
Полуглобальное
соответствие
Разрезы на графах
3.26
3.96
12.8
1.00
1.57
11.3
3.06
9.75
8.90
1.86
2.01
6.24
1.64
2.19
6.75
5.36
12.4
13.0
Разработанный
алгоритм
1.17
1.50
5.43
0.64
0.88
5.23
3.52
8.57
8.14
Показатели
O
All
D
O
14
All
D
O
All
D
Из результатов сравнения видно, что алгоритм распространения доверия
имеет более точные результаты при формировании карты высот. Однако при
программной реализации данного алгоритма требуются десятки секунд. Время
работы на компьютере c процессором Pentium T2390 при обработке тестового
изображения № 1 размером 384 x 288 пискелей составило 5.2 с. Время алгоритма
распространения доверия составило 34 с.
Исследование
алгоритма обнаружения зданий на спутниковых
изображениях с использованием априорной информации. При исследовании
выявлено, что время работы предложенного алгоритма в несколько раз меньше
алгоритма сегментации, в котором узлами графа являются пиксели
изображения (табл. 5).
Таблица 5. Исследование разработанного алгоритма на время работы
Номер сцены
Количество сегментов в сцене
Время
предварительной
обработки
с
использованием цветовых инвариантов, с
Время сегментации на основе разработанного
алгоритма, с
Время сегментации с использованием алгоритма
NCut, использующего в качестве узлов пиксели
изображения, с
1
1116
10.7
2
983
9.3
3
1059
9.8
4.3
3.2
3.9
126
105
114
Было проведено сравнение разработанного алгоритма с известными
подходами обнаружения зданий (табл. 6). Вычислялись процент правильно
обнаруженных зданий
DP
и процент зданий, которые ошибочно
идентифицированы BF . Выявлено, что процент правильно обнаруженных зданий
выше по сравнению с рассматриваемыми алгоритмами за счет использования
комплексной информации о высоте, цвете, форме и площади проекций объектов.
Таблица 6. Исследование разработанного алгоритма на точность обнаружения
Алгоритмы
Lin C., 1998
Lee D., 2003
Muller S., 2005
Song Z., 2008
Ok A., 2009
Abraham L., 2012
Kunte A., 2013
Разработанный алгоритм
DP, %
71.9
72.1
79.5
88.8
66.5
84.5
83.8
89.7
BF, %
6.7
2
22.5
3.4
8.8
0.2
5.8
3.1
Исследование алгоритма реконструкции трехмерных моделей зданий на
основе спутниковых изображений и априорной информации. Для исследования
алгоритма реконструкции объектов по изображениям было использовано 50
стереоснимков. Для исследования алгоритма было оценено количество крыш зданий
в процентах, тип которых правильно определен. Сравнение разработанного
алгоритма производилось с подходами, основанными на лазерной локации (табл. 7).
Это объясняется тем, что в литературе не было найдено количественных результатов
работы алгоритмов трехмерной реконструкции моделей зданий уровня LOD2 на
основе изображений.
Результаты разработанного алгоритма по точности
сопоставимы с результатами подходов на основе лазерной локации (табл. 7, 8).
15
Таблица 7. Результаты исследования разработанного алгоритма реконструкции
3D-моделей зданий
Алгоритм
Hu Y., 2003
Xiong X., 2013
Разработанный алгоритм
Технология
Лазерное сканирование
Лазерное сканирование
Стереоизображения
DP, %
91.3
82.8
81.1
Таблица 8. Результаты реконструкции 3D-моделей городских сцен
Сцена 1
Сцена 2
Сцена 3
Спутниковые
изображения
Результаты
реконструкции
В четвертой главе рассматривается разработка системы реконструкции
трехмерных сцен для тренажеров транспортных средств на базе предложенных
алгоритмов. Система реконструкции трехмерных моделей разработана в среде
программирования Visual Studio 10. При реализации системы был использован
интерфейс прикладного программирования DirectX. Система реконструкции
состоит из следующих компонентов: модуля эпиполярной ректификации, модуля
вычисления цифровой модели местности (ЦММ), модуля обнаружения зданий,
модуля распознавания крыш зданий, модуля трехмерной реконструкции (рис. 9).
3D-модели
крыш
Спутниковые
изображения
Модуль
эпиполярной
ректификации
Модуль
распознавания
крыш зданий
Модуль
вычисления
ЦММ
Модуль
обнаружения
зданий
БД
текстур
Модуль
трехмерной
реконструкции
3D-модели
зданий
Рисунок 9. Структура системы реконструкции трехмерных сцен на основе
спутниковых изображений и априорной информации
16
Входными данными для системы являются спутниковые изображения
высокого разрешения, параметрические модели крыш, база данных типовых
текстур. Выходными данными системы являются трехмерные модели зданий
уровня LOD2.
Система апробирована на предприятии АО «Муромское СКБ» (г. Муром),
которое выпускает тренажеры транспортных средств.
В заключении сформулированы основные результаты, полученные в ходе
работы над диссертацией:
1. Обоснована
актуальность
создания
системы
автоматической
реконструкции трехмерных сцен для транспортных тренажеров.
2. Проведены обзор и анализ методов и систем синтеза трехмерных сцен,
показывающие необходимость разработки новых алгоритмов, автоматизирующих
процесс трехмерной реконструкции моделей уровня LOD2 на основе спутниковых
стереоизображений.
3. Разработаны модели реконструируемых зданий, которые включают
параметры расположения, контура, формы крыши и текстуры и позволяют
описывать здания с уровнем детальности LOD2.
4. Разработан алгоритм нахождения соответствий, отличающийся
совместным использованием дескрипторов и графов. Алгоритм позволяет
уменьшать количество ложных соответствий на некоторых изображениях до 90 %
по сравнению с подходами, основанными только на дескрипторах.
5. Разработан и исследован алгоритм вычисления карты высот по
стереоизображениям на основе построчной минимизации энергии в пределах
региона, отличающийся от существующих подходов предварительной
сегментацией изображений и позволяющий обрабатывать слаботекстурированные
области снимков с высокой точностью и скоростью.
6. Разработан и исследован алгоритм обнаружения зданий на спутниковых
изображениях с использованием априорной информации, основанный на
совместном использовании данных о высоте, цвете, форме и площади проекций
объектов и позволяющий выделять на спутниковых снимках до 89,7 % зданий, что
превосходит известные подходы на 1-17 %.
7. Разработан и исследован алгоритм трехмерной реконструкции моделей
зданий на основе спутниковых изображений и априорной информации,
отличающийся использованием геометрических гистограмм и позволяющий
корректно синтезировать до 81,1 % трехмерных моделей уровня LOD2 по
стандарту CityGML, что сопоставимо с подходами на основе лазерной локации.
8. Результаты проведенных исследований апробированы на предприятии АО
«Муромское СКБ». Реализована тиражируемая система реконструкции трехмерных
сцен уровня LOD2 для транспортных тренажеров, позволяющая сократить сроки
создания моделей по сравнению автоматизированными подходами в 2-3 раза.
В приложении приведены акты внедрения, подтверждающие использование
результатов работы в производстве и в учебном процессе, свидетельство о
государственной регистрации программы для ЭВМ, пример работы алгоритма
нахождения соответствий на изображениях на основе дескрипторов и графов.
17
СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ АВТОРОМ ПО ТЕМЕ
ДИССЕРТАЦИИ
Научные статьи, опубликованные в изданиях из перечня ВАК
1. Тужилкин, А.Ю. Сегментация спутниковых изображений местности с
использованием спектральной теории графов [Текст]//
Научно-технический
вестник Поволжья. – 2015. – № 1. – C. 140-142. (Соискатель – 100%).
2. Тужилкин, А.Ю. Распознавание и реконструкция 3D-объектов по
спутниковым изображениям на основе сравнения спектров графов [Текст]//
Фундаментальные исследования. – 2015. – № 2(17). – C. 3727-3732. (Соискатель –
100%).
3. Тужилкин, А.Ю. Нахождение соответствий на изображениях с
использованием спектра графов для задач трехмерной реконструкции [Текст]/
А.Ю. Тужилкин, А.А. Захаров, А.А. Жизняков // Ползуновский вестник. – 2015. –
№ 4, Т.2. – C. 37-39. (Соискатель – 50%).
4. Тужилкин, А.Ю. Алгоритм нахождения соответствий на изображениях на
основе подхода минимизации энергии [Электронный ресурс]/ А.Ю. Тужилкин,
А.А. Захаров, В.С. Яшков// Современные проблемы науки и образования. – 2015. – № 1.
– Режим доступа: http://www.science-education.ru/121-17497. (Соискатель – 50%).
5. Тужилкин, А.Ю. Нахождение соответствий на
изображениях с
использованием приближенного сравнения графов [Текст]/ А.Ю. Тужилкин,
А.А. Захаров // Научно-технический вестник Поволжья. – 2015. – № 4. – С. 130-132.
(Соискатель – 50%).
6. Тужилкин, А.Ю. Синтез 3D-моделей городских сцен на основе
спутниковых изображений [Текст]/ А.Ю. Тужилкин, А.А. Захаров // Научное
обозрение. – 2015. – № 17. – С. 145-150. (Соискатель – 50%).
7. Захаров, А.А. Трехмерная реконструкции визуальной обстановки по
видеоизображениям на основе вероятностного подхода [Текст]/ A.A. Захаров,
А.Ю. Тужилкин// Радиотехнические и телекоммуникационные системы. – 2014. –
№ 2. – C. 45-49. (Соискатель – 50%).
8. Захаров, А.А. Синтез трехмерных сцен по видеоизображениям с
использованием априорной информации [Текст]/ А.А. Захаров, А.Ю. Тужилкин //
Научно-технический вестник Поволжья. – 2013. – № 5. – С. 163-165. (Соискатель –
50%).
9. Захаров, А.А. Формирование структурного представления трехмерных
сцен на основе синтаксического анализа видеоизображений [Текст]/ А.А. Захаров,
А.Ю. Тужилкин// Научно-технический вестник Поволжья. – 2013. – № 6. – С. 285288. (Соискатель – 50%).
Монография
10. Захаров, А.А. Алгоритмы синтеза визуальной пространственновременной информации для тренажеров транспортных средств [Текст]/
А.А. Захаров, А.Ю. Тужилкин/ Владим. гос. ун-т им. А. Г. и Н. Г. Столетовых. –
Владимир: Изд-во ВлГУ, 2014. – 128 с. (Соискатель – 30%).
Публикации, входящие реферативную базу Scopus
11. Zakharov, A. Finding correspondences in images using descriptors and graphs
[Текст] / A. Zakharov , A. Tuzhilkin, A. Zhiznyakov // Procedia Engineering. – 2015. –
№ 129. – P. 391-396. (Соискатель – 50%).
12. Zakharov, A. Automatic Building Detection from Satellite Images Using
Spectral Graph Theory [Текст] / A. Zakharov, A. Tuzhilkin, A. Zhiznyakov// Mechanical
18
Engineering, Automation and Control Systems (MEACS), 2015 International Conference
on. IEEE conference publications. – 2015. (Соискатель – 50%).
13. Zakharov, A. 3D-reconstruction of urban scenes using satellite images and
pairwise geometric histograms [Текст] / A. Zakharov, A. Tuzhilkin, A. Zhiznyakov //
Mechanical Engineering, Automation and Control Systems (MEACS), 2015 International
Conference on. IEEE conference publications. – 2015. (Соискатель – 50%).
Свидетельство о государственной регистрации программы для ЭВМ
14. Тужилкин, А.Ю. Система синтеза трехмерных моделей местности на
основе спутниковых и аэрофотоснимков [Текст] / А.Ю. Тужилкин, А.А. Захаров,
А.Л. Жизняков. – Свидетельство о государственной регистрации программы для
ЭВМ. – № 2015610051; заявл. 05.11.2014; дата регистрации 12.01.2015.
(Соискатель – 50%).
Публикации в других изданиях
15. Тужилкин, А.Ю.
Ректификация
стереоизображений
на
основе
спектральной теории графов [Текст] / А.Ю. Тужилкин, А.А. Захаров,
А.Л. Жизняков // Измерение, контроль, информатизация: материалы 16
международной научно-технической конференции (12 мая, 2015 г.). – Барнаул:
Изд-во АлтГТУ. – 2015. – Том 2. – С. 22-25. (Соискатель – 50%).
16. Тужилкин, А.Ю. Алгоритмы реконструкции 3D-моделей населенных
пунктов на основе спутниковых стереоизображений [Текст] / А.Ю. Тужилкин,
А.А. Захаров// Оптико-электронные приборы и устройства в системах
распознавания образов, обработки изображений и символьной информации.
Распознавание – 2015: сб. материалов XII Междунар. науч.-техн. конф. Юго-Зап.
гос. ун-т. – КУРСК. – 2015. – С. 374-376. (Соискатель – 50%).
17. Тужилкин, А.Ю. Синтез графа трехмерной сцены по изображениям для
задач трехмерной реконструкции [Текст]/ А.Ю. Тужилкин, А.А. Захаров// 16-я
Международная конференция «Цифровая обработка сигналов и её применение – DSPA2014». – М.: РНТОРЭС им. А.С. Попова. – 2014. – С. 478-480. (Соискатель – 50%).
18. Тужилкин, А.Ю. Разработка вероятностных моделей объектов для
синтеза пространственной информации на основе видеоизображений [Текст]//
А.Ю. Тужилкин, А.А. Захаров/ Наука и образование в развитии промышленной,
социальной и экономической сфер регионов России. VI Всероссийские научные
Зворыкинские чтения: сб. тез. докл. Всероссийской межвузовской научной
конференции. Муром, 14 февр. 2014 г. – Муром: Изд.-полиграфический центр МИ
ВлГУ. – 2014. – С. 416-417. (Соискатель – 50%).
19. Zakharov, A.A. An algorithm for computing disparity based on
segmentation of stereo images [Текст]/ A.A. Zakharov, A.Y. Tuzhilkin // 25th Int.
Crimean Conference “Microwave & Telecommunication Technology” (CriMiCo’2015).
– 2015. – IEEE Cat. Nr. CFP 15788. – P. 387-388. (Соискатель – 50%).
20. Zakharov, A.A. An algorithm of rectification of satellite images using the
spectral graph theory [Текст] / A.A. Zakharov, A.Y. Tuzhilkin // 25th Int. Crimean
Conference “Microwave & Telecommunication Technology” (CriMiCo’2015). – 2015. –
IEEE Cat. Nr. CFP 15788. – P. 1220-1221. (Соискатель – 50%).
21. Zakharov, A. Algorithm of automatic reconstruction of three-dimensional
objects for CAD-systems [Текст]/ A. Zakharov, A. Tuzhilkin, A. Zhiznyakov // Pattern
Recognition and Information Processing (PRIP-2014): Proceedings of the 12th
International Conference (28-30 May 2014, Minsk, Belarus). – Minsk: UIIP NASB. –
2014. – P. 325-328. (Соискатель – 50%).
19
20
Документ
Категория
Без категории
Просмотров
45
Размер файла
1 614 Кб
Теги
спутниковой, алгоритм, трехмерная, сцена, изображение, основы, модель, информация, реконструкция, априорной
1/--страниц
Пожаловаться на содержимое документа