close

Вход

Забыли?

вход по аккаунту

?

bd000100175

код для вставкиСкачать
-^^Сг-^-Л^
На правах рукописи
Потапов Алексей Сергеевич
И Е Р А Р Х И Ч Е С К И Е С Т Р У К Т У Р Н Ы Е М Е Т О Д Ы АВТОМАТИЧЕСКОГО
АНАЛИЗА А Э Р О К О С М И Ч Е С К И Х ИЗОБРАЖЕНИЙ
С <1ециальность 05.11.07-оптические и оптико-электронные приборы и
комплексы
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Санкт-Петербург
2005
l^tp^-i/
Vf^^
Ha прамк рукописи
Нотапой Алексей Сергеевич
И Е Р А Р Х И Ч Е С К И Е С Т Р У К Т У Р Н Ы Е МЕТОДЫ АВТОМАТИЧЕСКОГО
АНАЛИЗА А Э Р О К О С М И Ч Е С К И Х ИЗОБРАЖЕНИЙ
.
Специальность 05.11.0? -оптические и о«тик»-элеК1т»в«^л приборы и
комплексы
АВТОРЕФЕРАТ
диссертации на сойскаяме ученой стшеяя
кандидата техняческих наук
Санкт-Петербург
2005
- » •>•«
^'^7£'/S€
Работа выполнена в Ф Г У П " В Н Ц Государственный Оптический Институт им.
С И . Вавилова"
Научный руководитель:
кандида! технических на\к,
Ма.1ышев Игорь Александрович
Официальные оппоненты
ДСКТОР ТЕХНИЧЕСКИХ НАУК
Xa?^flf S А^. !Г
'
К4ИД/!Д\Т ТЕХНИЧЕСКИХ НАУК
ДОЦЕНТ. 1УБККНА-'ФВедущая организация:
ОАО 'ДОМО'
Защита состоится j t ^ )
/j^
2005 года в
часов
минут на
заседании специализированного совета Д407.001.01 в В Н Ц "Государственный
Оптический Институт им. С И . Вавилова" по адресу: 199034, Санкт-Петербург,
В.О., Биржевая линия, д. 12.
С диссертацией можно ознакомиться в библиотеке института.
Автореферат разослаьи ?
V z^ ^ 2005 г.
Ученый секретарь
специализированного совета
доктор технических наук
ущ//с^
/1^
X/'
А.И.Степанов
|'Тетптй-Институт им. С И . Вавилова"
© Ф Г У П " В Н Ц Государственный Опти^гесготй-Институт
РОС НАЦМеНАДЬНАя/
КМБЛНОТеКА
i
^яяврирцрг X 0 т^
«• т5>ыоШ
Щ
н
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность проблемы
Исследование
Земли
с
использованием
космических
и
авиационных
систем
наблюдения служит мощным инструментом в различных обпастях хозяйственной и научной
деятельности
Возрастающие возможности бортовых оптических
и радиолокационных
сенсоров и увеличивающаяся пропускная способность каналов беспроводной связи приводят
к постоянному росту объемов данных изображений, поступающих в наземные центры
обработки В этих условиях все более актуальной становится автоматизация, по крайней
мере, части операций анализа и интерпретации аэрокосмических снимков
Одной из наиболее важных из подпежащих автоматизации операций представпяется
cnnocmaeieHue (отождествление идентичных элементов) двух снимков, полученных с разных
ракурсов, в разное время, возможно, разными типами сенсоров (инфракрасных, видимого
диапазона, радиолокационных и других), поскольку эта операция зачастую предшествует
выполнению других операций анализа аэрокосмических снимков
Такое сопоставление
необходимо для записи снимков в единой системе координат ( т е для их совмещения) с
целью
синтеза
карт
больших
размеров
на основе локальных
снимков,
выявления
произошедших изменений и т д В практических задачах сопоставление зачастую требуется
выполнять с высокой точностью.
В отличие от большинства классических задач автоматического анализа изображений
в промышленной робототехнике, медицине, криминалистике, охранных системах и т.п.
аэрокосмические
видеоданные
неопределенностью
характеризуются
значительно
большей
Эта неопределенность связана с сезонно-суточными
априорной
изменениями
наблюдаемых ландшафтов, отличиями изображений, сформированных различными типами
видеодатчиков, и офомным
многообразием подлежаших автоматическому
анализу и
интерпретаций сюжетов Идентичность содержания одной и той же сцены, присутствующей
на разных изображениях, сохраняется независимо от условий съемки
Группой
методов,
позволяющих
использовать
содержательную
идентичность
изображений и преодолевать указанную априорную неопределенность при сопоставлении
изображений, являются структурные
методы анализа Однако существовавшие на момент
начала данной работы структурные методы не позволяли достичь требуемой в практических
приложениях точности и робастности сопоставления Устранение этих недостатков могло
быть осуществлено с помощью проведения анализа изображений на различных уровнях
(пиксельном, контурном и структурном), то есть с помощью иерархического подхода Таким
образом, перспективным для решения задачи сопоставления аэрокосмических изображений
являлось дальнейшее развитие иерархических структурных методов
Цель работы
Рафаботка м е ю ю в высокогочного соноставтения а1рокосмически\ и!обраАений
||0 1>ченны\ с
ра!ны\
рак\рсов
iro 1вержст1ы\
се!онно-с\10чн1.гм
и!менсниям
изи
солсржа[11и\ ра!1ичия, вьиватм,1е исно н,!ованием сенсоров раз тичныч типов, разработка
чекмов и!В1счсния из изображений информации, инвариантной к во!можмым изменениям
\с товий ст,емки
Основные задачи:
созтание иерархическою сгр\кт\рно1о нрелставтения
и!ображений, в котором
ччитываются обшие юп_\ тения о свойствах видимого мира,
вывоз критерия оптиматьрюсти описания изображения в рамках предзоженн01а
нрелстав 1ения и разрабо1ка меюлов [юсфоения стр>к1_\рно10 описания изображений
н\ тем отими!апии выработанного критерия,
рафаботка мето юв сопостав1ения ик1бражений через соотнесение их иерархических
сгр\кт\рны\ описаний,
разработка мето юв повышения гочности сопосгав тения и растттирсние возможттт.тх
ТИ1Т0В взаимттых ттространстве1т1тт,1х ттреобразоваттий изображеттий тт\ тем корректтин
резхльтаюв стр\кт\рного сопоставления
Методы исследований
Л тя рептения указанных задач в работе ттриченя тись метоты обработки изображений,
теории
вероятностей
и математической
статистики, теории
сттектральной
обработки
ситтта тов, вычистительные методы, методы матиитттюго модечироваттия
Научная новизна работы
•
Предложен сттособ иерархической зекочпозиции задачи стр_\кт\р1тото соттостав теттия
исттотьзчтотиий результаты сетментации изображений и ттозво тятотт^ин чметтт.ттттттт.
вычис тите тьнхю с тожностт. за,тачи сопоставзсния
•
Разработан метод амтттивной коррекции сгр\кт\рт1ых описаний в ттроттсссе ттх
соттостав.тения
•
Разработан механизм расттространения информаттии о тт() тожснии отторттых точек в
vTCToie тока.1т.ттой корреляции
•
Кт.ше тетть! атта титические выражеттия л тя фитьтраттии ттростраттстветтнот о LTicKipa
ттюбражеттий \ве тичиватошей отттотнеттне ситттат Т1т\м тта кроескорре тяпноттттом тто тс
в ттрис) тствитт взаимттых теочетрических искажении изображеттттй
4
•
Разработано иерархическое структлрное иретсыв 1сиие изображений
раз1ичные
)ровни которою объе (инены общей информационной иетевой функцией
•
Потучены
форм>лы, oripeie гяющие качесшо С1р\к1\рн010 описания, а
также
выражения опрс le тякиние cierioHi. cxoicгва стр\мерных ) тементов
Пракгическан ценность
Автоматические
меютт.т
а>рокОСх|ически\ икюражеттии
и
а.тторитмт.т
иерархическото
стр\кт\рт|ото
атта-тиза
пошотяютттие лоститатт, вт.тсокои точности совмещения и
осхтттествлять робасттюе сопостав теттие изображеттии С1тятт>т\ с разнт>тх paKvpeoB, в разное
время года и с помотттьто сенсоров различных типов мот\т ттаити тиирокое применение в
фотограмметрии, тистанционтточ сборе данных В ттервчто очерель это относится к таким
практическим задачам, как тсокотирование, экономический и ^кототический мониторинт
ттовсрхности Земли, автоматическое ишпечение изображеттии из бат танттых
На защиту выносятся:
1) Георетико-иттформаттиоттный подхо i и методы построения иерархических структурных
описаний изображений, позволяюшие максимизировать количество извлекаемой из
изображений информации, инвариантной к изменению условий съемки
2) Метод сопоставления азрокосмических изображений, потучснттых с разных ракурсов, в
разное время суток и тола, с помощью сенсоров различных типов
Сопоставление
выполняется иерархически на основе алаптивно корректируемых структурных описаний
за время, полиномиатьно зависящее от количества структурных элементов
3) Метол локалытой
совмещения
корреляции
изображений
и
как
способ
расширения
достижения
класса
их
более
высокой
допустимых
точности
взаимных
пространственньтх преобразований в задачах структурного сопоставления и совмещения
изображений
4) Атталитическис
огтерации
выражения
фазовой
оптимального
фильтра
корреляции, устанавливающие
пространственного
необходимость
спектра
учета
для
гармоник
пространственного спектра с весом, обратно пропорциональным их номеру, поскольку
фазы гармоник смещаются при геометрических искажениях изображения тем быстрее,
чем выше номер гармоники
5) Многоэтапный способ итеративной оптимизации информационной целевой функции в
задачах построения структурттых описаний изображений, включающий этап получения
приближенного решеттия с использованием упрошенных моделей, этап получения
решения в расширенном пространстве моделей и этап уточнения решения
-5-
Реализация результатов работы
Результаты диссертационной
работы были
использованы в НИР
12200-060-03
«Разработка и создание методов, алгоритмов и программ автоматического текстурного и
структурного анализа изображений в задачах измерения, контроля и сопоставления
изображений», проводимой но заказу Министерства науки, а также при постановке и
проведении О К Р «Сатрап», вьпю шяемой по заказу М О Р Ф Результаты диссертационной
работы были также использованы в О К Р «Сфера», проводимой в ЗАО Н И И В Ц «Карат»
Акты внедрения пpиJloжcны к диссертации
Апробация работы
Основные результаты работы докладывались на следуюших научных форумах
•
конференции
"Battlespace
digitization
and
network-centric
warfare
II"
в
рамках
IX"
в
рамках
международного симпозиума ■'AeroSence-2002" (Orlando, 2002),
•
конференции
"Image
and
signal
processing
tor
remote
sensing
международного симпозиу ма "Remote Sensing - 2003" (Barcelona, 2003);
•
VII-ой
международной
конференции
"Нсразрушающие
методы
контроля
и
компьютерное моделирование в науке и технике" NDTCS-2003 (Санкт-Петербург, 2003),
•
конференции "Automatic target recognition X I V " в рамках международного симпозиума
"Defense and Security - 2004" (Orlando, 2004);
•
VI11-ой
международной
конференции
"Неразрушаюшие
методы
контроля
и
компьютерное моделирование в на) ке и технике", NDTCS-2004 (С -Петербург, 2004),
•
VII 1-ой общероссийской научной конференции "Современная тогика проблемы теории,
истории и применения в науке" (Санкт-Петербург, 2004),
•
конференции "Automatic target recognition X V " в рачках между нарошого симпози)ма
"Defense and Security - 2005" (Orlando, 2005)
Публикации
По материалам дисссршцни опубтиковаио
10 псчашых работ, список которых
приведен в конце авюреферата
Структура и объем диссертации
Диссертация состоит из введения, пяти riae. зактючсния, дв\х приложений и списка
цитируемой титературы Она содержит 158 страниц машинописного тексга, 38 рисунков и 2
табтицы Список цитируемой жтсратуры содержит 129 наименований
КРАТКОЕ t ОДЕРЖАНИЕ РАБОТЫ
В о в в е д е н и и оГюсЕЮКг.гвается ак1\а1ьносм. ie\iF,i ш с с е р г а н и и , форм\ пнр\101ся нети
наччмая н о в н н м м практическая (начимосЛ) раоогы
н р и в о т я ю я по ю ж е н и я . в ь н ю с и м ы е на
iainHiN, а также кр.ттко ш татается со тержание p a i тс тов т и с с е р и н и н
В п е р в о й i.'iaBe тиесертаттии ттриве тетт об top слтттествмотттич еттособов ттрс тставтеттия
т1Я1бражст|И|"1 в i.i 1ача\ ттч аптоматнчеекото атта ти!а а также ч к а о т т ы метои.т соттостав тения
ттюбражснии
ба!Т1р\Т(>тц11еея тта каж том m чттомянч IT>T\ нре тстав ТСТТИЙ О б ю р вт,тттотттсн в
тте тя\ атта т т а ра) тттчтттач еттособов ттрс тставления и!ображении тта TTpeiMei и\ ттриметтимости
в
)а таче
автоматическото
соттоетав тсттия
а)рокос\1имсеки\
CTTHVIKOB
'Ута
!Л ы ч а
\арактерт>е1ея ттеобчо тнмосттао соттоставлсния т о б р а ж с н и й . тю т\чснтты\ ттри емттестнетто
раинчных
\с1овття\
CI.CMKH
с
раиюто
рак\рса.
нетто тт.!ова1Тие\т ееттсоров р а п и ч т т ы ч титтов
в
равное
время
В е в я ! и с ) т и м во!никаст
c_\iok
и
той.
с
проб тема вт>тбора
еттособа ттре тстав теттття тиображеттии. TIOSBO тятотттет о строитт, и \ описаттия, ит1варнатт1нт>те
\с ю в и я ч с ъ е м к и
В
тте тя\
ремтеттня
1Т1тера1\рттт,т\ ттсточтттткач
)Тотт
ттроб темт.т
ттроатта тишроват.т
данные,
имеютттнеся
в
ттоевятттстттн.те воттроеам автомагнчес1\ото aTi;tiM!a июбражеттии
)то TTOiBO ти то В1.ТЯВ1Т1Т. е те i>тощие гиттт>1 ттре тстав тений
•
т!И1к<провнет)1.1е ттре тстав тсттия. исттотьчутотние в качестве базовых т тсментов ттиксепи
с соответс1Т(М(1тт1ими им мтачениями иттгенсивттостей.
•
Т1ромеж>точт1т.тс снмво тт.ттыс ттре тстав тстнтя. вк 1т<1ма101Т1ие котттчрттт.те нретстав тения и
пре тстав теттття с ттомотттт.к) раз тичных стр\к'т\рт11.т\ и ти тсомсгрическич т тсметттов.
•
пре тсгав теттття оеттоваттпт.тс тта !ттаттня\. в ра\тка\ которт.тх ттроичволится семантическая
итперттрегания
сцеттт.т
с
ттатттачсттием
тр>пттам
пиксетей
на
июбражеттии
меток,
обознача10тт1и\ (||И!ическис объекты
Проветснттт.ш
аттаттт!
ноказат,
что
тти!ко\ровттевт.тс
мсто 1ьт
окам.тваклся нс'юстаиччтто хстойчивтами ттри еоттостав теттин изображеттий
соттоставтеттия
т/о т\ чсттттт.тх тз
paiTiTJC сенитта и ти при испо тт^юваиии сенсоров рапичттт.тч тнтюв Кот1Т\рные ттре тстав теттия
> юбтты
в
истю тт.зоваттии.
кот la
ттеоттретстенноеп,
во
виимтюм
ттросгра1тстт>сттном
преобраювании и ю б р а ж е н н й мата, тто ттточо ттричтетнтмт.т ттри ботьтттой неопрстс теттттости
параметров
нрсобразоваттия. ч^о
имеет
место
в стутас
а)рокосмическн\
тттображсний
М с т о ты. основат11тт,те тта мтаттиях, мотлт б ы т ь ттаибо тес робастттт.тмтт но они 1трименимт.т тнттл,
в
\ !ки\
1трелмет1тт.т\
рес\рсоемким
обтастяч.
Н святи с )ти\т
а
ттроттесс
ттриобретення
тттаттий
явтяется
краитте
таттнт.те м е т о т ы тте ттотчотят и ти яв тяются не тостаточтн.тхттт
т 1я ретнения постав тсттной !а.1ачи
Использование
аэрокосмических
представляется
контурных
изображений
наиболее
структурных
(в
элементов
особенности,
целесообразным
При
снимков
этом,
в
целях
сопоставления
антропогенной
однако,
местности)
структурные
методы
сопоставления оказываются недостаточно точными
Иерархические
представления
изображений
используются,
в
основном,
для
уменьшения требуемых вычислительных ресурсов и широко распространены в методах
согЕоставления изображсЕжй Иерархичность по уровням абстракции позволяет соединить
робастность структурных методов и точность низкоуровневых методов, однако, на данный
момент она недостаточно исследована
главе из
приведенного
обзора сделаны
привлечения
В
первой
иерархических
структурных
представлений
существовало
достаточно
разрабатывались
мато
таких
в целях достижения
представпспий,
инвариантности
выводы
На
и
о необходимости
момент
начала
преимущественно
по отношению к
работы
они
не
возможным
изменениям условий съемки а^рокосмических изображений Таким образом, сделан вывод о
необходимости разработки иерархического структурною представления, на базе которого
далее следует создать метод сопоставления
Во
второй
СЕруктурного
главе
автором
представления
решается
изображений,
проблема
пострс)ения
инвариантного
иерархического
условиям
съемки
В
разрабатываемом подходе к решению проблемы не прои (водится попытка описания класса
преобразований над изображениями, которые имеют место при измСЕгениях условий съемки,
и вывода ИЕЕвариантов для них Вместо )того строятся методы восстановления информации о
пространственной
организации
сцены
Для этого полагается, что сцена состоит
из
совокупности видимых поверхностей, каждая из которых обладает картой отражательной
способности отличной от карт других поверхностей, причем поверхности разделеЕЕЫ резкими
границами Далее поззЕается, что каждая карта отражазелыЕой способности может быть
описана некоторой функцией, состоящей из регулярной и случайной компонент
Тогда
для
выполнсЕЕия
первого
шша
по
восстановлению
пространственной
организации сцены, инвариантной условиям съемки, оказывается необходимым выявить
такие области на изображении и описать их такими случайными функциями, которые бы
соответствовали
видимым
поверхностям с их картами отражательных
способностей
Сзожносзь )той задачи заключается в том, что неизвестными являются как сами области, так
и фуЕЕкции, описывающие их содержаЕЕие При этом число обпастей и количество параметров
рсгу ЕярньЕх компонент функций может быть ГЕроизвольным Точность (или правдоподобие),
с
которой
совокупность
функций,
заданных
на
областях
изображения,
описывает
интенсивЕЕости точек изображения, будет тем выше, чем больше взято областей и чем с
большим
котичеством
параметров выбраны функции (при фиксированном
семействе
функций)
Разрешение подобных трудностей достижимо в рамках теоретико-информационного
подхода, в котором выводится принцип минимальной длины описания (МДО) Этот принцип
устанавливает, чго 1\Ч11]ая чолепь, построенная по некоторым данным наблюдения, является
компромиссом чс/к 1\ точностью, с которой модепь описывает данные, и ее сложностью
При этом, как точность модели, так и ее сложность в информационном подходе выражаются
через количество информации
В задаче разлетения изображения на (xiiacTH точшкть модели может быть оценена
через с\мч\ энтропии невязок, с которыми найденные фчнкции описывают интенсивности
пикселей, составляющих области июбражения, умноженных на соответствующее число
пикселей в каждой области
Это соответствует оценке сни5\ длины закодированного
метолом Хаффмана сообщения, в котором бы пcpeлaвaJтacь информация о невязках
С южность
МО тени
определяется
как
минимальная
длина
сообщения,
содержащею
информацию о потожении и форме областей на изображении, параметрах функций,
оиисываюпшх
содержание областей, и информацию о табтицах
перекодировки для
сообщения, описывающего невязки В результате автором строится целевая функция для
оценки качества разделения изображения на области
Да.1ее во второй главе разрабатывается алгоритм оптимизации этой целевой функции
IIocKOTbKv
перебор всех возможных вариантов разбиения изображения на области с
пос 1едуюшим их сравнением на основе целевой функции является крайне ресурсоемким,
претлагается а-тюритч ктсрсттвиого
\ченьшения лтины описания В качестве начального
прибтижения берется разбиение июбражения на прямоуютьники малых размеров Далее
осуществляется последовательное объединение соседних областей на основе критерия
чиничальной дпины описания В результате формируются области произвольной формы
Для каждой новой области, полученной в процессе объединения, строится регрессионная
чолеть, огшсываюшая
содержание этой области
Koi la не остается двух областей,
объединение коюрых приводит к уменьшению ,ътины описания, выполняется переход к
стсд\ющем\
шагу
итеративного процесса
Этот шаг
зактючается в последовате 1ьноч
перемещении отдетьных [шкссзей, находящихся на фаницах областей, между областями,
ее 1и
)го
привошт
оптимипшионный
к
процесс
уменьшению
длины
помимо ктассическою
описания
с жяния
Подобный
итеративный
областей также содержит
нсскотько кшотните м.ных ллпов. что приводит к ботее робастному вьпелению границ
cei ментов, чем в ip\ Р их с\ шествующих четодах cei мептаг1ии изображений
I ранним
повсрчносгсн
ri(iLip(icHHF.i\
ooiacicfi.
tx ш
они
coonierciBVior
|раннцам
нв 1ЯИЧСЯ иннари.ипнммм гг(1 oiHomcHHio к у(_ ю в и я м сьемки
ни 1ИМ1,1\
)|И
|ранииы
ip.ik |\ К)1ся как К(1Н1\ рм II Hi ючен и 1.1 с H I И »)6раАсимя О niako в \с ю в и я ч неонре le I C I H I U L I H
в ракчрсе с ь е м к и , HSICKIHICH место в ja 1ача\ COTIOCKIB юння а ф о к о с м и ч е с к н ч н«>бра/кснни
I 1я )ффек1ивнои1 исно н>!ования контуров требуется BI,IITO тнеттие и\ структурното оттисаттття
' ) г а задача также решается автором но второй т таве
И с \ о тя и) ттре ттто южеттия ч ю траттитты ви тимт.тч ттовсрхиосгей тточти TJCK> |\ т та тктт
ттроб тема
ттостроеттия
кот1т\рттт.т\
рамстеттия котиура тта сетметттт.т
структурнт.тч
)теметттов
трактуется
В качестве таких фратметттов кривых (алфавита структурнт.тч
(ирезки
ттрячыч
чго
титтий.
связано
туги о к р у ж н о с т и
с
и\
ттроб тема
каж II>IH И ! которт.тч оттист.нистся фрат метттом ттекоюрон
кривой
тторя тка,
как
и фратметттьт
иттвариатттттостьто
преобразований, яв тяюттжчся чарактерттычи
июбражений
Каждт>ти стрчкгурттт.ти
ттарамеграми
т тя всех
тто
)теме11тов) берчтся
ттрои)водт,тты\ кривт.тч
отттоптеттттто
к
трутитс
при смене рак\рса съемки а)рок-ос\п|чески\
) темсттт ч а р а к т с р н п е т с я ря том ттараметров
ттттюв стру кт\ртт1,1\
второто
аф(|)1тн1Т1.1\
Обтттттмтт
ттеметттов явтятотся коор титтатти иетттра, \тот
ориетттаттии и размсрт.т
Посгроеттие
стр\ ктурттт.тч
)|е\тентов
тта
осттовс
koTTTspoB
окаи,твас1ся
ттод1тт>тм
анаютоут затачи ралсчсттия н ю б р а ж с н и я тта об тасги ',а иск тючеттием ю т о факта ч ю 1терт!ая
(атача яв тяется о нтомсртюи. а вторая
тву черной
В и т тте тевои фмткттни и атторитм сс
оптимизации тточожи л тя обеих за тач тто)точу во второй т таве ттофобтюто и\ оннсаттия i тя
задачи построеттия структурттт.тч )1емстт10в тте ттрит»мн1ся
критерия
качества структурттото оттисаттия котттура
Ьтатодаря ттостросттито строт(Ч о
в работе у тается коррскттто ретттитт,
ттробтему выбора ч и с т а и титтов стр\ктурт11,т\ (тементов оттис1.тт!ак)тци\ таттныи котттур
привотит к более робастиым iTpoueiypaM ттостроения структурттыч >теметттов, чем
')то
1р\тие
с у щ е с т в у ю щ и е методы, как правито, оттираютциеся на раз тичпыс эвристики
В резупьтате поспеловате тьной рабог1>т алгоритма разде тсттия изображеттия на об тастн
и а л ю р и т ч а описания гранитт обтастси как сотюкуттттосги с е т ч е п ю в строится стрчктурттое
оттисанис
изображения
у с товияч съемки
разные
сезотгт,т
Н а рис
'>ти
оттисания
окавыван1гся
итттзариангттыми
тто отттотттеиию
1 приведен пример двух описаний изображений
Изображения
обзадают
существеттнычи
разчичиячи,
к
потученньтх в
чнотие
leiain
ттрисутствуютттие на в т о р о ч изображении, отсутствуют на ттервоч изображеттии, чго краитте
остожняет о шнаковое раздетеиис изображений тта обчасти
1ем тте меттее, ря i областей, а
т а к ж е с т р у к т у р н ы х )лементов, пос1роеннт,тх на основе их граттитт совтта тает
1'ис I I'eiv H>raibi
cip>ki>pHoio описания
а)рокосмичсски\ июбраАспии,
гго 1ученны\ в разные се юны а)
и б) исходные изображения,
в) и I ) и\ сгр>кг\р11ые
описания, i) и е) - примеры
ш>\ пар обтасгей,
совпадающих на изображениях
и имеющих структурные
описания [ранин, на основе
коюрых выподняется
робастпое сопоставзения
В
третьей
|лаве
автором
решается
задача
построения
робастного
метода
сопостав 1ення (ото>клес1в 1ения итенгичных з течснтов) аэрокосмических изображений,
мопчспных с разных ракхрсов, возможно, в разное время гота иди с испозьзованием
сенсоров раз нзчных т п о в
При лом потаыется. что пространственное преобразование
сопос[ав гяемых изображений до 1жно восчанавтиваться в явном виде То есть пробтема
сопосгав тения, нти
решается
нахож тения соответствующих
совмссттто
с
проб темой
)лементов
совчентения,
и.ти
на двух изображениях,
нахождения
[тростраттсгвенттото ттреобразования изображений
При таком тто тхотс вт.тде тякиея три компонеттты метода сопоставдения
•
тип сопостав тяемых этеменюв изображений.
к тасс югтусгимых пространственных ттреооразоваттии,
- II -
взаимною
•
стратегия поиска, сосюяЕная н) иетевой функции, определяющей качество
решения, и оптичизанионного алюритма
Далее рассма1ривас1ся
в1.|бор нервыч двух
компонент
и разработка
третьей
компоненты
Тип сопостоя1яе\1ы\ }ic\iciimoe изоСнктсошй
Разрабатываемый чето i сопосгав 1сния июбражений опирается на иерархическое
структурное преясгавтсние, нреддоженнос во второй i таве
подразумевает
выполнение
робастною
анатиза
с
Многоуровневый подход
испо н.зованием
верхних
уровней
представления и послсдовагетьнос \ юмнемне ею pciy 1ьгатов на нижних уровнях Задача
структурного сопоставлемня также раз те leiia на две ползадачи
тюлучение робастного
сопоставления изображений на основе контурных структурных злементов и ею у гочнение на
пиксельном уровне В третьей главе рсн1ае1ся Т1срвая тюдзадача, в то время как в четвертой
главе разрабатывается метол локальной корретяции хтя решения второй подзадачи. Итак,
задача сопоставления двух изображений рассматривается как задача поиска соответствия
между их структурными элементами
Тип ejgu много пространственного преобразования
Пространственные преобразования аэрокосмических изображений в общем случае
относятся
к
проективным
преобразованиям,
возможно,
дополненным
локальными
смещениями, вызванными тем, что ландшафт снимков не является плоским
проективные
искажения
характерны
лишь
изображений,
авиационных систем наблюдения, имеющих низкую высоту
полученных
с
Сильные
помощью
и производящих съемку
местности под большим упюм Для изображений, по.лученных со спутниковых систем,
взаи.мное проективное преобразование вырождается в аффинное преобразование
Ото
преобразование и выбирается для испольювания в разрабатываемом автором методе
структурного сопоставления Возможные отклонения от аффинной модели полагаются не
слишком
большими
и
вызывают
неточности
сопоставления,
которые
должны
компенсироваться на пиксельном уровне меюдом, разрабатываемым в четвертой главе
Стратегия поиска
Поиск лучшего сопоставления изображений автор предлагает осуществлять путем
перебора различных способов установления соответствия между структурными элечетггами
двух изображений
Под гиттотезой с1)П0ставления понимается указание для
каждою
структурного элемента первого изображения предположительно соответствующего ему
элемента
второго изображения либо указание отсутствия
такого соответствия
Под
частичной гипотезой понимается указание соответствий для некоторых элементов, а тля
остальных элементов соответствие счи гается неопределенным
12
Для каждой гипотезы сопоставления, которая определяет соответствия между не
менее чем тремя парами структурных элементов, может быть рассчитано аффинное
преобразование, с наименьшей ошибкой отображающие центры структурных элементов с
одного изображения
сопоставления
на другое
может
преобразование
быть
Структурные
преобразованием
на
второе
Таким образом, после выбора некоторой гипотезы
определено
элементы
соответствующее
одного
изображение,
ей
изображения
после
чего
пространственное
отображаются
параметры
этим
поставленных
в
соответствие структурных )чементов могут быть сравнены для того, чтобы определить
качество сопосгавления
Помимо расстояния между центрами структурных элементов в
формировании критерия качества участвуют различия в длинах этементов и их ориентацииQ^N-w„\D-M\M-H\M.
(I)
где N ~ котичество структурных этементов, ,аля которых установлены соответствия, ДО с>ммарная ошибка в положении. Д4 - суммарная ошибка в азимуте ориентации, Д1 суммарная ошибка в хшнс элементов,
VI;,,UJ,M,
различные
(I)
ошибки
Значение
критерия
- веса, с которыми учитываются
пропорционально
числу
сопоставленных
злсменюв, но добавление произвольного сопоставления в гипотезу приводит к увеличению
оитибок, которые могут перевесить выигрыш от увеличения количества сопоставленных
элементов. Таким образом, ищется компромисс между числом сопоставленных элементов и
ошибками этого сопоставления, определяющимися тем, насколько хорошо соответствуют
j p y r другу сопоставленные пары структурных элементов.
После введения критерия качества гипотез!.! сопоставления автором разрабатывается
алюритм поиска лучшей гипотезы с точки зрения оптимизации этого критерия Поскольку
перебор
всех
разрабатываемый
возможных
гипотез
алгоритм
включает
сопоставления
ряд
эвристик
является
поиска,
NP-полной
задачей,
позволяющих
получать
приближенное решение за полиномиальное время
Первой
сопоставления
эвристикой
является
некоторых
неперспективных
гипотез
установление
структурных
сопоставления
элементов
офаничений
друг
Запрещаются
f
с
на
другом
сопоставления
возможность
и
отсечение
разнотипных
элементов, а также элементов с большими отличиями в длине. Отсечение неперспективных
[ипотез осуществляется на основе анализа частичных гипотез сопоставления Для каждой
частичной гипотезы, включающей не менее трех соответствий, может быть определено
значение
критерия
качества
Если добавление
некоторого соответствия
приводит к
заметному ухудшеттию значения критерия качества, то такое расширение частичной
1 ипотезы не рассматривается
Вюрои
)ври1.1нм>й яв 1яется использование иерархической
(екомпоитии
ы мчи
согюстав тения которая выпотняется слелуюшим образом Псе стр\м>рт.1е )ieMeim.i на
каждом И! ии)бр,1жений разбиваются на группы по их припал тежности обмстям па
изображении, по1\чснным в хоте сегчентапии Да-чес рассматриваются го 1ько гипотоы.
Включающие
\сганов 1снные
соответствия
между
стрхмхрттымн
)тсме11тач11
припал тсжатпими тон.ко какой-то ттаре 1р>ттп. а не не тьт\т икн^раженияч
С"гр\кт\рное
сопоставлеттие каждой трчптты первого изображения и каждой груттпы второго изображения
выпо тняется ноависичо
Датес
гр\ттпьт рассматриваются
как структурные
)1смсмты
слел>ютцет о уровня, и атя них выполняется сопоставление
Помимо вьттю тттеттия сопоставления на ботее высоком уровне грутт стр\кт\р1тт,1х
элеметттов, сопоставлеттие также ос\1Т(ествпяется и на более низком, контурном, уровтте, что
позволяет более точтто оценивать сходство сопоставтенных хтеметттов Для зтого i тя каждой
гитютоы сопостав тения производится отображение ччастков конгуров. на основе которых
были получетты структурные лементы, на второе изображение и сравнение этих контуров с
котттурами, яв тятощимися
основой
стр}кт\рных
«темснтов
второго
изображения
В
резу тьтате осуптествтястся сопасование \частков сопоставтентттих котттуров, что приводит к
изменению траниц структурных леменюв, разбиению ити счиянию сегментов контура,
сопровождающихся создаттием новых ити )ла.1ением старых }темен1ов Таким образом,
осуществляется адаптивная (зависящая ог тскутттсй гипотезы сопоставления) коррекция
структурных описаттий, что приводит к бо тсе точной оценке качества С01т(ктавтения
Для уменьшения отпибок сопоставления также выполняется адаптивная коррекция
групп структурных элеметттов Для каждой рассматриваемой гиттотезы сопоставления TBSX
фупп
определяется
область, которую
занимает
группа
первого
изображения
ткле
отображения на второе изображение, и вторая труппа лоно тняется этеметттами, поттавшими в
зту область После этого гекутцая гиттотеза сопостав тения рассчагриваегся как частичная
гипотеза, которая может быть дополнена соответствиями, установтенными
т тя вновь
включенных элементов
В
итоге
автором
форму тир\ется
алгоритм
иерархическою
сгр>кт\рного
сопоставления с использованием обратгтьтх связей между уровнями
Затем
в
разработанного
третьей
главе
алгоритма,
приводятся
воптонтенного
резутьтаты
в
виле
экст1сриметтта.1Ы10й
компьютерной
ттроверки
ттротрлммт.т
Эксперичентатьная проверка осунтествпяегся на выборке из 320 пар а>рокосмичсских
изображений, покрываютттей различные типы изменчивости и типы местности В члстттости
выборка вктючала пары изображений, ттолучеттных в разное время года, с испо тт.юванием
сенсоров разтичных типов (видимого и инфракрасного зиапазоттов. ратиоюкационных). а
- 14
также нары, в которых одно из изображений явчяется цифровой каргой высот или картой
местности (см рис 2 и 3) Сопоставление считалось правильным, если идентичные )лементы
лв.\\ изображений совмешались на ею основе с ошибкой, меньшей, чем 10% от размера
июбражений Идентичные элементы изображений и величина ошибки совмещения в ходе
зкспериментальной проверки устанавливались человеком-экспертом
Поскольку
вероятность правильного сопоставления непосредственно зависит от
состава тестовой выборки, вероятность правильного сопоставтения структурным методом
сравнивается с вероятностью правильного сопоставления методом Фурье-Меллина на той же
выборке изображений
Рез\ тьтаты сравнения приведены в таблице 1. Эти результаты
показывают высокую робастность разработанного метода структурного сопоставления
Табтица 1. Сравнительное тестирование разработанного метода структурного
сопоставления и метода Фурье-Меллина на одной выборке изображений.
Вероятность правильного сопоставления
Сопоставляемые
Метод структурного
Метод Фурье-Меллина
изображения
сопоставления
Пара оптических
96%
28%
изображений
Изображения, полученные
62%
8%
сенсорами разных типов
Все изображения
84%
21%
Далее оценивается стожность алгоритма и экспериментально доказывается, что она
явпяегся но.тиномиальной относительно числа структурных эпементов на изображении
Рис 2 Результат совмещения
изображений, представленных на
рис 1, после стр\К1\рно10
сопоставления Поскотьку тощадь
перекрытия изображений
значительна, совмещенные
изображения прс1С1автень] в виде
мозаики
На
основе
сопоставления
и
рез\ 1Ьгатов
инвариантность
тестирования
обосновывается
разработанного
стр\кг\рно1о ггредсгавтения хсювиям съемки
во
второй
робастность
главе
метода
иерархическою
Возможность робастного сопоставления
изображений неизвестною априори типа местности, полученных в разное время года или с
помощью сенсоров различных типов. пока!ывает преимуп(ество разработанною метода
перед лру|ими существующими методами сопостав'1ения аэрокосмических изображений
■■ЖЕгадр-тл
-к '^
^SSK^^^-^r*- '*■
щЩ\ \
ЬнК.
■ ■'«
'Ш'"'-'- \
"^i^J
Рис 3 Результат
структурного совмещения
(в)радиолокационного
изображения (а) и цифровой
карты высот (б)
В четвертой главе автором рещается проблема получения точного совмещения
аэрокосмических изображений на основе резупьтатов структурного сопоставления путем их
улучшения
на
пиксельном
уровне
В
качестве
допустимого
пространственного
преобразования изображений рассматривается проективное преобразование, дополненное
полем локальных сдвигов
структурном
Выпознение такого улучшения необходимо, так как при
сопоставлении
преобразования
использовалась
аффинная
модель
пространственного
Кроме расширения класса допустимых глобальных пространственных
преобразований, необходима также дополнительная локальная коррекция результатов
совмещения для компенсации возможных аберраций оптики, взаимных смещений между
точками изображений, вызванных холмистостью местности и т д
Возможные
сезонно-су точные
различия
между
изображениями
вызывают,
в
частности, локальную смену знака контраста, что делает глобальные корреляционные
методы
неприменимыми
Построение
проективных
инвариантов
затруднительно,
а
возможное присутствие поля локальных смещений, выражающихся в непараметрической
форме, делает построение инвариантов и вовсе невозможным, равно как и поиск в
пространстве пространственных преобразований
в
свя)и с )тим, в разрабатываемом в четвертой i шве методе определяются не
параметры прострапствеююго [|реобра!овапия, а положение опорных точек, из когорого уже
изв гекаекя информация о преобразовании
Опредс1ение потожения опорных точек осуществтяется через сравнение локальных
фрагментов Поско тькл июбражения являются прелваритепьно сОвмстенными, то фрагмент.
ВЗЯ1ЫЙ вокр)! некоторой точки одного изображения, будет примерно соответствовать
фра1 менту, взятому вокруг точки с теми же координатами другого изображения Далее
смен1ения между этими фрагментами могут быть уточнены корреляционно
Для этого
применяется фазовая корретяния Поиск максимума мотутя кросскорреляпионного поля
позволяет опреде 1ять с шиги между фрагментами, яркости которых преобразованы тинейно
ipyi относительно ipyia, что включаег также и возможную токатьную инверсию знака
кон траста
Посте установтения возможности определения точного соответствия между точками
и!обраАепий в чегвертой паве автором ра)рабатывается а,1Г0ритм токальной корреляции,
позвотяюший формировать новые опорные точки, равномерно покрывающие изображения
')то1 алгоритм
вктючает
использование
нескольких тополнительных гтриемов.
позвотяюших повысить его точность и робасгность Среди них можно назвать
•
эксграгюпянию измеренных положений опорных точек на новые точки.
•
использование подхода с переменным разрешением для больших изображений.
•
выпо пгспие нескогьких итераций алгоритма, на каждой из .которых у lyчитается
репгение. по гученное на предыдупгей итерации,
•
фип>1рацию просфапсгвеппых спектров сопостав тяечых фрагментов, летающую
фазовуто корреляцию менее чувствите.тьной к некомпеттсированным геометрических
искажениям изображений (аналитические выражения дня фильтра выводятся в
ттритожении Ь)
П совокуттности эти приемы тталеляют метод токальной корреляции слелуютцими
ттреимутцествамн
тто сравнению с другими сутествуюшими
методами сопоставления
а»рокосчических июоражений менее строгими отраничениями на титт ттростраттственного
преобразоваттия. возможттостью совмещения изображений, полученных в ражьте сезоны ити
с ттомоитьто сенсоров рапичттьтх типов, высокой точттостью совметцеттия Общая схема
л поритча ттривететта тта рис 5
Датсс осмттсств 1ЯСТСЯ эксттеричеттта.тьная ттроиерка метода токальттой корре тяттпи.
которая устанав швает ВОЗУТОЖНОСТЬ комттенсировать )тим методом отпибки соттосгавлеттия
с.трум\рно1о
метота. лоститаютцие
10% ратмера итображсттия
Достигаемая
точность
совмещения зависит от типов изображений В среднем характерные ошибки совмещения не
превышают двух пикселей
считывание пар опорных точек, найденных с помощью структурного классификатора
построение сети опорных точек, равномерно распределенных по первому изображению
К=1
ZJE:
выбор разрешения изображения и пересчет положения опорных точек
нахождение глобального проективного преобразования по совокупности сопоставленных
пар опорных точек
вычисление локальной корреляции для опорных точек, для которых известны
соответствия на паре изображений (уточнение коорд|шат опорных точек)
маркировка точек, для которых локальная корреляция была удачной, как точек с
измеренными смещениями
ajt.
есть ли точки с неизмеренными смешениями рядом с измеренными то<1ками^
экстраполяция смещений от опорных точек с измеренными смещениями на соседние
опорные точки и приписывание им соответствия с точками второго изображения
все точки помечаются как точки с неизмеренными смешениями
K<N,„''
К=К.+1
Рис. 5. Схема алгоритма локальной корреляции К - номер текущей итерации, N.^r общее число итераций
Достижение
робастностью
такой
точности
метода структурного
методом
локальной
корреляции
сопоставления делают
объединение
совместно
этих
с
методов
мощным инструментом для решения ряда практических задач анализа изображений Далее в
четвертой главе кратко описываются те практические приложения, при решении которых эти
методы были использованы
Синтез
панорамных
снимков
Разработанные методы б ы л и применены для автоматического синтеза панорамных
снимков, ч т о является распространенным приложением методов сопоставления, т р е б у ю щ и м
высокой точности совмещения
-18-
Roctmaiioe wmie т1ф(>р\1и\1т1. \mpa4eiiiiou к lameiiciiiihn » тгорржечньп
обюстях
и юбрижений
При формировании лв\ мерных а)рокосмически\ снимков может происходить потеря
информа[1ии вспелсгвие ытснения и 5акрывания высокими объектами участков местности,
находящимися sa ними Воссгановтсние \траченной информации может быть выполнено на
основе 1ОЧН0 совметенных снимков одного 1андшаф[а. гго1>ченных с разных ракурсов (см
рис^б) Совмещение выно шя юсь разработанными методами сопоставтсния
Рис 6 а) и б) - совмещенные разработанными методами радиолокационные
и!ображения, снятые с раз1н.1Х ракурсов и содержащие затененные области, в) ~
рсзу 1ьтат слияния двух изображений с устранением затененных участков Все
изображения уменьшены в 4 раза
Выяв1ение тменекиЛ
Задача выявтсния
изменений, произо1пелших на ландшафте, по его снимкам,
иотучснным в разное время, является ктючевой дтя экономического и экологического
мони1ори1на Земли H J космоса, например, в целях определения ущерба от стихийных
бедствий или для обнаружения случаев несанкционированного строительства или вырубки
песа Необходимой основой для корректного выявления изменений является высокоточное
совмещение изображе1ШЙ Разработанные методы сопоставления были успешно применены
в задаче выявления изменений.
Геокодироваиие
Геокодирование заключается в привязке элементов изображения к географическим
координатам точек местности, запечатленной на изображении Точки привязки находятся
посредством
посгроения структурных
описаний
изображений
Разработанные
методы
сопостав.1ения июбражсний применены д.1Я [lepenoca рсзутьтатов привязки с одного
изображения на .ipyroe изображение той же местности При этом изображения могут быть
получены с помощью сенсоров pajjinnHbix типов
V
Выведенные аналитические выражения для шумов кросскорреляционного поля,
возникающих
в
результате
взаимных
геометрических
искажений
фрагментов
изображений, применены для построения фильтра пространственных частот в методе
локальной корреляции, что позволило повысить допустимые исходные ошибки по
масштабу с 2%-5% до 10%-15%
VI
Разработанные методы применены в задачах геокодирования, синтеза панорамных
снимков, извлечения изображений из баз данных, выявления изменений в целях
экологического и экономического мониторинга и др.
Основные результаты диссертации опубликованы в следующих работах:
1. Lutsiv V R , Malyshev 1 А , Pepelka V , Potapov A.S
Target independent algorithms for
description and structural matching of aerospace photographs // Proc SPIE, 2002, Vol. 474),
pp. 351-362.
2. Lutsiv V , Malyshev I , Potapov A Hierarchical structural matching algorithms for registration
ofaerospace images//Proc SPIE, 2003, Vol. 5238, pp. 164-175
3. Potapov
AS,
Lutsiv
VR
Information-theoretic
approach to image description and
interpretation // Proc SPIE, 2003, Vol. 5400, pp 277-283
4. rioranoB A С , М л ы ш е в И A , Луцив В Р Совмещение а)рокосчичсских июбражений с
субпикселыюй точностью метолом локальной корреляции // Оптический журнал, 2004, т.
71, № 5 , с. 31-36.
5. Потапов
АС
В шяние
взаимных
геометрических
искажений
изображений
на
возможность их пространственного совмещения метолом локальной корреляции //
Оптический журнал, 2004, т. 71, № 8, с 74-80
6
Potapov А S Image matching with the use ot the minimum description length approach // Proc
SP1F,2004, Vol. 5426. pp 164-175
7. Potapov A S . Gamayunova O S
Information criterion for constructing the hierarchical
structural representations of images /' Proc SPIE, 2005, Vol. 5807, pp 443-454
8. Lutsiv V , Potapov A , No\ikova 1 . 1 apma N Hierarchical 3D structural matching in the
aerospace photographs and indoor scenes'/Proc SPIE, 2005, Vol 5807, pp 455-466
9
AS
PotapoN V R
l u c n , I A Malyshev Sub-pixel precise image anaKsis m the industrial
епмгоптсш ' Proc SPIE 2004, Vol. 5831. pp 199-203
ЮПомпов
AC
Принцип
минима 1Ы1ой .ыины
описания
и сравнение
1ипотсз
/
Современная 101ика проб icvibi теории, истории и применения в науке Ма1ериа.1ы V1I1
Обшеросснискои нахчнои конференции. С анк1-Петербург, 2004, с 409-412
&
IH6996
РНБ Русский фонд
2006-4
19587
']
/,
Документ
Категория
Без категории
Просмотров
0
Размер файла
833 Кб
Теги
bd000100175
1/--страниц
Пожаловаться на содержимое документа