close

Вход

Забыли?

вход по аккаунту

?

Презентация ()

код для вставкиСкачать
Модели с неявной и
дискретной геометрией
Алексей Игнатенко
Лекция 6
16 ноября 2006
На прошлой лекции
Пленоптик-функция задает излучение во всех
возможных направлениях
Задача моделирования – эффективно
представить пленоптик-функцию
Спектр методов: от набора изображений до
полной геометрии
Методы на основе интерполяции изображений:
Панорамы
Мозаики
Световые поля
Склейки
«Море изображений»
16 ноября 2006
Основы синтеза изображений
2
На лекции
Представления с неявной геометрией
Представления с дискретной геометрией
16 ноября 2006
Основы синтеза изображений
3
Спектр моделей
Изображения
Только
изображения
Световые
поля,
Люмиграф
16 ноября 2006
Геометрия
Изображения +
частичная
геометрия
Изобр. с
глубиной
Многосл.
изобр. с
глубиной
Полная геометрия
Камерозависимая
геометрия,
камерозависимая
текстура
Камерозависимая
геометрия,
фиксир.
текстура
Основы синтеза изображений
Фиксир.
геометрия,
камерозависимая
текстура
4
На прошлой лекции: модели
использующие только изображения
Изображения
Только
изображения
Световые
поля,
Люмиграф
16 ноября 2006
Геометрия
Изображения +
частичная
геометрия
Изобр. с
глубиной
Многосл.
изобр. с
глубиной
Полная геометрия
Камерозависимая
геометрия,
камерозависимая
текстура
Основы синтеза изображений
Камерозависимая
геометрия,
фиксир.
текстура
Фиксир.
геометрия,
камерозависимая
текстура
5
Сегодня: изображения + доп.
информация
Изображения
Только
изображения
Световые
поля,
Люмиграф
16 ноября 2006
Геометрия
Изображения +
частичная
геометрия
Изобр. с
глубиной
Многосл.
изобр. с
глубиной
Полная геометрия
Камерозависимая
геометрия,
камерозависимая
текстура
Основы синтеза изображений
Камерозависимая
геометрия,
фиксир.
текстура
Фиксир.
геометрия,
камерозависимая
текстура
6
Проблемы подходов на основе
интерполяции изображений
Высокие требования к количеству
исходных фотографий (изображений)
Сложность получения
Большой объем данных
Статичность
Нет анимации
Нельзя менять положение источников света
16 ноября 2006
Основы синтеза изображений
7
Как можно уменьшить необходимое
количество фотографий?
Для чего нужно много фотографий?
Для плавной интерполяции
Параллакс
Блики
Можно взять меньше фотографий, но
добиться того же эффекта за счет:
Более «умной» интерполяции
Использования дополнительных данных о
содержании изображений
16 ноября 2006
Основы синтеза изображений
8
Представления с неявной
геометрией
Небольшое число исходных
изображений
Использование дополнительной
информацию о соответствиях
(matches) пикселей на различных
изображениях
Неявная геометрия
3D положения точек не
восстанавливаются
целевое изображение
реконструируется с помощью
манипуляции с соответствиями на
изображениях
Подход позволяет увеличить
дистанцию между
изображениями
16 ноября 2006
Основы синтеза изображений
9
Интерполяция вида
(view interpolation)
1994г
Один из первых подходов
на основе «умной»
интерполяции
Основан на реконструкции
плотного оптического
потока между соседними
изображениями
Далее - интерполяция
16 ноября 2006
Основы синтеза изображений
10
Интерполяция вида: алгоритм
синтеза
1. Реконструируется оптический поток
Методы машинного зрения
2. Для заданного положения наблюдателя
репроецируются оба исходных изображения
3. Для заливания дырок используется
интерполяция
16 ноября 2006
Основы синтеза изображений
11
Интерполяция вида: алгоритм
синтеза 2
Одно
изображение
16 ноября 2006
Два
изображения
Два
изображения
(исходные
камеры ближе)
Основы синтеза изображений
Два
изображения с
интерполяцией
12
Интерполяция вида: результаты
Найдите десять отличий Синтез
Интерполяция
16 ноября 2006
Основы синтеза изображений
13
Интерполяция вида: свойства
Небольшое число фотографий
Нет предположений о геометрии,
материалах
Высокая скорость экранизации
Необходимо вычисление плотного
стерео (диспаритета для каждой точки)
Как следствие, изображения
расположены достаточно часто
Расстояние не более одного метра
16 ноября 2006
Основы синтеза изображений
14
Видовой морфинг
(view morphing)
Метод похож на интерполяцию вида
Но не требуется реконструкции плотного стерео
Ограничение: движение только между центрами
проекций изображений
16 ноября 2006
Основы синтеза изображений
15
Видовой морфинг: алгоритм синтеза
1. Регистрация двух изображений
2. Ректификация изображений
3. Стандартный морфинг вдоль строк (на
основе особенностей)
Эпиполярные линии горизонтальны
Левое и правое – в центр
4. Де-ректификация изображений
5. Смешивание изображений
16 ноября 2006
Основы синтеза изображений
16
Видовой морфинг: морфинг
параллельных видов
Морфинг вдоль
горизонтальных линий
16 ноября 2006
Основы синтеза изображений
17
Видовой морфинг: морфинг
произвольных видов
ректификация
16 ноября 2006
Основы синтеза изображений
18
Видовой морфинг: примеры
16 ноября 2006
Основы синтеза изображений
19
Видовой морфинг: примеры 2
16 ноября 2006
Основы синтеза изображений
20
Видовой морфинг: сравнение с
обычным
16 ноября 2006
Основы синтеза изображений
21
Видовой морфинг: свойства
Небольшое число фотографий
Нет предположений о геометрии,
материалах
Не требуется оптический поток
Ограниченная область применения
16 ноября 2006
Основы синтеза изображений
22
Пленоптик-моделирование
(plenoptic modeling)
Идея метода
Восстановление оптического потока между
двумя цилиндрическими панорамами и
интерполяция между ними
16 ноября 2006
Основы синтеза изображений
23
Пленоптик-моделирование: алгоритм
получения и синтеза
Создание панорамных изображений из
набора фотографий
Регистрация
Полуавтоматическая
Вычисление плотного стерео
Реконструкция панорамного изображения
для заданного положения наблюдателя
16 ноября 2006
Основы синтеза изображений
24
Пленоптик-моделирование: пример
16 ноября 2006
Основы синтеза изображений
25
Пленоптик-моделирование: свойства
Небольшое число фотографий
Нет предположений о геометрии, материалах
Высокая скорость экранизации
Необходимо вычисление плотного стерео
(диспаритета для каждой точки)
Как следствие, панорамы расположены
достаточно часто
Расстояние не более одного метра
Наилучшие результаты при движении по
линии, соединяющии центры проекций панорам
16 ноября 2006
Основы синтеза изображений
26
Модели с дискретной геометрией
Модели содержат явную 3D
информацию в дискретной
форме
Обычно: глубина каждого
пикселя изображения вдоль
направления взгляда.
Такие представления не
содержат информации о том,
как достраивать значения до
поверхности
В отличие от граничных
полигональных
представлений, например
Полигональные
представления не попадают
в этот класс
16 ноября 2006
Основы синтеза изображений
27
Модели с дискретной геометрией:
карты глубины
Каждой точке сопоставлено расстояние до
объекта
Известна калибровка камеры
Часто результат работы лазерных сканеров
16 ноября 2006
Основы синтеза изображений
28
Деформация карт глубины
Точка поверхности
объекта
Исходное изображение
Целевое изображение
Возможно построить целевое изображение без
реконструкции трехмерных точек!
16 ноября 2006
Основы синтеза изображений
29
Деформация карт глубины:
алгоритмы синтеза
Прямая деформация
Обходим точки исходного, получаем
координаты в целевом
Обратная деформация
Обходим точки в целевом, получаем
координаты в исходном
16 ноября 2006
Основы синтеза изображений
30
Алгоритмы синтеза: прямая
деформация
Исходное
Быстро!
Проблемы дискретизация и реконструкции
16 ноября 2006
Целевое
Сплаттинг
Основы синтеза изображений
31
Алгоритмы синтеза: обратная
деформация
Исходное
Целевое
Проблема реконструкции заменяется на
проблему сэмплирования
16 ноября 2006
Медленно, фактически трассировка лучей
Основы синтеза изображений
32
Деформация карт глубины: свойства
Небольшое число изображений с глубиной
Возможна аппаратная поддержка
Сейчас уже есть реализации на шейдерах
Сложность получение карт глубины
В несколько раз (или даже в несколько десяткой раз!)
меньше, чем просто изображения для интерполяции
Опять может потребоваться CV
Обычно только ламбертовы поверхности
Хотя есть методы, позволяющие использовать модели
освещения
16 ноября 2006
Основы синтеза изображений
33
Многослойные карты глубины
(Layered Depth Images)
Одно «изображение»
позволяет хранить полную
информацию об объекте
Трехмерная структура
данных
собой прямоугольная
матрица
каждый элемент – список
точек
Каждая точка содержит
глубину и атрибуты
16 ноября 2006
в простейшем случае –
цвет
Основы синтеза изображений
34
Многослойные карты глубины:
методы синтеза
Модифицированный алгоритм
деформации
16 ноября 2006
Основы синтеза изображений
35
Деревья многослойных карт глубины
(LDI Trees)
Вместо одного LDI формируется восьмеричное дерево
В каждом узле которого находится свой LDI и ссылки на
другие узлы
В них находится LDI меньшего размера (в единицах сцены),
но того же разрешения.
Каждый LDI в дереве содержит информацию только о той
части сцены, которая содержится в его ограничивающем
параллелепипеде.
Ограничивающие параллелепипеды узлов следующего
уровня дерева получаются дроблением ограничивающего
параллелепипеда текущего уровня на восемь равных частей.
16 ноября 2006
Основы синтеза изображений
36
Итоги
Методы на основе изображений с неявной геометрией
позволяют понизить требования к количеству исходных
изображений
Но требуются сложные алгоритмы машинного зрения для
поиска соответствий
Сужение области применения
Методы на основе дискретной геометрии
Обычно используется для работы с данными трехмерных
сканеров или результатов работы алгоритмов машинного
зрения
Нужно еще меньше фотографий
Сложности с получением (карты глубины)
Ограничения на модель тонирования
16 ноября 2006
Основы синтеза изображений
37
Документ
Категория
Презентации
Просмотров
17
Размер файла
2 532 Кб
Теги
1/--страниц
Пожаловаться на содержимое документа