close

Вход

Забыли?

вход по аккаунту

?

Nikitin 0166F791DF

код для вставкиСкачать
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное
образовательное учреждение высшего образования
САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
АЭРОКОСМИЧЕСКОГО ПРИБОРОСТРОЕНИЯ
КУЛЬТУРНОЕ НАСЛЕДИЕ
В РЕАЛЬНО-ВИРТУАЛЬНОМ
КОНТИНУУМЕ
Лабораторный практикум
Санкт-Петербург
2016
УДК 004.946
ББК 32.81
Н62
Рецензенты:
кандидат технических наук, доцент В. И. Исаков
Утверждено
редакционно-издательским советом университета
в качестве лабораторного практикума
Никитин А. А.
Н62
Культурное наследие в реально-виртуальном континууме: лабораторный практикум / А. А. Никитин, А. В. Никитин, А. А. Никитина,
Н. Н. Решетникова. – СПб.: ГУАП, 2016. – 78 с.
Рассмотрены разработанные в лаборатории компьютерной графики и виртуальной реальности ГУАП программные комплексы,
поддерживающие различные реальности (реальная, дополненная,
виртуальная), в которых посетитель взаимодействует с объектами
материального и нематериального культурного наследия, в том числе
в рамках музея.
Предназначен для студентов направления 09.04.01 «Информатика
и вычислительная техника», изучающих дисциплины магистерской
программы «Системы мультимедиа и компьютерная графика».
УДК 004.946
ББК 32.81
© Санкт-Петербургский государственный
университет аэрокосмического
приборостроения, 2016
ВВЕДЕНИЕ
Для сохранения и презентации материального и нематериального культурного наследия (КН), в т.ч. в рамках музея широко используются информационные и коммуникационные технологии
(ИКТ).
В последнее время за рубежом и в России активно обсуждают такие понятия, как «виртуальный музей», «виртуальный спектакль»
и ряд других [1,2]. В документе «Стратегия государственной культурной политики на период до 2030 года» [3] отмечается, что культурная инфраструктура к 2030 году «позволит организовать виртуальные театральные площадки, виртуальные концертные залы
и виртуальные музеи во всех субъектах Российской Федерации».
Однако, в профессиональных дискуссиях часто идет противопоставление реального и виртуального музея, реального и виртуального спектакля, что связано, на наш взгляд, с отсутствием системного подхода к автоматизации решения задач сохранения и презентации объектов КН.
Для описания различных реальностей, в которых посетитель
взаимодействует на основе ИКТ с объектами культурного наследия, полезно использовать концепцию «реально-виртуального
континуума» [4], которая описывает существование непрерывной
шкалы в диапазоне от полностью виртуальной до полностью реальной среды. Этот континуум включает такие основные элементы,
как реальная среда, смешанная реальность (дополненная реальность и дополненная виртуальность), виртуальная среда, и охватывает возможные композиции физических и цифровых объектов
в этой области [5].
Например, применительно к музею реально-виртуальный континуум включает:
– Реальный музей – физические артефакты и экспозиции.
– Смешанный музей с локальным (инсталляция внутри музея)
или сетевым (сайт музея) доступом к нему, включая:
– дополненная реальность в реальном музее;
3
– дополненная виртуальность в модели музея.
– Виртуальный музей – модель музея с локальным (инсталляция внутри музея) или сетевым (сайт музея) доступом к ней.
Такой подход позволяет упорядочить технические решения и,
тем самым, увидеть их взаимосвязь между собой и возможности
комплексирования при автоматизации решения различных задач
сохранения и презентации объектов КН.
В практикуме подробно рассмотрена работа с программными
комплексами, разработанными в лаборатории компьютерной графики и виртуальной реальности ГУАП, поддерживающими различные
реальности (реальная, дополненная, виртуальная), в которых посетитель взаимодействует с объектами культурного наследия.
4
1. ПРОГРАММНЫЙ КОМПЛЕКС «ИСТОРИЯ КРЕПОСТИ ЯМ»
1.1 Назначение и условия использования
1.1.1 Назначение – сохранение и популяризация исторической
информации об утраченном объекте культурного наследия, а также создание ресурса для экономического и социального развития
Кингисеппского района за счет культурного туризма.
1.1.2 Состав программного комплекса:
– Компонент «Личности в истории крепости Ям».
– Компонент «Крепости Северо-Запада России».
– Компонент «Памятники Яма – Ямбурга – Кингисеппа».
– Компонент «Крепость Ям» – интерактивные 3D модели крепостей Ям-Ямбурга – четырехбашенная (XIV в.), девятибашенная
(XV в.) и земляная бастионная (XVIII в.), а также виртуальные экскурсии на основе моделей крепостей.
– Компонент «Игры» – исторические 3D игры «Оборона крепости» и «Подрыв крепости».
1.1.3 Для функционирования компонентов необходим настольный компьютер в конфигурации, приведенной в приложении 1.
1.1.4 В качестве примера приведем оборудование, обеспечивающее иммерсивность и интерактивность пользователя при работе
с программными приложениями, с привязкой к местам использования в Кингисеппском историко-краеведческом музее (см. табл. 1.1).
Таблица 1.1
Средства
обеспечения
Демонстрационный
зал (до 30 человек)
Индивидуальное
место
Сенсорный
киоск
Оборудова- Графическая станция с видеоадаптение
ром GeForce NVIDIA, MS Windows
Панель, встроенные компьютер
и колонки,
MS Windows
Иммерсив- Монитор, экран,
ность
очки, 3D проектор
full HD, стерео 3DTV
Play, колонки.
Панель full HD.
Интерактивность
Монитор full
HD и очками,
стерео 3DVision,
колонки.
Клавиатура, мышь,
3D манипулятор.
Сенсорный экран
(TuchScreen).
Сенсор MS Kinect.
При необходимости – 3D манипулятор, клавиатура, мышь.
5
1.1.5. Установка и запуск приложения
Открыть папку KingMuseum и запустить KingMuseum.exe.
На экране появится форма (рис.1.1.) с кнопками Play/Quit и
возможностью выбора элементов.
Назначение элементов формы;
– Разрешения экрана (поле Screen resolution). По умолчанию,
как правило, установлено рабочее разрешение монитора.
– Качества отображения (поле Graphics quality). По умолчанию
установлено среднее качество отображения (good). На более производительных графических системах (по сравнению с рекомендуемой системной конфигурацией) можно выбрать более высокое качество отображения – beautiful, fantastic. Соответственно, на менее
производительных конфигурациях с целью увеличения скорости
отображения можно выбрать менее высокие настройки качества –
simple, fast, fastest. Отличия настроек показаны в табл.1.2.
– Полноэкранного/оконного режима отображения (флажок
Windowed).
– Клавиатурных настроек (закладка Input). Здесь можно определить, с использованием каких клавиш будет осуществляться перемещение внутри интерактивных сцен.
Рис. 1.1 – Окно запуска приложения.
6
Таблица 1.2
Выбор качества отображения моделей
Качество
отображения
Fastest
Характеристики
В 2 раза уменьшено разрешение текстур.
Отключены анизотропная фильтрация текстур и антиалиасинг (сглаживание краев).
Тени отключены.
Анимации персонажей воспроизводятся в низком качестве (только 1 кость может воздействовать на вершину,
анимация не синхронизируется с текущим кадром, что
может повлечь «разрыв» персонажа в пределах кадра).
Fast
Текстуры отображаются в оригинальном разрешении.
Включена анизотропная фильтрация отдельно для каждой текстуры.
Отключен антиалиасинг (сглаживание краев).
Тени отключены.
Анимации воспроизводятся в среднем качестве (две
кости могут воздействовать на вершину, анимация не
синхронизируется с текущим кадром, что может повлечь «разрыв» персонажа в пределах кадра).
Simple
Текстуры отображаются в оригинальном разрешении.
Включена анизотропная фильтрация отдельно для каждой текстуры.
Отключен антиалиасинг (сглаживание краев).
Тени отображаются в низком качестве, поддерживаются
только твердые тени (hard shadows).
Анимации воспроизводятся в среднем качестве (2 кости
могут воздействовать на вершину, анимация не синхронизируется с текущим кадром, что может повлечь
«разрыв» персонажа в пределах кадра).
Good
Текстуры отображаются в оригинальном разрешении.
Включена анизотропная фильтрация отдельно для каждой текстуры.
Отключен антиалиасинг (сглаживание краев).
Тени отображаются в среднем качестве, поддерживаются твердые и мягкие тени (hard shadows/soft shadows).
Анимации воспроизводятся в хорошем качестве
(2 кости могут воздействовать на вершину, анимация
синхронизируется с текущим кадром, что предотвращает «разрыв» персонажа в пределах кадра).
Beautiful
Текстуры отображаются в оригинальном разрешении.
Всегда используется анизотропная фильтрация.
Включен антиалиасинг (сглаживание краев).
Тени отображаются в улучшенном качестве,
7
Продолжение табл. 1.2
Качество
отображения
Характеристики
поддерживаются твердые и мягкие тени (hard shadows/
soft shadows).
Анимации воспроизводятся в наилучшем качестве (4
кости могут воздействовать на вершину,
анимация синхронизируется с текущим кадром, что
предотвращает «разрыв» персонажа в пределах кадра).
Fantastic
Отличается от режима beautiful еще более улучшенной
отрисовкой теней на среднем и большом расстояниях от
камеры.
Для запуска приложения следует нажать кнопку Play.
После запуска приложения на экране появляется заставка, приведенная на рисунке 1.2, и затем автоматически через несколько
секунд появляется «Главное меню», представленное на рис. 1.3,
с иконками компонентов приложения и элементами управления.
Запуск компонента осуществляется путем двойного клика на
иконку с его именем и использованием левой кнопки манипулятора «мышь», после чего на экране появится соответствующее ему
окно.
Описание и графическое представление элементов управления,
общих для всех компонентов, приведено в таблице 1.3.
Рис 1.2 Заставка
8
Рис. 1.3. Главное меню
Таблица 1.3
Элементы управления
Элементы управления
Назначение
Выход из программы.
Завершение работы программы выполняется
посредством нажатия на кнопку «Выход»
в окне программы, после чего появляется сообщение, требующее подтверждение выхода
из программы или его отмена.
Переход в Главное меню.
Если пользователь в рамках выбранного компонента совершил ряд действий, то при нажатии на данный элемент происходит возврат на
1 шаг к предыдущему экрану «вперед»
Если пользователь в рамках выбранного компонента совершил ряд действий, то при нажатии на данный элемент происходит возврат на
1 шаг к предыдущему экрану «назад»
9
Элементы управления
Назначение
Скроллинг просмотра информации в окне.
Звук – включение и отключения звука.
Стрелка влево – прокрутка изображений
в ленте влево.
Стрелка вправо – прокрутка изображений
в ленте вправо.
Лента изображений – упорядоченный список
изображений, которые можно просматривать
путем перемещения влево-вправо.
1.2 Компонент «Личности в истории крепости Ям»
Компонент представляет собой портретную галерею изображений значимых персон, при взаимодействии с которыми можно получить информацию о каждой из них.
На рис. 1.4 приведен начальный экран компонента.
Назначение основных элементов.
– Лента уменьшенных изображений личностей или исторических объектов – выводится 37 изображений, которые можно перемещать влево-вправо и выбрать интересующий объект.
– Лента уменьшенных изображений, соответствующих выбранной личности или историческому объекту (в случае их наличия).
– Область вывода выбранных изображений (увеличенных).
– Биография – область вывода текста, соответствующего биографии личности.
– Цитаты – область вывода текста, соответствующего высказываниям личности.
1.3 Компонент «Крепости Северо-Запада России»
Компонент представляет собой интерактивную карту Ленинградской области и примыкающих территорий в виде изображения
10
Рис. 1.4. Начальный экран компонента
с активными точками, соответствующими следующим памятным
местам: Выборгский замок, Гдов, Ивангород, Изборск, Копорье, Корела, Кронштадт, Новгород, Орешек, Петропавловская крепость,
Порхов, Псков, Старая Ладога, Ям, при взаимодействии с которыми
можно получить необходимую историческую информацию.
На рис. 1.5 приведен основной экран компонента.
Назначение основных элементов.
– Интерактивная карта Ленинградской области и прилегающих
территорий с обозначениями крепостей Северо-Запада России», представленной в виде изображения с активными точками, соответству-
Рис. 1.5. Основной экран компонента
11
ющими крепостям. Пользователь может выбрать на карте любую из
крепостей (иконка или название) путем подведения курсора к ним,
при этом изображение иконки крепости увеличивается и название
меняет цвет, также меняет цвет название соответствующей крепости
в списке крепостей, а изображение стрелки курсора меняется на изображение руки, при нажатии левой кнопки манипулятора «мышь»
загружается экран с описанием выбранной крепости (рис. 1.6)
– Область экрана «Крепости» – список крепостей. Пользователь
может выбрать одну из гиперссылок путем подведения курсора
к ней, при этом меняется цвет названия соответствующей крепости в списке крепостей, также меняется цвет названия крепости на
карте, а изображение стрелки курсора меняется на изображение
руки, при нажатии левой кнопки манипулятора «мышь» загружается экран с описанием выбранной крепости (рис. 1.6).
– Кнопка – Экскурсия «Каменные крепости Новгородской земли». Пользователь выбирает гиперссылку путем подведения курсора к ней, при этом меняется цвет названия кнопки, а изображение
стрелки курсора меняется на изображение руки, при нажатии левой кнопки манипулятора «мышь» загружается экран с описанием
экскурсии (рис. 1.7).
На рис. 1.6 приведен пример экрана выбранной крепости Ям.
Назначение основных элементов.
– Область вывода увеличенных изображений выбранной крепости.
– Область вывода текста, соответствующего описанию выбранной крепости.
– Лента уменьшенных изображений выбранной крепости.
Рис. 1.6. Экран описания выбранной крепости
12
Рис. 1.7. Экран описания экскурсии
– Перемещение ленты изображений влево-вправо путем нажатия соответствующих кнопок. Если пользователь выбирает одну
из кнопок путем подведения курсора к ней, то при этом меняется
размер кнопки, а изображение стрелки курсора меняется на изображение руки, при нажатии левой кнопки манипулятора «мышь»
лента изображений сдвигается – появляются новые изображения
в случае их наличия.
– При подведении курсора к изображению в ленте изображений
изображение стрелки курсора меняется на изображение руки, при
нажатии левой кнопки манипулятора «мышь» загружается его
увеличенное изображение в область изображений экрана.
На рис. 1.7 приведен экран экскурсии с ее тексто-графическим
описанием.
При нажатии кнопки «Прослушать экскурсию» запускается автоматически проигрываемое озвученное слайд-шоу (см. рис. 1.8).
Элементы управления слайд-шоу:
– запуск,
в экран рис. 1.7.
– останов,
– переход
1.4 Компонент «Памятники Яма – Ямбурга – Кингисеппа»
Компонент представляет собой интерактивную карту Кингисеппа в виде изображения с активными точками, соответствующими
памятным местам (19 объектов, например, Городище крепости Ям,
13
Гостиные дворы, Памятник жертвам гражданской войны, Ратуша
и др.), при взаимодействии с которыми можно получить необходимую информацию о каждом.
На рис. 1.8 приведен вид основного экрана компонента.
Назначение основных элементов.
– Интерактивная карта Кингисеппа с обозначениями памятных
мест и объектов, представленная в виде изображения с активными
точками, соответствующими объектам. Пользователь может выбрать на карте любой из объектов (кружок с цифрой) путем подведения курсора к нему, при этом изображение кружка меняет цвет,
также меняется цвет названия соответствующего объекта в списке
объектов, а изображение стрелки курсора меняется на изображение
руки, при нажатии левой кнопки манипулятора «мышь» загружается экран с описанием выбранного объекта (см. рис. 1.9).
– Область экрана список объектов. Пользователь может выбрать
одну из гиперссылок путем подведения курсора к ней, при этом меняется цвет названия соответствующего объекта в списке объектов,
также замигает кружок рядом с выбранным объектом на карте, а
изображение стрелки курсора меняется на изображение руки, при
нажатии левой кнопки манипулятора «мышь» загружается экран
с изображениями выбранного объекта (см. рис. 1.9).
На рис. 1.9 приведен пример экрана с изображением выбранного
объекта.
Назначение основных элементов.
– Область вывода изображений выбранного объекта. При подведении курсора к изображению объекта стрелка курсора меняется
Рис. 1.8. Основной экран компонента
14
Рис. 1.9. Экран изображений выбранного объекта
на изображение руки, при нажатии левой кнопки манипулятора
«мышь» загружается следующее изображение в область изображений экрана.
– Область вывода фрагмента текста, соответствующего описанию выбранного объекта. При подведении курсора в данную область изображение стрелки курсора меняется на изображение руки, при нажатии левой кнопки манипулятора «мышь» загружается экран с полным описанием объекта (см. рис. 1.10).
На рис. 1.10 приведен экран текстового описания выбранного
объекта.
Рис. 1.10. Экран описания выбранного объекта
15
1.5 Компонент «Крепость Ям» и экскурсии
Компонент представляет собой интерактивные 3D модели крепостей Ям-Ямбурга, соответствующие разным периодам ее бытования – четырехбашенная (XIV в.), девятибашенная (XV в.) и земляная бастионная (XVIII в.).
При переходе из главного меню в данный компонент появляется
заставка с кнопками крепостей разного периода и обзорной экскурсии (см. рис. 1.11), при активации которых осуществляется переход к соответствующим экранам (см. рис. 1.12 – 1.15).
Рис. 1.11. Основной экран компонента
Рис. 1.12. Экран описания крепости
четырехбашенной (1384 г.)
16
Рис. 1.13. Экран описания крепости
девятибашенной (1448 г.)
Модель четырехбашенной крепости соответствует каменному
фортификационному сооружению 14 века и включает следующие
основные объекты:
– Элементы крепости: внешний и внутренний виды каменных
башен, воротное устройство с входными воротами в северо-западной башне, каменные стены между башнями с боевым ходом и
каменной лестницей с внутренней стороны, ров вокруг крепости,
мост через ров к входным воротам.
– Внутрикрепостные сооружения: дорожки, внешний вид застройки крепости жилыми и хозяйственными постройками (деревянные избы), внешний вид храма Архистратига Михаила.
– Объекты за периметром крепости – избы у переправы.
– Персонаж для взаимодействия пользователя с моделью крепости в режиме работы от 3-го лица – новгородский стрелец 14
века.
Модель девятибашенной крепости соответствует каменному
фортификационному сооружению 15 века и включает следующие
основные объекты:
– Элементы крепости: внешний и внутренний виды каменных
башен, воротные устройства с входными воротами, каменные стены между башнями с боевым ходом и тремя каменными лестницами, рвы вокруг крепости и вокруг детинца, частокол (по длине
северной стены) с воротным обрамлением, мосты через рвы к входным воротам.
17
Рис. 1.14. Экран описания крепости бастионной (1703 г.)
– Внутрикрепостные сооружения (внешний вид): дом коменданта, дом городового, осадные дворы (амбары), дорожки мощеные и
не мощеные, внешний вид храма Архистратига Михаила.
– Объекты за периметром крепости – дворы.
– Персонаж для взаимодействия пользователя с моделью крепости в режиме работы от 3-го лица – русский воин 16 века.
Модель бастионной крепости соответствует фортификационному сооружению 18 века, окруженному земляными куртинами и
четырьмя земляными бастионами 1703 г., и включает следующие
объекты:
– Ландшафт – за основу принимается существующий ландшафт
местности с имеющимися элементами крепости – 3 бастиона, куртины, пруд, ров.
– Элементы крепости: бастионы, куртины, ров с частокольной
канавкой, входные ворота, мост через ров, каменный детинец, казематы.
– Внутрикрепостные сооружения (внешний вид): дом коменданта, пороховой погреб, амбары, Храм, казармы, караульня, деревянные настилы под пушки, пушки, дорожки мощеные и не мощеные.
– Объекты за периметром крепости – избы (усадьбы).
– Персонаж для взаимодействия пользователя с моделью крепости в режиме работы от 3-го лица – петровский солдат 18 века.
Для каждой крепости реализован набор унифицированных интерфейсных элементов, описание которых приведено ниже.
1) Работа с интерактивной картой и списком объектов крепости.
18
Рис. 1.15. Экран обзорной экскурсии
Пользователь выбирает на карте любые из
(крепость 1) или
(крепости 2 и 3) иконок путем подведения курсора к ним, при
этом изображение иконки увеличивается, также меняет цвет название соответствующего объекта крепости в списке объектов крепости, а изображение стрелки курсора меняется на изображение
руки, при нажатии левой кнопки манипулятора «мышь» загружается экран с трехмерной моделью крепости и видом выбранного
объекта крепости.
2) Управление камерой внутри сцены от первого лица.
Для управления камерой внутри сцены возможны следующие
варианты:
Таблица 1.4
Перемещение (ходьба) вперед/назад
стрелка вперед/назад
Ускоренное перемещение (бег)
вперед
Shift + стрелка вперед
Вращение влево/вправо
стрелка влево/ вправо
Изменение вертикального уровня
стрелка вверх/вниз на доп.
клавиатуре (NumPad) (включен
NumLook)
Одновременное нажатие клавиш
«стрелка» вверх (вниз) и влево или
вправо
сложное перемещение камеры или
персонажа в сцене
19
3) Управление перемещением персонажа воина (от третьего лица).
Осуществляется аналогично управлению перемещением камеры внутри сцены.
Вид трехмерной модели от первого (из камеры) или третьего
(вид персонажа сзади) лица зависит от состояния иконки следующим образом:
– от первого лица;
– от третьего лица.
Возможно вращение камеры вокруг персонажа – стрелки влево/вправо на дополнительной клавиатуре (NumPad) (должен быть
включен NumLook).
4) Работа с информационной миникартой с выпадающим списком.
Пользователь, перемещаясь в модели, может визуально оценить
совпадение своего текущего местоположения в модели крепости
с положением соответствующей ему точки на условной карте.
Для быстрого перемещения к выбранным объектам крепости
в окне трехмерной модели крепости используется список объектов
крепости, управляемый при помощи иконок
– открыть список;
– свернуть список.
Пользователь выбирает любое из наименований объектов в списке путем подведения курсора к нему, при этом меняется цвет выбранного названия объекта, а изображение стрелки курсора меняется на изображение руки, при нажатии левой кнопки манипулятора
«мышь» камера перемещается в трехмерной модели крепости к выбранному объекту.
5) Получение информации об объекте.
Пользователь, перемещаясь в модели крепости, видит рядом
с некоторыми объектами иконку
(пример см. рис. 1.16), позволяющую получить информацию о них. Подведя курсор к иконке,
изображение стрелки курсора меняется на изображение руки, а при
нажатии левой кнопки манипулятора «мышь» открывается окно с соответствующей выбранному объекту информацией (текст, графика).
В таблице 1.5 для примера приведены характеристики использования моделей крепостей в Кингисеппском историко-краеведческом музее.
6) Запуск и управление экскурсией.
Экскурсии реализованы на основе записи вида с камеры, перемещаемой в режимах обхода или облета по сценарной траектории в мо20
Рис. 1.16
Таблица 1.5
Характеристики
Демонстрационный
зал
Индиви- Сенсорный
дуальное киоск
место
Назначение
Голосовая групповая Свободное ознакомление поэкскурсия, которую сетителя музея с моделями
проводит музейный крепостей.
специалист внутри
модели крепости.
Иммерсивность
Аудиовизуальная, 3D моно или
стерео.
Интерактивность
Перемещение (ходьба, бег) и вращение, выбор и запуск объектов.
Режимы
От 1-го (камера) или 3-го (воин) лица.
Аудиовизуальная,
3D моно.
дели крепости, синхронизированного с добавленными изображениями отдельных объектов, голосом диктора и фоновой музыкой.
Пользователь выбирает кнопку с названием экскурсии (например, см. рис. 1.11 – 1.14) путем подведения курсора к ней, при
этом меняется цвет выбранного названия экскурсии, а изображение стрелки курсора меняется на изображение руки, при нажатии
левой кнопки манипулятора «мышь» загружается экран с показом
экскурсии и унифицированными кнопками управления (пример
см. рис. 1.15 и 1.17).
В таблице 1.6 для примера приведены характеристики использования экскурсий в Кингисеппском историко-краеведческом музее.
21
Рис. 1.17
Таблица 1.6
Характеристики
Демонстрационный
зал
Индивидуальное
место
Сенсорный
киоск
Иммерсивность Аудиовизуальная, 3D моно или
стерео.
Аудиовизуальная, 3D моно.
Интерактивность
Тачскрин
Клавиатура и мышь
1.6 Компонент «Игры»
При переходе из главного меню в данный компонент появляется
экран, приведенный на рис. 1.18.
В таблице 1.7 приведены для примера характеристики игр
в Кингисеппском историко-краеведческом музее
Рис. 1.18. Основной экран компонента
Таблица 1.7
Характеристики
Демонстрационный зал
Сенсорный киоск
Иммерсивность
Аудиовизуальная, 3D моно
или стерео.
Аудиовизуальная,
3D моно
Интерактивность
Управление воином в модели за счет
отслеживаемого сенсором MS Kinect перемещения
игрока в заданной на полу зоне.
22
Окончание табл. 1.7
Режимы
Индивидуальный (1 игрок) и соревновательный
(2 игрока, каждый из которых управляет
своим воином, перемещаясь по полу в пределах
выделенной зоны).
Уровни сложности Три уровня, которые отличаются скоростью,
размерами и кучностью полета игровых объектов, а
также временем прохождения уровней игры.
Победа игрока – успешное прохождение трех
уровней сложности.
После выбора игры «Подрыв крепости» появляется экран, включающий меню игры, показанный на рис. 1.19.
Сюжет игры: Крепость Ям 1682 год. Чтобы убрать обветшалую стену крепости шведы заложили бочки пороха вдоль восточной стены и
последовательно взорвали их. В результате взрывов в разные стороны
летят осколки и обломки каменной кладки. Игрок находится внутри
крепости и пытается уклониться от летящих на него обломков.
Цель игры: уклониться от всех летящих на героя обломков от
взрыва крепостной стены. При попадании обломков в героя изменяется параметр его виртуального здоровья, при изменении которого до нуля он проигрывает. Победа игрока – успешное прохождение трех уровней сложности.
Назначение кнопок меню:
– Кнопка «Начать игру»: переход непосредственно к игре.
Рис. 1.19. Скриншот экрана «Меню игры»
23
– Кнопка-переключатель «Режим»: настройка количества игроков – 1 игрок или 2 игрока (соревновательный режим).
– Кнопка – переключатель «Уровень»: выбор уровня сложности
из трех, которые отличаются постепенным увеличением скорости
и кучности полета обломков, их размеров и времени прохождения
уровня (первый уровень – 1 минута, второй – 1,5 минуты, третий
2 минуты). При выборе «Все» необходимо последовательно пройти
уровни 1 – 3, в случае выигрыша с лучшим результатом (состояние
здоровья) можно попасть в таблицу результатов.
– Кнопка «Лучшие результаты» – просмотр игроков с лучшими
результатами.
При клике на кнопку «Начать игру» на несколько секунд появляется надпись с номером выбранного уровня (например, «Уровень
1», см. рис. 1.20), соответствующая надпись также появляется при
переходе на уровни 2 и 3.
Во время игры пользователь за счет перемещений вперед, назад, влево, вправо в игровой зоне по полу, фиксируемых сенсором
Kinect, может управлять соответственно перемещением воина в модели вперед, назад, влево, вправо. Работа с сенсором Kinect рассмотрена в разделе «Работа с сенсором Kinect»
Во время игры интерфейс отображает уровень здоровья игрока и
время, затраченное на прохождение уровня (см. рис. 1.21).
При выигрыше появляется сообщение «Вы победили», при проигрыше – «Вы проиграли» (см. рис. 1.22 и 1.23 соответственно).
При клике на «Продолжить» осуществляется переход в экран
«Меню игры».
Рис. 1.20. Скриншот экрана «Уровень 1»
24
Рис. 1.21. Скриншот экрана в процессе игры
Рис. 1.22. Скриншот экрана «Вы победили!»
В случае прохождения всех уровней и достижении лучшего результата появляется окно с предложение ввода имени игрока (см.
рис. 1.24), после чего (см. рис. 1.25) происходит запись в таблицу
результатов (см. рис. 1.26).
Сброс рейтинга LeftControl+LeftAlt+D
В процессе игры можно использовать следующие кнопки:
– «Пауза» – постановка игры на паузу. Экран затемняется, после
нажатия в любую точку затемнение проходит, игра продолжается.
– «Меню игры» – выход из игры в экран «Меню игры» через окно «Закончить игру?» с кнопками да/нет (см. рис 1.27).
При игре с двумя игроками назначение основных информационных и управляющих элементов интерфейса сохраняется.
25
Рис. 1.23. Скриншот экрана «Вы проиграли»
Рис. 1.24. Скриншот экрана с предложение ввода имени игрока
Рис. 1.25. Скриншот экрана с введенным именем игрока
26
Рис. 1.26. Скриншот экрана с отображением
таблицы результатов игры
Рис. 1.27. Выход из игры в экран «Меню игры»
Основное отличие – в игре участвуют два игрока, каждый из которых управляет своим воином, перемещаясь по полу в пределах
выделенной зоны.
Примеры информационных сообщений приведены на рис. 1.28 –
1.30.
Игра «Оборона крепости».
Сюжет игры: Крепость Ям 1444 год. Ливонцы осадили крепость
и начали обстреливать ее. Игрок находится на крепостном дворе,
перед ним крепостная стена, из–за которой вылетают стрелы, ко27
Рис. 1.28
Рис. 1.29
Рис. 1.30
28
пья, ядра. За игроком расположены бочки с порохом – пороховой
склад, которые он пытается защитить от летящих снарядов.
Цель игры: герой должен защитить пороховой склад на крепостном дворе, отбивая летящие из-за крепостной стены снаряды (стрелы, копья, ядра) в пределах своей зоны ответственности, используя свое «бессмертное» тело. В случае пролета снарядов через него
и попадание в бочки, изменяется параметр состояния порохового
склада, при изменении которого до нуля игрок проигрывает. Победа игрока – успешное прохождение трех уровней сложности.
Назначение основных информационных и управляющих элементов интерфейса, а также игра с двумя игроками такие же, как
в игре «Подрыв крепости». Примеры скриншотов приведены на
рис. 1.31 – 1.32.
Рис. 1.31 Скриншот с одним защитником порохового склада
Рис. 1.32. Скриншот с двумя защитниками порохового склада
29
1.7. Рекомендации
1.7.1 Работа с сенсором Kinect.
Общие рекомендации по установке сенсора и работе с ним приведены на сайте
http://support.xbox.com/ru-RU/browse/xbox-360.
Выделим основные требования:
1) Размещение.
a. Сенсор должен быть расположен на расстоянии 0,6–1,8 м от
пола. Ничто не должно заслонять его обзор.
b. Убедитесь, что обзору сенсора ничто не мешает.
c. Убедитесь, что ничто не мешает наклону сенсора вверх и вниз.
Не наклоняйте сенсор вручную; его наклон регулируется автоматически.
d. Индикатор на сенсоре должен гореть зеленым, это значит, что
сенсор готов к работе.
2) Освещение
a. Убедитесь, что в комнате достаточно светло и что Ваше лицо
четко видно и равномерно освещено. Постарайтесь свести к минимуму боковое или фоновое освещение, особенно от окна.
b. Чтобы Kinect лучше всего отслеживал телодвижения, не допускайте попадания на игроков или на сенсор прямого солнечного света.
c. При прямом освещении сенсору Kinect будет нелегко Вас узнать и следить за Вашими движениями.
d. Убедитесь, что помещение ярко и равномерно освещено.
3) Требования к игрокам.
a. Рост игрока должен быть не менее 1 м.
b. Повернитесь лицом к сенсору. При этом Ваше лицо не должно
быть закрыто шляпой, волосами или светоотражающими очками.
c. Старайтесь не надевать мешковатую одежду.
d. Иногда темная одежда поглощает инфракрасное излучение,
препятствуя точному отслеживанию Ваших телодвижений.
4) Индикация активности сенсора.
a. Когда сенсор Kinect активен, в правом нижнем углу экрана появляется окно. Это окно указывает, что можно использовать жесты.
b. Встаньте там, где Ваше тело будет полностью видно сенсору.
5) Жесты и перемещения.
a. Сенсор плохо распознает перекрещивание рук и ног.
1.7.2 Перемещения в играх.
Рекомендуется во время игры перемещаться в игровой зоне приставными шагами вперед-назад или влево-вправо, соответственно
этим перемещениям будет передвигаться персонаж на экране.
30
1. 7.3 Управление камерой жестами при работе с 3D моделями
крепостей.
1) Нажимаем клавишу «K» (англ) для включения Kinect. Нажимаем «K» повторно, работа с Kinect отключается.
2) Жесты:
a. Ходьба вперед и повороты налево/направо: поднимаем правую ладонь выше локтя и ниже головы перед собой, ждем 1 секунду, жест распознается и начинается ходьба. Ладонь смещаем
левее – ходьба с поворотом влево, ладонь смещаем правее – ходьба
с поворотом вправо. Опускаем руку – ходьба прекращается.
b. Повороты вправо или влево на месте: поднимаем правую ладонь выше локтя и ниже головы перед собой со смещением вправо
или влево, через 1 секунду жест распознается и начинается поворот. Опускаем руку – поворот прекращается.
c. Ходьба назад: поднимаем левую ладонь выше локтя и ниже
головы перед собой, ждем 1 секунду, жест распознается и начинается ходьба назад. Опускаем руку – ходьба прекращается.
d. Показ информации: поднимаем ладонь выше головы перед собой, ждем 1 секунду, включается показ информации о ближайшем
информационном объекте, который находится в поле зрения. Опускаем руку – показ информации продолжается. Для отключения
показа информации, нужно еще раз поднять ладонь выше головы
и подождать 1 секунду.
1.7.4 Работа с 3D мышью при взаимодействии с 3D моделями
крепостей.
Устройство навигации 3D connexion SpaceMouseWireless предназначено для управления камерой в 3D сцене. Наклоняя манипулятор вперед, влево, вправо, назад соответственно будет перемещаться камера в сцене.
Внимание:
1) Правильно ориентируйте устройство для соответствия наклонов манипулятора с перемещениями камеры в сцене.
2) Для работы с информационными объектами используется
обычная мышь.
1.7.5 Переход в стерео режим.
Переход в стерео режим и обратно происходит при одновременном нажатии клавиш Ctrl и T (англ).
1.7.6 Ограничения при работе с интерактивными 3D моделями
крепостей.
1) Ограничения перемещения камеры от первого и третьего лица, что выражается в невозможности прохода в некоторые части
31
модели за счет установки прозрачных плоскостей, при столкновении с которыми камера останавливается.
2) Пропадание изображения воина при просмотре сцены от третьего лица при перемещении или вращении воина вблизи объектов
стен, проемов, строений и др.) и невидимых плоскостей, ограничивающих перемещение по территории, что обусловлено установкой
камеры позади воина.
3) Частичное искажение перспективы при просмотре модели в режиме установки вертикального уровня камеры «вверх» или «вниз»
(см. п. 6.2), что связано с ограничениями 3D моделирования.
32
2. ПРОГРАММНЫЙ КОМПЛЕКС «ПРЕДМЕТ ИСТОРИИ
И ИСТОРИЯ ПРЕДМЕТА»
2.1 Назначение и условия выполнения
2.1.1 Назначение – для расширения аудиовизуального восприятия посетителя музея в реальном времени справочной информацией на основе маркерной дополненной реальности с использованием
мобильного устройства со встроенной тыльной камерой в процессе
перемещения как внутри здания музея, так и на прилегающей территории при ознакомлении с экспонатами.
2.1.2 Приложение включает библиотеку уникальных маркеров
(черно-белые или цветные изображения), которые размещаются на
объектах или рядом с ними.
Определены точки интереса – 20 внутри здания музея и 5 на
прилегающей территории, которым соответствуют маркеры с привязанной к ним тематической информацией в виде текста, изображений, аудио, видео, 3D моделей.
Приложение состоит из двух экспозиций:
– «Дополненная реальность в музее» – 20 маркеров, размещенных в 6 залах.
– «Дополненная реальность вне музея» – 5 маркеров на прилегающей территории (см. табл. 2.1).
2.1.3 Для функционирования компонентов необходим планшетный компьютер в конфигурации, приведенной в приложении 1.
2.1.4 Для запуска на планшетном компьютере необходимо запустить программное приложение «Предмет истории и история
предмета» (иконка «Кингисепп»).
После загрузки приложения на экране появляется главное меню
(см. рис. 2.1). Пользователь должен выбрать экспозицию и нажать
на соответствующую ей иконку. Для выхода из приложения необходимо нажать клавишу «Выход».
Таблица 2.1
Перечень маркеров
№ маркера
Наименование предмета или комплекса
Маркеры в музее
Зал 1
1
Фрагменты керамического сосуда. III-II тыс до н.э.
2
Археологические находки из раскопок захоронений древней
води. XII-XVI в.в.
33
Продолжение табл. 2.1
№ маркера
Наименование предмета или комплекса
3
Клад шведских монет XVII в.
Клад русских монет XVIII в.
4
Кольчуга древнерусского воина. XIII-XV в.в.
5
Костюм ижорской женщины с косоклинным сарафаном.
Конец XIX в.
6
Жернова. XIX в.
Зал 2
7
Карта-схема расселения финно-угорского населения на
территории Ямбургского края. Начало XX в.
8
Стенд «д. Лужицы»
9
Комплекс «Рыболовство»
Зал 3
10
Жбан для замешивания хлебного теста
11
Рекамье. Начало XX в.
12
Комплекс «Фотосалон г. Ямбурга»
Зал 4
13
Коллекция почтовых открыток г. Ямбурга
14
Комплекс «Ямбургское казначейство»
15
Комплекс «Личные вещи солдат и офицеров Ямбургского
гарнизона. Начало XXв.»
16
Комплекс «Образование в Ямбургском уезде в нач. XX в.»
Зал 5
17
Комплекс «Почтовое дело в Ямбурге в нач. XX в.»
18
Схема «Оборона Кингисеппа. 1941 г.»
19
Схема «Освобождение Кингисеппа. 1944 г.»
Холл
20
Листовки времен Великой Отечественной войны
Маркеры на прилегающей территории
1
Детинец
2
Северо-западный бастион
34
Продолжение табл. 2.1
№ маркера
Наименование предмета или комплекса
3
Пруд
4
Смотровая площадка пл. Николаева
5
Место юго-восточного бастиона
Рис. 2.1. Основное окно приложения
«Предмет истории и история предмета»
2.2. Экспозиция «Дополненная реальность в музее»
В случае выбора экспозиции «Дополненная реальность в музее»
начинается загрузка необходимой информации. Этот процесс занимает несколько секунд в зависимости от используемого устройства.
Во время загрузки на экране отображается логотип Кингисеппского историко-краеведческого музея и надпись, поясняющая, что
идет процесс загрузки (см. рис. 2.2).
По окончании загрузки на экране появляется стартовое окно
экспозиции. В верхней части экрана находится полоса интерфейса,
на которой слева направо располагаются следующие элементы (см.
рис. 2.3):
– кнопка выбора экспозиции,
– название текущей экспозиции,
– кнопка выбора зала,
– номер (название) текущего зала,
– кнопка меню.
35
Рис. 2.2. Окно, отображающее процесс загрузки
Рис. 2.3. Стартовое окно экспозиции
Назначение элементов. 1) Кнопка «Выбрать экспозицию» служит для перехода между
экспозициями – «Дополненная реальность в музее» и «Дополненная реальность вне музея». При нажатии на кнопку появляется выпадающее меню с кнопками-названиями экспозиций, при нажатии
происходит переход.
36
Если нажата клавиша, соответствующая текущей экспозиции,
то выпадающее меню закроется. Название текущей экспозиции
служит для информирования пользователя о том, на просмотр какой экспозиции настроено приложение.
2) Кнопка «Выбрать зал» служит для выбора текущего зала, в котором находится пользователь. «Дополненная реальность в музее»
разбита на 6 тематических зон, соответствующих залам в здании
Кингисеппского историко-краеведческого музея. При нажатии на
кнопку появляется выпадающее меню с доступными залами. Пользователь должен выбрать зал, в котором находится. Надпись с названием и номером зала служит для информирования пользователя
о текущем зале экспозиции. 3) Кнопка «Меню» служит для перехода к главному меню и выхода из приложения. При нажатии появляется выпадающее меню
с клавишами «главное меню» и «выйти».
В нижней части экрана находится окно-подсказка, поясняющая
пользователю, что он должен делать.
Остальная часть экрана является видоискателем для тыльной
камеры мобильного устройства, на котором запущено приложение,
т.е. выводится текущее изображение, поступающее с камеры. Действия пользователя:
– Пользователь должен убедиться, что в верхней части экрана
выбраны экспозиция и зал, в котором он находится.
– Затем необходимо навести камеру устройства на изображение
маркера таким образом, чтобы оно появилось на экране мобильного
устройства.
– В случае, если изображение расфокусировано, то для автоматической фокусировки камеры устройства на экране необходимо
нажать на кнопку «фокусировать камеру», которая расположена
в нижней правой части экрана.
– Затем должно произойти распознавание изображения и на
экране появится информация, соответствующая распознанному
маркеру.
После распознавания изображения маркера в зависимости от
деления информации на разделы или нет соответственно на экране
должно появиться
– стартовое окно маркера (например, для маркера 1 – см. рис. 2.4),
– или откроется сразу основное окно маркера (см. рис. 2.5 – для
маркера 5).
В верхней части интерфейса расположены слева-направо:
– кнопка выбора зала и название текущего маркера,
37
Рис. 2.4. Стартовое окно маркера 1
Рис. 2.5. Основное окно маркера 5
– в случае деления информации на разделы – кнопка выбора
раздела и название текущего раздела,
– кнопка перехода к следующему маркеру.
В случае перехода к одному из разделов на экране появляется
основное окно маркера (например, при выборе раздела 1 на рис.
2.4 – см. рис. 2.6).
38
Рис. 2.6. Раздел 1: Керамика эпохи неолита
Пример выбора раздела 2 для маркера 1 и отображаемая при
этом информация приведены на рис. 2.7 и 2.8.
Ниже полосы экран поделен на две логические зоны – слева главное окно, справа – вспомогательное окно. Над вспомогательным окном в общем случае располагаются клавиши «Галерея», «Видео» и
Рис. 2.7. Выбор информационного раздела.
39
Рис. 2.8. Раздел 2: Керамика XIX – первой половины XX в.в.
«3D модель». Первая клавиша отображается во всех маркерах. Две
остальные только в случае наличия аудио или видеозаписей и трехмерных моделей. В основном окне при начальной загрузке отображается текстовая информация по текущему разделу. В случае, если информация не помещается на одном экране, в основном окне появляется
скролл-бар, позволяющий прокручивать текст в окне с помощью
тачскрина (Tuchscreen) – движение пальца снизу вверх – прокрутка вниз, движение сверху вниз – прокрутка вверх. При нажатии
клавиши галерея в дополнительном окне в виде иконок располагается галерея изображений. Если количество изображений превышает количество иконок, которые могут поместиться на экране, то в правой части окна появляется скролл-бар, позволяющий
прокручивать галерею в окне. При нажатии на изображение оно
открывается в основном окне (пример для маркера 1 приведен на
рис. 2.9).
Под изображением находится его название и описание. Также
слева и справа от изображения появляются стрелки для перехода
к следующему и предыдущему изображению. В верхнем правом
углу изображения находится иконка с крестиком для выхода из режима просмотра крупных изображений.
Если при просмотре крупных изображений в основном окне название и описание не помещается под изображением, то оно отобра40
Рис. 2.9. Выбранное изображение в основном окне.
жается во вспомогательном окне вместо галереи (пример для маркера 5 – см. рис. 2.10).
При открытии маркера номер 6 на экране появляется окно с картой и ее названием (см. рис. 2.11).
Рис. 2.10. Описание крупного изображения
во вспомогательном окне.
41
Рис. 2.11. Изображение карты с обозначением
местоположения Ямбурга.
Прикосновение двух пальцев к экрану с последующим их разведением или сведением соответственно позволяет увеличить или
уменьшить изображение. Одиночное прикосновение и перемещение
в сторону позволяет прокрутить карту в разные стороны, когда она
увеличена и полностью не помещается на экране. Красным флажком помечено расположение Ямбурга на картах. Для перехода к следующей или предыдущей карте необходимо использовать стрелки,
расположенные слева и справа от окна с изображением карты. При нажатии клавиши «3D модель» и наведении тыльной камеры
устройства на изображение маркера на экране поверх изображения
маркера должна появиться трехмерная модель объекта (пример
для маркера 1 – см. на рис. 2.12, а для маркера 3 – на рис. 2.13).
Прикосновение двух пальцев к экрану с последующим их разведением или сведением соответственно позволяет увеличить или уменьшить изображение. При прикосновении одним пальцем и перемещении пальца в сторону не отрывая от экрана модель можно вращать.
При нажатии клавиши «Видео» на экране в главном окне появляется описание предлагаемых видео и аудио фрагментов (для маркера 5 – см. рис. 2.14).
Во вспомогательном окне отображаются иконки видео и аудиозаписей. При нажатии на иконку видеозаписи открывается проигрыватель с выбранной записью. Для управления предусмотрены стандарт42
Рис. 2.12. 3D модель остродонного сосуда для маркера 1.
Рис. 2.13. 3D модель персонажа для маркера 3.
ные средства – полоса воспроизведения, клавиши прокрутки, запуска
и приостановки. Для выхода из проигрывателя необходимо нажать
клавишу назад (обратная стрелка) в левом нижнем углу экрана.
43
Рис. 2.14. Описание видео и аудио фрагментов для маркера 5.
При воспроизведении аудиозаписи в центре экрана появляется аудиоплейер с полосой воспроизведения, клавишами запуска и
остановки проигрывания. Для выхода из плейера необходимо нажать на иконку с крестиком в верхнем правом углу экрана.
2.3 Компонент «Дополненная реальность вне музея»
Общая структура интерфейса организована аналогично экспозиции «Дополненная реальность в музее».
При нажатии на клавишу «Выбрать маркер» открывается меню из
пяти маркеров, которые может выбрать пользователь (см. рис. 2.15).
Рис. 2.15. Меню компонента «Дополненная реальность вне музея»
44
Выбрав маркер, пользователь должен навести тыльную камеру
устройства на маркерное изображение, после распознавания которого на экране появится:
– соответствующая информация (например, при выборе маркера «Крепость Ям 1384-1448» – см. рис. 2.16),
– или, в случае деления информации на разделы, меню с разделами (например, для маркера «Храм Архистратига Михаила» –
меню выбора раздела см. рис 2.17 и соответствующие им экраны –
рис. 2.18 и 2.19.
Рис. 2.16. информация при выборе маркера
«Крепость Ям 1384-1448»
Рис. 2.17. Меню выбора раздела для маркера
«Храм Архистратига Михаила»
45
Рис. 2.18. Раздел 1:
Археологические раскопки
Пример экрана 3D модели крепости для маркера «Крепость Ям
1384-1448» приведен на рис. 2.20.
Рис. 2.19. Раздел 2:
реконструкция храма
46
Рис. 2.20. 3D модель крепости для маркера
«Крепость Ям 1384-1448»
2.4 Рекомендации
1) После распознавания маркера и выдачи соответствующей
ему информации держать устройство можно произвольно, без наведения на маркер.
2) Постоянное наведение на маркер необходимо при работе
с 3D моделями объектов.
3) При работе с маркерами на устройстве касания кнопок интерфейса пальцем должны быть кратковременными, без повторов и
перемещений пальца по экрану.
4) При просмотре видео в случае сокрытия элементов управления необходимо коснуться пальцем в нижней части экрана.
47
3. ПРОГРАММНЫЙ КОМПЛЕКС
«ТЕАТР ИНТЕРАКТИВНОГО ПОГРУЖЕНИЯ»
3.1 Назначение и условия использования
3.1.1 Назначение – обеспечивает работу с интерактивными статическими и динамическими трехмерными моделями Большой сцены и
зрительного зала Александринского театра, а также переменами сценического оформления мизансцен спектакля Вс. Мейерхольда по драме М.Ю. Лермонтова «Маскарад» (1917) с возможностью бесконтактного взаимодействия с моделями на основе жестов и аудиовизуального дополнения электронных и печатных материалов разработанными
моделями. Программный комплекс служит целям: повышения эффективности подготовки и документирования спектаклей; обучения
и тренировки режиссеров и артистов; создания исторических реконструкций и сохранения наследия театральной культуры.
3.1.2 Программный комплекс состоит из следующих программных компонентов:
1. Интерактивная трехмерная модель Большой сцены и зрительного зала Александринского театра.
2. Интерактивная трехмерная модель перемен сценического
оформления спектакля Вс. Мейерхольда по драме М.Ю. Лермонтова «Маскарад» (1917).
3. Бесконтактное взаимодействие с моделями сцены и спектакля на основе жестов.
3.1.3 Для функционирования компонентов необходим настольный компьютер в конфигурации, приведенной в приложении 1.
3.1.4 Для запуска программного приложения на настольном
компьютере необходимо запустить 3DSceneMascarade.exe в папке
3DSceneMascarade.
На экране появится форма с кнопками Play/Quit и возможностью выбора, аналогично форме программного комплекса «История крепости Ям» (см рис. 1.1).
3.2 Компонент «Интерактивная трехмерная модель
Большой сцены и зрительного зала Александринского театра»
Программный компонент обеспечивает работу с интерактивной
трехмерной моделью Большой сцены и зрительного зала Александринского театра, использование которой позволяет повысить эффективность технической превизуализации спектакля, обучения и
тренировки режиссеров и артистов.
Трехмерная модель Большой сцены представляет коробку сцены (ширина, глубина, высота), архитектурный портал, планшет,
48
карманы, оркестровую яму с подъемно-опускными площадками, подъемно-опускные площадки, верхнюю механизацию сцены
(штанкетные подъемы, софитные фермы), занавес, осветительное
оборудование. Трехмерная модель зрительного зала – архитектурно-пространственное решение, ложи (бельэтаж, 1–4 ярусы), Царскую ложу, люстру.
Интерактивность, внесенная в модель, позволяет управлять
подъемно-опускными площадками оркестровой ямы, подъемноопускными площадками сцены, штанкетными подъемами, софитными фермами, занавесом, осветительным оборудованием с пульта
управления сценическими механизмами (без показа механооборудования) как элемента интерфейса пользователя.
При реконструкции Большой сцены Александринского театра
использованы обмерные чертежи сцены и зрительного зала, хранящиеся в РГИА Ф. 497, технологические планировки театральной
техники различных исторических периодов, технологическая документация реконструкции театра, проведенной в 2006 году.
Работа с Компонентом.
После запуска приложения 3DSceneMascarade.exe на экране появится интерактивная модель сцены и зрительного зала.
Элементы пользовательского интерфейса (левый верхний угол)
представлены на рис. 3.1.
Рис. 3.1. Элементы пользовательского интерфейса
49
Функциональность пользовательского интерфейса для управления механизацией сцены приведена на рис. 3.2 и в табл.3.1.
Рис. 3.2. Функции интерфейса для
управления механизацией сцены
Таблица 3.1
Функциональность пользовательского интерфейса
для работы с механизацией сцены
Действие
Особенности
Управление верхней и
нижней механизацией:
– штанкетными
подъемами;
– подъемно-опускными
площадками
оркестровой ямы;
– подъемно-опускными
площадками сцены.
Вызов пультов осуществляется нажатием
на соответствующие кнопки в нижней части
пользовательского интерфейса:
«Штанкетные подъемы», «Подъемно-опускные площадки ямы», «Подъемно-опускные
площадки сцены».
Движение штанкетов или площадок осуществляется при нажатии на кнопки «вверх»,
«вниз», остановка движения при отпускании
соответствующих кнопок.
Для штанкетов доступны следующие настройки:
Выбор активных штанкетов.
50
Продолжение табл. 3.1
Действие
Особенности
FB0001 – занавес
FB0002 – софит
FB000(3-10) – пустые штанкеты
Сброс выбора активных штанкетов.
Переход к настройке параметров движения.
Возврат к выбору активных штанкетов.
Для штанкетов и площадок доступны следующие настройки параметров движения:
Верхний предел движения, мм.
Нижний предел движения, мм.
Относительная скорость движения, %.
Для площадок также возможен выбор активных площадок при помощи следующего
элемента:
В нижней части пульта для площадок
происходит отображение уровня
расположения каждой площадки, для
штанкетов пульт не реализует такой
возможности.
Барьер сцены является площадкой №5 в пульте
«Подъемно-опускные площадки ямы».
Управление
освещением
Вызов пульта осуществляется нажатием на
кнопку «Постановка света» в нижней части
пользовательского интерфейса.
51
Оокнчание табл. 3.1
Действие
Особенности
Для каждого источника света доступны
следующие настройки:
Изменение направления освещения в горизонтальной и вертикальной плоскостях.
Изменение интенсивности освещения.
Изменение цвета освещения по компонентам
красный/зеленый/синий.
На рисунках 3.3 – 3.13 соответственно приведены следующие
скриншоты:
– 3.3 – 3.5 – фрагменты 3D модели – штанкетные подъемы;
– 3.6 – 3.7 – фрагменты 3D модели – подъемно-опускные площадки ямы
– 3.8 – фрагменты 3D модели – подъемно-опускные площадки
сцены;
– 3.9 – 3.10 – фрагменты 3D модели. – постановка света;
– 3.11 – 3.13 – фрагменты 3D модели – зрительный зал.
52
Рис. 3.3. Штанкетные подъемы
Рис. 3.4. Штанкетные подъемы
Рис. 3.5. Штанкетные подъемы
53
Рис. 3.6. Подъемно-опускные площадки ямы
Рис. 3.7. Подъемно-опускные площадки ямы
Рис. 3.8. Подъемно-опускные площадки сцены
54
Рис. 3.9. Постановка света
Рис. 3.10. Постановка света
Рис. 3.11. Вид на зал со сцены
55
Рис. 3.12. Вид на сцену из Царской ложи
Рис. 3.13. Царская ложа
3.3 Компонент «Интерактивная трехмерная модель перемен
сценического оформления спектакля Вс. Мейерхольда по драме
М.Ю. Лермонтова «Маскарад»
Программный компонент обеспечивает работу с интерактивной
трехмерной моделью перемен сценического оформления 10 мизансцен спектакля Вс. Мейерхольда по драме М.Ю. Лермонтова
«Маскарад» (1917), которая может рассматриваться как эффективная форма сохранения и изучения театрального наследия России, а
также документирования и архивации спектакля.
Трехмерная модель Большой сцены представляет:
– сценический портал, декорации, бутафорию, освещение, музыкальное и голосовое сопровождение на основе материалов из
коллекции Александринского театра;
56
– две группы персонажей – 3D модели Арбенина и Нины (анимированные для картины 3 и статические для картины 9) и 2D модели персонажей, одетые в аутентичные костюмы, созданные по
эскизам академика А.Я. Головина и на основе реальных костюмов
из коллекции Александринского театра, расположенные и двигающиеся по мизансценам, реконструированным на основе режиссерской партитуры Вс. Мейерхольда.
Интерактивность, внесенная в модель, позволяет управлять
переменами картин, занавесами (подъем/опускание), освещением,
музыкальным сопровождением, покадровым перемещением персонажа на основе пульта управления спектаклем как элемента интерфейса пользователя.
Работа с Компонентом.
Функциональность пользовательского интерфейса для работы со
спектаклем приведена на рис. 3.14 (выбрана картина 1) и в табл. 3.2.
После запуска картины 1 воспроизводится заставка – подлет
к сцене (рис. 3.15). Во время заставки функциональность пользовательского интерфейса отключена.
Рис. 3.14. Функции интерфейса для работы
со спектаклем в картине 1
57
Рис. 3.15. Анимированная заставка перед картиной 1
Таблица 3.2
Функциональность пользовательского интерфейса
Действие
Выбор картины
Особенности
Осуществляется нажатием на кнопку с номером
картины в области интерфейса «Выберите картину:»,
находящейся в левой части экрана.
Для активной в данный момент картины кнопка выбора меняет цвет на более темный.
«Авто» – автоматическое переключение на следующую картину после воспроизведения последнего
кадра.
Выбор кадра
в пределах
картины
После выбора картины, осуществляется нажатием на
кнопку с номером кадра в области интерфейса «Выберите кадр:», находящейся в левой части экрана.
Для активной в данный момент картины кнопка выбора меняет цвет на более темный.
«Авто» – автоматическое воспроизведение всех кадров, начиная с выбранного и до последнего.
58
Действие
Особенности
Пауза
Приостанавливает воспроизведение текущего кадра.
Во время паузы также возможна навигация по сцене,
как и во время воспроизведения кадра.
Пользователь может осуществлять навигацию по всем интерактивным моделям при помощи клавиатуры (см. табл. 3.3).
Навигация по сцене ограничена стенами зрительного зала, стенами сцены, стенами портала и завесой. Через предметы на сцене
можно проходить насквозь. Это сделано для облегчения просмотра
мизансцены, чтобы не нужно было останавливаться перед каждым
предметом и обходить его.
На рис. 3.16 – 3.35 приведены скриншоты картин спектакля и
примеры бутафории к каждой из них.
Таблица 3.3
Навигация по сцене
Действие
Клавиша (если иное не назначено при
настройке приложения)
Перемещение вперед
W
Перемещение назад
S
Движение влево
A
Движение вправо
D
Поворот влево
Q
Поворот вправо
E
Посмотреть наверх
Стрелка вверх
Посмотреть вниз
Стрелка вниз
Переход в царскую ложу
Выход из приложения
C
Alt+F4
59
Рис. 3.16. Фрагмент картины 1
Рис. 3.17. Фрагмент картины 1
Рис. 3.18. Фрагмент картины 1
60
Рис. 3.19. Фрагмент картины 2
Рис. 3.20. Фрагмент картины 2
Рис. 3.21. Фрагмент картины 3
61
Рис. 3.22. Фрагмент картины 3
Рис. 3.23. Фото артиста Ю.М. Юрьева и его сценического костюма,
3D модели Арбенина и Нины для картины 3
62
Рис. 3.24. Фрагмент картины 4
Рис. 3.25. Фрагмент картины 5
Рис. 3.26. Фрагмент картины 6
63
Рис. 3.27. Фрагмент картины 7
Рис. 3.28. Фрагмент картины 7
Рис. 3.29. Фрагмент картины 8
64
Рис. 3.30. Фрагмент картины 8
Рис. 3.31. Фрагмент картины 9
Рис. 3.32. Фрагмент картины 9
65
Рис. 3.33. Фрагмент картины 10
Рис. 3.34. Фрагмент картины 10
Рис. 3.35. Фрагмент картины 10
66
3.4 Компонент «Бесконтактное взаимодействие
с моделями сцены и спектакля на основе жестов»
Программный компонент обеспечивает бесконтактное взаимодействие с трехмерными моделями сцены и спектакля на основе
жестов на базе сенсора Kinect для решения задач управления перемещением камеры внутри сцены, занавесами и персонажами,
музыкальным сопровождением и др., что позволяет организовать
естественную форму взаимодействия с моделями театральных площадок. Приведен пример для картины 3.
Для функционирования компонента необходимо базовое аппаратное и программное обеспечение, приведенное в приложении 1
(настольный вариант), с дополнительными компонентами:
– Сенсор Kinect for Windows;
– Kinect SDK.
Если на компьютере не установлено программное обеспечение
для работы с сенсором Kinect, необходимо установить KinectSDKv1.0-Setup.exe и vcredist_x86.exe.
Для запуска программного приложения и работы с сенсором
Kinect необходимо:
1) Подключить сенсор Kinect.
2) Запустить kinect_app.exe
3) В папке 3DScene3Kinect запустить build.exe из распакованного архива Build.zip.
4) На экране должен появиться диалог выбора разрешения.
После нажатия на кнопку Play должна появиться трехмерная сцена картины 3 спектакля «Маскарад», с возможностью управления
при помощи сенсора Kinect.
Работа с Компонентом.
Перечень жестов взаимодействия с интерактивными трехмерными приложениями для решения задач управления камерой, взаимодействия с персонажами и объектами приложений приведены
в табл. 3.4.
Таблица 3.4
Жесты и клавиши для управления камерой
№
п/п
1
Объект
Действия
3D модель
Перелет к сцене
– картина 3
Переход к показу
модели театра
Жесты
Клавиши
Обе руки вверх
Стрелка
вверх
Обе руки вверх
Стрелка
вверх
67
Продолжение табл. 3.4
№
п/п
Объект
Действия
Жесты
Клавиши
Перемещение:
- привязка к полу
вперед
влево/вправо
назад
2 руки на уровне
плеч вперед
Рука левая/ влево
+ правая/вправо
Левая рука влево
вверх
W/S вперед/
назад,
Q/E поворот
влево/вправо,
A/D – смещение влево/
право
Пауза, после открытия занавеса
Правая рука
вверх
3
Проигрывание
с паузы, после открытия занавеса
Правая рука
вверх
3
Возврат в первый
ряд к закрытому
занавесу, перед
эпизодом 1
Следующий кадр
4
Правая рука
вправо, запястье
и локоть выше
плеча
Выход
2
Бой часов
Alt+F4
Запуск
левая рука вверх
1
и вперед, с поднятой вверх ладонью
Останов
Автоматически
3
Занавес
опущен
Поднять
Вытянутая вперед правая рука
с согнутой к себе
ладонью движется вверх
4
Эпизод 1,
кадры 1-3
Запуск Арбенина
Автоматически
Запуск монолога
Арбенина
Автоматически
Запуск Нины
Автоматически
68
5
2
Окончание табл. 3.4
№
п/п
5
Объект
Переход
в царскую
ложу
Действия
Жесты
Клавиши
Левая рука впра6
во.
Рука должна быть
правее головы,
запястье выше
локтя.
Рис. 3.36. Управление 3D моделью сцены с помощью жестов
На рис. 3.36 приведен скриншот, демонстрирующий использование сенсора Kinect.
69
4. ПРОГРАММНЫЙ КОМПЛЕКС «АУДИОВИЗУАЛЬНОЕ
ДОПОЛНЕНИЕ ЭЛЕКТРОННЫХ И ПЕЧАТНЫХ МАТЕРИАЛОВ
МОДЕЛЯМИ СПЕКТАКЛЯ НА ОСНОВЕ ТЕХНОЛОГИИ
ДОПОЛНЕННОЙ РЕАЛЬНОСТИ»
4.1 Назначение и условия выполнения
Назначение – предназначен для аудиовизуального дополнения
в реальном времени электронных и печатных материалов разработанными моделями сценического оформления спектакля «Маскарад» и справочной информацией на основе технологии дополненной реальности для мобильных устройств с операционной системой
android, что позволяет повысить эффективность решения образовательных и маркетинговых задач
Программное приложение воспроизводится на планшетных
компьютерах рекомендуемой конфигурации, приведенной в приложении 1.
В качестве маркеров используются изображения Арбенина (см.
рис.4.1) и сцены третьей картины спектакля (см. рис. 4.2) из книги «Маскарад. М.: Издательская программа «Интерроса», 2007.
312с.», которые могут использоваться отдельно или в альбоме.
Рис. 4.1. Маркер-изображение «Арбенин»
70
Рис. 4.2. Маркер-изображение «Сцена 3»
Для запуска на планшетном компьютере необходимо запустить
программное приложение Theater_AR.
4.2 Работа с приложением
При наведении тыльной видеокамеры планшета на маркер-изображение на экране появятся интерфейсные элементы и 3D модель,
соответствующая распознаваемым маркерам.
В случае, если маркер не распознался, следует нажать на клавишу фокусировки, расположенную в левом верхнем углу экрана.
Камера устройства произведет автофокусировку и маркер будет
распознан. В дальнейшем необходимо постоянно держать маркер
в поле зрения камеры. Иначе контакт с маркером будет потерян и
необходимо вновь его распознавать.
С каждым маркером связана следующая информация:
– «Арбенин» – анимированная 3D модель Арбенина, фотографии Ю.М. Юрьева и текстовое описание его работы над ролью Арбенина,
– «Сцена» – 3D модель сценического оформления третьей картины из спектакля «Маскарад», несколько фотографий из реального
спектакля и текстовое описание содержания третьей картины.
Приложение может работать в двух режимах – одномаркерном
и мультимаркерном.
Для использования в одномаркерном режиме маркер следует
расположить на ровной горизонтальной поверхности, например на
столе. Желательно ровное искусственное освещение поверхности
маркера.
71
Для мультимаркерного режима используют маркеры «Арбенин» и «Сцена». Маркер «Арбенин» необходимо расположить как
обычно горизонтально, а маркер «Сцена» необходимо расположить
вертикально, т.е. под углом 90 градусов к первому маркеру. Наведя
камеру устройства на маркеры и распознав их необходимо переместить маркеры, не убирая их из поля зрения камеры, друг относительно друга таким образом, чтобы модель Арбенина оказалась на
поверхности модели сцены.
Пользователь может взаимодействовать с 3D моделью: произвести поворот и масштабирование модели, используя сенсорный
экран. Одиночное прикосновение к модели и движение в сторону
приводит в действие поворот модели. Двойное прикосновение с последующим сведением и разведением пальцев приводит соответственно к уменьшению и увеличению размера модели на экране.
Для работы с приложением используются кнопки, приведенные
в табл. 4.1.
При воспроизведении анимации или аудиозаписи можно приостановить воспроизведение, нажав на клавишу «Пауза», которая
имеет значок в виде двух вертикальных палочек и находится на
том же месте, где была расположена клавиша «Воспроизвести» (см.
рис. 4.3).
Открыв галерею, пользователь видит на экране миниатюры изображений с подписями, при нажатии на миниатюру картинка откроется на весь экран, а по бокам от нее появятся клавиши со стрелками
для перехода к просмотру предыдущей или следующей картинки.
Для выхода из полноэкранного режима необходимо нажать на клавиТаблица 4.1
Кнопки управления
Кнопка «Воспроизвести аудиозапись/анимацию»
Кнопка «Галерея»
Кнопка «Текстовое описание»
72
шу «Закрыть» (крестик в правом верхнем углу картинки). Для выхода из просмотра галереи необходимо нажать на сходную по изображению клавишу «Закрыть» в верхнем правом углу экрана.
При ознакомлении с текстовым описанием маркера пользователь может прокручивать текст вверх и вниз с помощью сенсорного
экрана. Одиночное прикосновение с последующим перемещением
точки касания вниз и вверх соответственно.
Примеры скриншотов одномаркерного и мультимаркерного
приложения приведены на рис. 4.3 и 4.4 соответственно.
Рис. 4.3. Одномаркерное приложение
Рис. 4.4. Двухмаркерное приложение
73
ЗАКЛЮЧЕНИЕ
Рассмотренные в рамках практикума программные комплексы,
разработанные в лаборатории компьютерной графики и виртуальной реальности ГУАП, поддерживающие различные реальности
(реальная, дополненная, виртуальная), в которых посетитель взаимодействует с объектами культурного наследия, позволяют:
– повысить доступность коллекций для различных целевых аудиторий, качество и разнообразие форм представления коллекций,
возможность получения нового музейного опыта и влияния на поведение посетителя с целью увеличения количества посещений музея;
– улучшить продвижение продукта на российский и мировой
рынок с учетом принятых международных стандартов;
– увеличить мотивацию и эмоциональную вовлеченность посетителя музея, в т. ч. за счет возможности менять роли «зрительучастник-соавтор»;
– повысить у посетителя формирование индивидуального и
коллективного опыта, недоступными в реальном мире способами,
с учетом его индивидуальных особенностей.
74
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. Сайт Virtual Museum Transnational Network URL: http://
www.v-must.net/(дата обращения 19.09.2016).
2. Технические рекомендации по созданию виртуальных музеев. Актуальная версия 1.0. URL: http://mkrf.ru/documents/
recommendations/virtmuseums (дата обращения 19.09.2016).
3. Распоряжение Правительства РФ от 29.02.2016 N 326-р «Об
утверждении Стратегии государственной культурной политики на
период до 2030 года».
4. Milgram P. et al. Augmented Reality: A class of displays on
reality-virtuality continuum // Proceedings of SPIE. 1994. Vol. 2351.
P. 282–292.
5. Методы и технологии интерактивного погружения: учеб. пособие / А.А.Никитин и др., под ред. А.В.Никитина. СПб.: ГУАП,
2015, 105 с.
6. Сайт лаборатории компьютерной графики и виртуальной реальности Санкт-Петербургского государственного университета аэрокосмического приборостроения. URL: http://guap.ru/labvr (дата
обращения 19.09.2016).
75
ПРИЛОЖЕНИЕ 1
ТРЕБОВАНИЯ К БАЗОВОМУ АППАРАТНОМУ И
ПРОГРАММНОМУ ОБЕСПЕЧЕНИЮ, НЕОБХОДИМОМУ ДЛЯ
ФУНКЦИОНИРОВАНИЯ ПРОГРАММНЫХ КОМПЛЕКСОВ
1. Настольные компьютеры – для функционирования программных комплексов необходимо следующее базовое аппаратное и программное обеспечение:
– Процессор – не ниже Intel Core i5, тактовая частота не менее
3 ГГц;
– Оперативная память не менее 4 Гб;
– Жесткий диск – не менее 10 Гб свободного пространства;
– 3D видеокарта – не менее NVIDIA GeForce GT540, видеопамять не менее 2048 Мб;
– Аудио: интегрированное, возможность подключения систем
2.0, 2.1, 5.1, 7.1;
– MS Windows 7 и выше;
– Монитор: с разрешением не менее 1920х1080 пикселей.
2. Планшетные компьютеры – для функционирования программных комплексов необходимо следующее базовое аппаратное
и программное обеспечение:
Экран:
– Размер дисплея – 10 дюймов и выше;
– Разрешение – не менее 1280 x 800 (рекомендуемое 1920х1200)
пикселей и выше;
– Multi-touch сенсорный дисплей;
Аппаратная часть: – Частота процессора – 1,5 ГГц и выше;
– Оперативная память – 1 Гб и выше;
– Встроенная память – 32 Гб и выше;
– Видеопроцессор;
Камера:
– Камера тыловая – 5 МПикс и выше;
– Камера фронтальная – 2 МПикс и выше;
Звук:
– Динамики;
– Микрофон встроенный;
Беспроводные интерфейсы: – Wi-Fi;
Сенсоры:
– Компас;
76
– G-sensor (положение в пространстве);
– Датчик освещенности;
– Датчик ускорения;
– Автоматическая ориентация экрана;
– GPS;
Подключение: – Поддерживаемые типы карт памяти – microSD;
– mini HDMI;
– USB;
Питание:
– Емкость аккумулятора – 4500 мАч и выше;
– Время работы в режиме просмотра видео – 8 час и выше;
– Дополнительно – время автономной работы – 9 часов и выше.
Операционная система – Android 4.0. и выше
77
СОДЕРЖАНИЕ
Введение...................................................................................
3
1. Программный комплекс «История крепости Ям»........................
5
2. Программный комплекс «Предмет истории
и история предмета»...................................................................
33
3. Программный комплекс
«Театр интерактивного погружения»............................................
48
4. Программный комплекс «Аудиовизуальное дополнение
электронных и печатных материалов моделями
спектакля на основе технологии дополненной реальности»..............
70
Заключение..............................................................................
74
Список использованных источников.............................................
75
Приложение..............................................................................
76
78
Учебное издание
Никитин Александр Александрович
Никитин Александр Васильевич
Никитина Анна Александровна Решетникова Нина Николаевна
КУЛЬТУРНОЕ НАСЛЕДИЕ
В РЕАЛЬНО-ВИРТУАЛЬНОМ
КОНТИНУУМЕ
Лабораторный практикум
Публикуется в авторской редакции.
Компьютерная верстка М. И. Дударевой
Сдано в набор 31.10.16. Подписано к печати 30.11.16. Формат 60 × 84 1/16.
Бумага офсетная. Усл. печ. л.4,59 . Уч.-изд. л. 4,94.
Тираж 50 экз. Заказ № 462.
Редакционно-издательский центр ГУАП
190000, Санкт-Петербург, Б. Морская ул., 67
Документ
Категория
Без категории
Просмотров
1
Размер файла
11 231 Кб
Теги
0166f791df, nikitin
1/--страниц
Пожаловаться на содержимое документа