close

Вход

Забыли?

вход по аккаунту

?

Ignatiev

код для вставкиСкачать
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
Государственное образовательное учреждение
высшего профессионального образования
САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
АЭРОКОСМИЧЕСКОГО ПРИБОРОСТРОЕНИЯ
АРХИТЕКТУРА ВИРТУАЛЬНЫХ МИРОВ
Монография
Под научной редакцией
М. Б. Игнатьева, А. В. Никитина, А. Е. Войскунского
Санкт-Петербург
2009
УДК 004.2
ББК 32.973
А87
Утверждено редакционно-издательским советом университета
в качестве монографии
Рецензенты:
доктор технических наук, профессор В. Ф. Мелехин;
доктор технических наук, профессор,
академик Российской Академии Образования Б. Я. Советов
А87
Архитектура виртуальных миров: монография / авт. кол.:
А. Е. Войскунский, М. Б. Игнатьев, С. А. Козловский, А. А. Никитин, А. В. Никитин, Н. Н. Решетникова, С. П. Сенющенков,
О. В. Смыслова, М. А. Селисская, С. С. Трошин; под науч. ред.
М. Б. Игнатьева, А. В. Никитина, А. Е. Войскунского. –
2-е изд., перераб. и доп. – СПб.: ГУАП, 2009. – 288 с.: ил.
ISBN 978-5-8088-0463-0
Даются общие представления о виртуальных мирах, а также концепции присутствия человека в виртуальной среде и сенсорных ограничениях человека, которые необходимо учитывать при создании виртуальных
миров. Анализируется структура реально-виртуального континуума
и разбираются его основные элементы – виртуальные и смешанные миры,
а также связанные с ними мультимодальные интерфейсы, вопросы адаптивности и структурированной неопределенности. Рассматриваются программные и аппаратные платформы для создания виртуальных миров,
представлены некоторые рекомендации по их применению и примеры реализации различных проектов на их основе.
Монография предназначена для научных работников и специалистов
из различных областей, в своей работе использующих новые технологии,
а также может быть использована в качестве учебного материала при подготовке бакалавров, специалистов, магистров и аспирантов по направлениям «Информатика и вычислительная техника», «Режиссура мультимедиапрограмм» и другим.
ISBN 978-5-8088-0463-0
УДК 004.2
ББК 32.973
© ГУАП, 2009
© Коллектив авторов, 2009
СОДЕРЖАНИЕ
ПРЕДИСЛОВИЕ........................................................... ВВЕДЕНИЕ.................................................................. Глава 1. СОВРЕМЕННЫЕ ПРЕДСТАВЛЕНИЯ
О ВИРТУАЛЬНЫХ МИРАХ........................................... 1.1. Миры реальные и виртуальные............................. 1.2. Лингво-комбинаторное моделирование.................. 1.3. Представление о виртуальных реальностях
в современном гуманитарном знании........................... 1.4. Система реальностей: психология и технология...... 1.5. Сенсорные характеристики человека
и их ограничения...................................................... 1.5.1. Зрительная система...................................... 1.5.2. Слуховое восприятие.................................... 1.5.3. Психология и физиология тактильного
(гаптического) восприятия..................................... 1.5.4. Интеграция ощущений при мультимодальном
взаимодействии.................................................... Глава 2. ЭЛЕМЕНТЫ РЕАЛЬНО-ВИРТУАЛЬНОГО
КОНТИНУУМА............................................................ 2.1. Концепция реально-виртуального континуума....... 2.2. Виртуальные миры............................................. 2.3. Расширенная реальность и расширенная
виртуальность.......................................................... 2.4. Мультимодальный интерфейс.............................. 2.5. Адаптивные гипермедиа и виртуальные миры........ 2.6. Виртуальные миры как системы со структурированной неопределенностью..................................... Глава 3. ВОПРОСЫ РЕАЛИЗАЦИИ И ПРИМЕНЕНИЯ
ВИРТУАЛЬНЫХ МИРОВ.............................................. 3.1. Авторские платформы ........................................ 3.2. Электронное образование..................................... 3.2.1. Виртуальный мир университетов
Санкт-Петербурга................................................. 3.2.2. Инновационные технологии образования
на примере преподавания русского языка
как иностранного.................................................. 3.3. Тренажеры (на примере кибернетического
велосипеда).............................................................. 3.4. Культурное наследие .......................................... 5
8
9
9
20
33
41
59
61
89
94
98
100
100
101
109
125
149
157
171
171
182
182
185
197
209
3
3.4.1. Интерактивная трехмерная реконструкция
«Святилище Аполлона в Дельфах».......................... 3.4.2. Интерактивная экспозиция «Христианские
святыни на Святой Земле»..................................... 3.5. Тематические комплексы (на примере «Панорамы
битвы за Ленинград»)................................................ 3.6. Психология и психотерапевтическая практика ...... 3.6.1. Применение систем виртуальной реальности
в психологии........................................................ 3.6.2. Применением систем виртуальной реальности
в психотерапевтических целях ............................... 3.6.3. Адаптация системы виртуальной реальности
для организации психологической помощи ............. 3.7. Рекомендации по созданию и использованию
виртуальных миров.................................................. ЗАКЛЮЧЕНИЕ............................................................ Литература.................................................................. 4
209
214
223
235
235
244
247
261
272
274
ПРЕДИСЛОВИЕ
Второе издание монографии подготовлено совместно сотрудниками подразделений Санкт-Петербургского государственного
университета аэрокосмического приборостроения (ГУАП) – кафедры вычислительных систем и сетей, Института компьютер­
ного интерактивного моделирования, Межвузовского центра
инновационных технологий образования и Международного института кибернетики и артоники, а также сотрудниками факультета психологии Московского государственного университета
им. М. В. Ломоносова (МГУ).
В 2005 г. М. Б. Игнатьев, А. В. Никитин и Н. Н. Решетникова
стали лауреатами премии Президента России за комплекс инновационных разработок «Образовательные виртуальные миры Петербурга».
Авторы признательны академику РАН Я. Б. Данилевичу, научным сотрудникам Б. Н. Миронову и В. А. Сапожникову за участие в создании кибернетического велосипеда, а также заместителю декана филологического факультета Санкт-Петербургского
государственного университета Е. Е. Юркову и его сотрудникам
за совместную проработку вопросов использования виртуальных
миров в процессе преподавания русского языка как иностран­
ного.
По инициативе общественных организаций (Союза воспитанников детских домов блокадного Ленинграда, Жителей блокадного Ленинграда, Ассоциации историков битвы и блокады Ленинграда и др.) и совместно с Государственным мемориальным
музеем обороны и блокады Ленинграда была разработана демонстрационная версия проекта создания панорамы битвы за Ленинград на основе новых информационных и коммуникационных
технологий. Всем им авторы благодарны за реализацию столь
важной для Санкт-Петербурга темы.
Беседы авторов с профессором Джеффри Шоу, известным специалистом в области мультимедийных технологий, во время
встреч в Карлсруэ, в Zentrum fur Kunst und Mediatechnоlogy
и в Сиднейском университете в Австралии, где он возглавляет
Институт интерактивного кино, во многом способствовали более
глубокой проработке проблем виртуальных миров.
Неоценимую помощь в создании электронных образовательных ресурсов нового поколения на основе виртуальных миров
5
в рамках межвузовской комплексной программы «Инновационные технологии образования», что послужило материалом для
монографии, оказала проректор по информатизации, заведующая кафедрой Московского государственного университета прикладной биотехнологии М. М. Благовещенская.
Авторы также выражают признательность заместителю директора Государственного музея истории религии по научной работе Е. А. Терюковой и сотрудникам Музея за совместные работы
в области исторического культурного наследия, существенно расширивших как культурный кругозор авторов, так и опыт применения технологии виртуальных миров.
Авторы благодарят доктора искусствоведения, заведующую
кафедрой интерактивного искусства Санкт-Петербургского государственного университета кино и телевидения Н. И. Дворко, заведующего кафедрой режиссуры музыкального театра Санкт-Пе­
тербургской государственной консерватории им. Н. А. РимскогоКорсакова, народного артиста РФ С. Л. Гаудасинского и сценографа Т. В. Астафьеву за обсуждение проблем режиссуры мультимедиа
и вопросов создания и использования электронных декораций.
Авторский коллектив благодарит ректора ГУАП А. А. Оводенко, проректора В. И. Хименко, декана А. П. Шепету и заведующего кафедрой М. Б. Сергеева за оказанную помощь в издании
монографии. Также авторы выражают признательность сотрудникам Редакционно-издательского центра ГУАП – Н. В. Назаровой, В. А. Черниковой, С. В. Барашковой, содействующим выходу книги на всех этапах ее подготовки.
Особо следует сказать о студентах и аспирантах ГУАП, обучающихся по специальности «Вычислительные системы, машины,
комплексы и сети», которые были не только терпеливыми слушателями лекционных курсов, которые читали им авторы этой книги, но и активными участниками творческих процессов по развитию технологии смешанных и виртуальных миров через свои
курсовые и дипломные работы.
Терминология в области смешанных и виртуальных миров
пока не устоялась, поэтому авторы монографии использовали
оригинальные термины на английском языке и, где это возможно, давали варианты их перевода на русский язык.
Работа авторского коллектива по написанию монографии распределилась следующим образом: кандидат психологических
наук, старший научный сотрудник А. Е. Войскунский (МГУ) –
6
п.п. 1.3, 1.4, 3.6; доктор технических наук, профессор М. Б. Игнатьев (ГУАП) – п.п. 1.1, 1.2, 2.6, 3.3, 3.5; кандидат психологических наук, научный сотрудник С. А. Козловский (МГУ) – п. 1.5.1;
научный сотрудник А. А. Никитин (ГУАП) – п.п. 2.5, 3.1–3.3, 3.5;
кандидат технических наук, доцент А. В. Никитин (ГУАП) –
п.п. 2.1–2.5, 3.1–3.5, 3.7; кандидат технических наук, доцент
Н. Н. Решетникова (ГУАП) – п.п. 3.1–3.2, 3.7; психолог М. А. Селисская (МГУ) – п. 1.4; психолог С. П. Сенющенков (МГУ) –
п. 3.6.3; кандидат психологических наук О. В. Смыслова (МГУ) –
п.п. 1.5.2–1.5.4; научный сотрудник С. С. Трошин (ГУАП) – п.п. 2.4,
3.1–3.5.
Основу монографии составили три главы. В первой главе рассматриваются общие представления о виртуальных мирах, а также концепции присутствия человека в виртуальной среде и сенсорные ограничения человека, которые необходимо учитывать
при создании виртуальных миров. Во второй главе анализируется структура реально-виртуального континуума и разбираются
его основные элементы – виртуальные и смешанные миры, а также связанные с ними мультимодальные интерфейсы и вопросы
адаптивности и структурированной неопределенности. В третьей
главе рассматриваются программные и аппаратные платформы
для создания виртуальных миров, даются некоторые рекомендации по их применению и примеры реализации различных проектов на их основе.
Авторы понимают сложность проблемы и будут благодарны читателям за высказанные мнения и пожелания, которые можно присылать по электронной почте: kira@robotek.ru, nike51@aanet.ru,
nike51@mail.ru, или по адресу: 190000, Санкт-Петербург, ул. Большая Морская, 67, ГУАП.
7
ВВЕДЕНИЕ
На обложке этой книги изображено рукопожатие человека,
оснащенного кибернетической перчаткой и специальным шлемом с дисплеями, и аватара с человеческим обликом, что символизирует взаимодействие реальных и виртуальных миров.
О виртуальности, особенно в ее бытовом понимании, размышляют как обычные люди, так и специалисты разных областей
знаний.
Так, философы отталкиваются от того, что виртуальное противостоит действительному, и прослеживают его становление
и влияние на общество от Античных времен до наших дней.
Представители технических наук, в первую очередь, рассмат­
ривают различные архитектуры виртуальных и смешанных миров и аппаратно-программные платформы их реализации.
Представления о виртуальности привлекают и специалистов
в области наук о человеке. Например, физиологи и психологи
анализируют возможности восприятия (зрительного, слухового,
тактильного и др.) и присутствия человека в виртуальных средах,
а медики и этнографы исследуют так называемые «измененные»,
или необычные, состояния сознания, свойственные не только людям, страдающим различными зависимостями (алкоголизм, наркомания и др.), психическими заболеваниями или загипнотизированным пациентам, но и практически каждому человеку, способному видеть и запоминать сны. Как известно, анализ сновидений – один из основных методов классического психоанализа,
а нейрофизиологическая и нейропсихологическая природа сновидений до сих пор не раскрыта в должной степени.
В предлагаемой книге авторы исходят из собственного представления о виртуальных и смешанных мирах, которое сформировалось в результате обобщения мирового и личного опыта. Их
развитие и применение связано, с одной стороны, с постепенным
удешевлением и непрерывным ростом возможностей вычислительной техники, с другой, с новыми концепциями использования возможностей человека – его сенсорики и моторики, восприятия, воображения и др.
8
ГЛАВА 1. СОВРЕМЕННЫЕ ПРЕДСТАВЛЕНИЯ
О ВИРТУАЛЬНЫХ МИРАХ
1.1. Миры реальные и виртуальные
«Мир» – одно из самых общих многозначных понятий. Мир –
это и совокупность всех форм материи в земном и космическом
пространствах, это и отдельная часть Вселенной, это и Земля со
всем существующем на ней, все живое, все окружающее. Мир –
это и человеческое общество, объединенное определенным общественным строем, культурными и социально-историческими
признаками (например, Античный мир), это и животный мир,
растительный мир, мир красок, мир звуков. Мир – это круг явлений психической жизни, чувств, переживаний, представлений,
духовный мир человека. В отличие от этой лексемы в английском
языке, русское слово «мир» означает также согласие, отсутствие
вражды и войны, в английском для этого служит слово «peace»,
что отражает особенности национального мышления. В Кембриджском словаре слово «мир» определяется прежде всего как
«world everything». В немецком эти слова тоже различаются –
мир как Вселенная «Welt», мир как покой – «Frieden». Во французском мир как Вселенная – «monde», «univers», а мир как покой – «paix». В испанском мир как Вселенная – «mundo», мир как
спокойствие – «paz». На польском мир как Вселенная – «swiat»,
мир как покой – «zgoda», «pokoj». Кстати, до революции 1917 г.
в русском языке мир как Вселенная обозначался как «мiръ»,
а мир как покой – «миръ».
Но уже давно существует разделение на мир реальный и мир
воображаемый. Человеческая психика с развитой способностью
к воображению позволяла и позволяет осуществлять мысленное
моделирование разнообразных ситуаций и тем самым предвидеть последствия тех или иных действий и предостерегать от
опасности. Человек при рождении получает от своих родителей
генетическую информацию, которая содержит некоторые сведения об окружающем мире. Эти сведения в процессе жизни пополняются за счет взаимодействия с другими людьми, с окружающей обстановкой, через систему образования и средства массовой информации, за счет случайности биографии – места и времени рождения, семьи, окружающей среды и т. д. В результате
у каждого человека формируется свое представление о мире, ко9
торое проявляется в процессе деятельности этого человека и умирает вместе с ним.
В свое время Альбер Камю сказал, что мышление – это новое
сотворение мира. Каждый человек является носителем своего воображаемого, виртуального мира, который формируется в зависимости от случайностей биографии этого человека. Таким образом, человечество – это множество виртуальных миров. По мере
развития общества источники для формирования этих миров изменялись. Сначала рядом с человеком появилась книга, которая
необычайно расширила его кругозор, потом рядом появился телефон и телевизор. В настоящее время рядом с человеком появился
компьютер, подключенный ко всемирной Сети, и каждый человек стал частью гибридного интеллекта человечества. Граница
между реальными и виртуальными мирами размыта.
При обсуждении вопросов о виртуальных мирах нельзя обойти проблему сна и сновидений. Это большая и сложная проблема.
В свое время Фрейд предложил психоаналитическое представление о сне и сновидениях. Он считал, что источником сновидений
служат скрытые сексуальные влечения человека, которые он
и удовлетворяет в такой символической форме. Его ученик и не
менее выдающийся психолог Карл Юнг во сне, помимо символов
индивидуального подсознания, наблюдал и коллективное подсознание, а потому сновидения нужно рассматривать как момент
жизни, над которым властвует бессознательное, погружая человека в параллельную реальность. В настоящее время складывается научное направление по моделированию происхождения
и функционирования сознания человека на основе процессов
бодрствования и сна.
С развитием компьютеров появляется все больше аналогий
между работой нервной системы человека и компьютерами. Наш
мозг внешне похож на гриб – сверху, как шляпка, кора полушарий, а ножку гриба составляет ствол мозга, есть еще очень важный отросток – мозжечок. В стволе мозга есть такая структура –
ретикулярная формация, которая регулирует мышечный тонус,
осуществляет связь и интерпретацию сигналов, идущих от коры
к спинному мозгу, и т. д. До года ребенок – «стволовое существо»,
с 1 до 1,5 года функции развития и общения контролирует в большой мере лимбическая система. Кора больших полушарий
к 16 годам заканчивает свое развитие. До этого она функционирует во многом как пассивный обучаемый нижележащими струк10
турами отдел центральной нервной системы и только готовится
к своей ведущей роли. Кору полушарий можно сравнить с суперпроцессором, надстроенным над компьютером, уже и без того достаточно совершенным. Язык в большой степени освобождает человека от непосредственного влияния органов чувств. Он дает
инструмент для представления отсутствующих предметов и для
гипотетического манипулирования ими в воображении. Имеется
несколько мозговых механизмов для координации чувств, для
отождествления предмета, который мы осязаем, с предметом, который мы видим, и обоих – с предметом, который можем назвать.
Область Вернике в левой височной доле делает нас способными
понимать речь. Область Брока в складках лобной доли лежит рядом с мозговым полем, которое координирует движения языка,
губ, мягкого неба и голосовых связок. Область Брока контролирует поток слов от мозга ко рту. Каждую минуту две сотни слогов
слаженно и четко синхронизируются в речь. Когда слова услышаны, звуки доходят до слуховой области коры, откуда поступают в виде неврологического кода к соседней области Вернике.
Здесь они расшифровываются в понятные картины речи (речевые
образы). Третий мозговой – речевой центр – угловая извилина,
которая трансформирует речевые звуки в зрительные образы, необходимые для письма.
Каждый человек в той или иной степени является архитектором виртуальных миров. Далее мы будем уточнять понятия, связанные с виртуальными мирами.
Еще одно общее понятие, которым мы будем пользоваться, –
«архитектура». Необходимость использования приемов архитектуры при проектировании ЭВМ была осознана в 60-х годах ХХ в.
и реализована при создании семейства машин IBM-360. Признание компьютерной архитектуры было первым шагом в расширении понятия архитектуры за традиционные рамки ее понимания
как архитектуры зданий. Далее понятие архитектуры распространилось на все виды систем, и заговорили об архитектуре решения системных задач. В Оксфордском словаре архитектура
определяется как «искусство или наука построения или конструирования любых сооружений для нужд людей», как «действие
и процесс построения», как «здание или сооружение». Таким образом, термин «архитектура» имеет три разных толкования – это
и определенная научная дисциплина, и определенный вид человеческой деятельности, и определенный результат этой деятель11
ности. Две ключевых характеристики архитектуры: во-первых,
архитектура связана с проектированием, конструированием, построением и другими процессами создания искусственных объектов; во-вторых, она имеет дело с использованием созданных
человеком объектов. Хотя архитектура и ориентирована на проектирование, конструирование и построение, полностью все эти
виды деятельности она не охватывает. Таким образом, архитектор является проектировщиком, работа которого завершается
другими людьми. Его роль состоит в наблюдении за проектом на
глобальном уровне, он занимается аспектами проекта, включающими любые интерфейсы с пользователями. Архитектор обязан
учитывать возможности технологии и экономические ограничения, чтобы быть уверенным в реализуемости проекта.
Человек живет в двух мирах – в мире природы и в мире культуры, в мире вещей и в мире знаков, идей. Вещи, созданные как
природой, так и самим человеком, – материальный субстрат нашего мира. Мир знаков, обладающий гораздо большим разно­
образием, связан с вещами, но сложными и часто неуловимыми
отношениями. Мир вещей, вроде бы предназначенных для какойто «полезной» цели, на самом деле, дорог нам как образы, знаки,
отражающие человеческие отношения. В жизни крестьян потребность в образах в огромной степени удовлетворяется как бы сама
собой – связью с природой и людьми, типом труда. В городе эта
потребность покрывается производством огромного количества
вещей-знаков, «ненужных» вещей. В советское время престарелые идеологи клеймили вдруг вспыхнувший в нашем скромном
человеке «вещизм». Стоявшая за ним потребность подавлялась
средствами государства – и она в конце концов вырвалась из-под
гнета в уродливой форме. Как решил (или хотя бы на время смягчил) эту проблему Запад? В целом городское общество Запада стало безрелигиозным, но наполнилось огромным количеством фетишей – вещей-образов. Отношения людей приобрели форму отношений вещей и были ею замаскированы. Поскольку речь шла,
прежде всего, об образах, стало возможным наращивать их потребление с относительно малым увеличением материальной
основы – пойти по пути создания «виртуальной реальности».
Важнейшей частью жизни Запада стали витрины – вид вещей,
которые потреблялись уже как образы, без покупки их носителей. На Западе подавляющее большинство посетителей крупных
универмагов просто ходят, разглядывают витрины, не собираясь
12
ничего покупать. Почти столь же нематериальным, но очень важным стал мир запахов, который сильно действует на настроение.
Следующим шагом стала современная реклама: образ создавался прямо в пространстве, в эфире. Суть рекламы – вовсе не
в информации о реальных товарах, которые человек должен купить. Главное – создание изобилия образов. Только кажется, что
это – отражение изобилия вещей и возможностей. Реклама – иллюзия, часть вымышленной, виртуальной реальности, в которой
живет человек Запада.
К проблеме «голода на образы» тесно примыкает другая потребность – потребность в неопределенности, в приключениях.
Как биологический вид человек возник и развился в поиске и охоте. Стремление к приключениям заложено в нас биологически, на
инстинктивном уровне, оно было важным фактором эволюции
человека. Масс-культура Запада, Голливуд поставляют множество фильмов, которые вовлекают человека в приключения, в детективные истории. Интерактивные виртуальные миры предполагают гораздо бóльшее погружение, вовлеченность, чем пассивный просмотр кинофильмов. Вовлеченность зрителей в принятие
решений, в отгадку слов демонстрируется в различных ток-шоу,
конкурсах типа «Что? Где? Когда?», «Поле чудес», «Кто хочет
стать миллионером?» и т. д.
Испокон веков искусство было средством создания виртуальных миров с опорой на человеческое воображение. Некоторые выстраивают отношения с искусством исходя из математики, но искусство гораздо богаче методами, приемами, образами, чем математика, и именно искусство является источником новых идей
для информатики. Также и с бионикой – именно биологические
структуры – источник новых идей для техники. В последнее время оформилось новое научное направление – артоника, основанное на изучении структур и методов искусства и использовании
их в различных компьютерных программах и системах.
У каждого человека есть свое представление о мире, которое
сложилось на основе невербальной и вербальной информации.
Это представление о мире и есть виртуальный мир конкретного
человека, который непрерывно дополняется и модифицируется.
У другого человека складывается другое представление о мире,
складывается другой виртуальный мир. Эти миры частично пересекаются, но никогда полностью не совпадают, так как люди
отличаются друг от друга и имеют различный жизненный опыт.
13
В компьютерах вычислительной системы тоже хранятся изображения, звуки, слова, которые составляют компьютерный виртуальный мир. Компьютерные виртуальные миры пересекаются по
содержанию с человеческими виртуальными мирами, это пересечение позволяет им совместно общаться и работать. Для того чтобы человек мог жить и работать в реальном мире, его виртуальный мир должен отражать существенные черты мира реального,
иначе он не смог бы ориентироваться в мире реальном, т. е. виртуальный мир должен быть таким, чтобы в нем были представлены
все существенные элементы мира реального. В психологии используется понятие субъективного мира человека. Мы осознанно
откажемся от его использования, хотя, конечно, понятия виртуального мира и субъективного мира пересекаются. Могут быть
различные предложения по структуре эгоцентричного мира человека. Мы предлагаем в качестве его главных элементов выделить следующие семь.
Во-первых, это население. Ребенок после рождения знакомится прежде всего со своей матерью (импринтинг), потом с другими
людьми, которые характеризуются своими генетикой, здоровьем,
образованием, занятостью и т. д. В мире формируется информационное общество, островки компьютеризации объединяются
в виртуальные миры. Возникли виртуальные миры финансовых
банков, здравоохранения, различных производств, возникли
виртуальные предприятия в торговле, на транспорте, в образовании, население которых представляется агентами, являющимися аппаратно-программными комплексами и выполняющими задания своих принципалов – людей, будучи их помощниками
и представителями в различных структурах. Таким образом, население виртуального мира – это не только образы людей, но
и агенты.
Во-вторых, пассионарность, устремления людей. Мать стремится защитить своего ребенка. В обществе складываются социальные группы, имеющие разные интересы. Основой пассионарности является свобода воли людей, свобода выбора тех или иных
решений конкретных проблем. При этом необходимо учитывать
наличие различных ограничений. Социологические опросы позволяют выявлять и изучать устремления социальных групп.
В-третьих, территория. По мере развития ребенка эта территория расширяется – от детской кроватки через освоение комнаты,
квартиры, двора, школы, города вплоть до освоения территории
14
всей планеты. Геоинформационные системы подробно описывают территорию в различных масштабах.
В-четвертых, производство – это то, что может делать человек – сначала по обслуживанию самого себя (личная гигиена),
а потом других людей – проектировать и производить машины,
учить, лечить и т. п. Для производства человек использует различные предметы, артефакты – от соски, бутылочки с молоком
и горшочка, через компьютер до автомобиля и ракетоплана. Самый главный артефакт – естественный язык.
В-пятых, экология и безопасность, которая опирается на врожденные инстинкты самосохранения и включает борьбу с компьютерными вирусами.
В-шестых, финансы, средства эквивалентного обмена.
В-седьмых, внешние связи. Деление на своих и чужих, обмен
и обман, торговля и т. д. Внешние связи характеризуются входящими и выходящими потоками людей, информации, энергии
и других ресурсов.
Такова предлагаемая нами структура виртуального мира человека, каждый из этих блоков, естественно, может быть расширен. Аналогичной должна быть структура компьютерных виртуальных миров.
Процесс происхождения человека до сих пор остается загадкой, но можно с уверенностью утверждать, что люди вышли победителями в соревновании с другими животными благодаря более высоким адаптационным возможностям. Они не только добывали пищу и производили вещи – одежду и орудия труда и борьбы, но они производили еще и идеи, создали такую мощную
моделирующую систему, как естественный язык. Язык – средство общения, делающее доступным познанию не только те объекты, с которыми достижимо реальное взаимодействие. Речь выступает как способ организации своего и чужого поведения и как
орудие анализа внешней среды, поскольку слово, с одной стороны, выделяет объект из среды, давая ему имя, а с другой – включает его в категорию сходных. В настоящее время на нашей планете Земля функционирует около 6 тысяч естественных языков,
на одних языках разговаривают многие миллионы людей, на других – лишь сотни человек.
По мере развития человечества развивалась специализация
и кооперация в производстве идей и вещей. На отдельных территориях планеты складывались сообщества людей со своим язы15
ком и культурой. Внутри этих отдельных сообществ, с учетом
природных особенностей территорий, складывались свои производства сельскохозяйственных товаров, одежды, орудий труда
и военной амуниции, со своими верованиями и религиями, со
своим фольклором.
Один из вариантов этого взаимодействия определяется в рамках лингво-комбинаторного моделирования. Другая схема взаимодействия описывается с помощью социокультурных циклов.
Параллельно с этими процессами происходила виртуализация общества, когда непосредственное взаимодействие между
людьми и природой, между людьми и искусственными объектами, созданными людьми (зданиями, дорогами и пр.), между людьми и другими людьми осуществлялось не напрямую, а посредством различных артефактов. Например, после изобретения
письменности люди стали обмениваться информацией с помощью
писем и книг, а после изобретения телефона, телевизора и компьютера – через системы электронной связи, что открыло большие возможности для манипуляции сознанием. По мере развития информационных технологий человек оказывается все больше окруженным виртуальными структурами, которые постепенно отсекают непосредственные контакты человека с естественной
и искусственной средой. Различные аспекты виртуализации общества можно проследить с помощью социокультурных циклов.
На протяжении многих веков сложились локальные социокультурные циклы, на отдельных территориях они переплетались, взаимодействие социокультурных циклов сопровождалось
войнами, поглощениями и взаимным обогащением или разорением, о чем свидетельствует история человечества.
Под воздействием научно-технического прогресса в XV–
XVI вв. начал складываться глобальный социокультурный цикл.
Путешествия через океаны Колумба, Магеллана и многих других
вовлекли в торговый оборот и в обмен культурными ценностями
все континенты и народы. По мере развития средств транспорта
и связи развитие глобального социокультурного цикла привело
к сокращению числа действующих естественных языков, через
десять лет их количество сократится до шестисот, и будет утеряно богатство разнообразия в способах описания и постижения
мира, возникли острые противоречия с развитием локальных социокультурных циклов. Например, пивовары Германии протестуют против экспансии больших пивных корпораций, произво16
дители традиционной одежды в Южной Америке протестуют
против засилья американских и китайских товаров и т. д. Глобализация общества, наряду с положительными эффектами, привела к усилению социального неравенства между людьми и народами и возникновению концепции «золотого миллиарда». Наиболее ярким образом эти тенденции проявились в эволюции финансовой системы.
Виртуализация общества проходила, прежде всего, на основе
печатных сообщений. Изобретение книгопечатания в эпоху Возрождения, возможность сравнительно дешевого тиражирования
книг – вплоть до новых технологий печати – привели к широкому распространению образования. Появление компьютеров породило надежду, что поток бумажной продукции уменьшится, но
этого не произошло; наоборот, компьютер облегчил процессы редактирования печатных изданий, стал основой малотиражных
изданий и стал использоваться как печатный станок. В конечном
счете, количество печатной продукции в мире только выросло.
Таким образом, книга – своего рода источник порождения виртуальных миров, опирающийся на возможности человеческого воображения.
Искусство изображения в двух или трех измерениях (живопись и скульптура) является одним из главных элементов культуры. Виртуализация общества на основе изобразительных сообщений прошла большой путь от наскальной живописи первобытных
людей, через художественные галереи и музеи вплоть до машинной трехмерной интерактивной графики. В отличие от письменности, которая дробит изображение словами, живопись сразу,
симультантно, целостно предъявляет образ.
В современном мире музыка представляет собой нечто очень
важное, по крайней мере, с количественной стороны, средства
массовой информации – радио и телевидение – обрушивают на
людей массу музыкальных сообщений разного качества, происходит виртуализация общества на основе музыкальных сообщений вплоть до музыкальных компьютерных синтезаторов и кругового звука.
Театр является синтезатором различных сообщений, и именно в театре родились виртуальные миры в целостном виде, где
изображение, трехмерная сцена, музыка, тексты, игра актеров
погружают зрителей в виртуальные миры. Виртуализация общества на основе театральных сообщений еще более усилилась с по17
явлением кино, а потом и телевидения, возникло интерактивное
кино на основе компьютерных технологий.
Различают три мира – платоновский математический, физический и ментальный, и три связывающие их фундаментальные
загадки, что представлено на рис. 1.1 [55].
Все мы пользуемся деньгами – и бумажными, и электронными, и не задумываемся над тем, какую длинную и сложную эволюцию прошли представления о деньгах как средстве эквивалентного обмена, какого большого воображения потребовало введение денег вместо натурального обмена товара на товар, каких
усилий потребовало установление соглашений между людьми,
чтобы они поверили в прочность финансовой системы и могли ей
доверять свои сбережения, многолетние плоды своих трудов.
В России все мы были свидетелями того, как обесценились наши
деньги в начале 1990-х годов, когда пропали трудовые сбережения в сберкассах, свежо впечатление от дефолта 1998 г. и совсем
недавняя паника лета 2004 г., когда люди бросились в банки, чтобы забрать свои вклады. У каждого современного человека имеется свое представление о финансовой системе, свой личный виртуальный финансовый мир, который модифицируется и развивается, на который оказывают большое влияние средства массовой
информации, слухи и разговоры окружающих. Из всех сфер человеческой деятельности наибольшие изменения за последние
50 лет произошли именно в финансовой системе. В 1950 г. на мировых биржах играли тысячи очень богатых людей, в 2000 г. на
мировых биржах играют уже десятки миллионов не только богатых, но и небогатых людей. Почему это произошло? Потому что
получили большое развитие компьютерные технологии и средства связи. С начала 1950-х годов наибольшее количество инвестиций в развитие вычислительной техники и средств связи деПлатоновский
математический мир
Физический мир
Ментальный мир
Рис. 1.1. Три основы мироздания по Р. Пенроузу
18
лали именно финансовые структуры, что привело сначала к появлению пластиковых карт, кредитных карточек для расчетов
вместо наличных денег, позволяющих ускорить оборот финансовых средств более чем в десять раз, но и потребовало разработать
сложные устройства для считывания карточек, банкоматы, объединить системами связи многие тысячи магазинов и банков, создать системы защиты и т. д. Таким образом, развитие финан­
совых структур шло рука об руку с развитием компьютерных
систем и телекоммуникаций, в итоге в начале XXI в. мы имеем
гигантскую финансовую систему с огромным финансовым капиталом на много триллионов долларов; в основном это виртуальные деньги, не обеспеченные товарами и драгоценными металлами. Размер этих виртуальных средств устрашает – он больше
суммы многих национальных бюджетов. От стабильности этого
«финансового монстра» зависит благополучие многих народов
и государств, этот итог соизмерим с созданием атомного оружия
в конце 1940-х годов и еще более опасен.
Таковы факты по созданию всемирного финансового виртуального мира. Как же функционирует этот мир, как им управлять? Для того чтобы разобраться в этих проблемах Нобелевский
комитет в 1969 г. учредил специальную Нобелевскую премию по
экономике, которой ежегодно отмечаются наиболее значительные работы по финансово-экономическим проблемам. Наряду
с этим, на биржах стали создавать специальные визуальные среды, на которых рост и падение котировок акций изображалось
с помощью морских волн, которые могли возрастать и убывать,
и можно было одним взглядом оценить ситуацию на рынке.
В настоящее время мы имеем ситуацию мирового финансового
кризиса, который постепенно переходит в кризис экономический
и политический. Современная мировая система начала складываться в результате Бреттон-Вудских соглашений, которые сложились во время Второй мировой войны и отражали полное доминирование США в мировой финансовой системе, при этом
адекватно отражали то, что было в реальности. СССР в мировую
финансовую систему не входил, Германия, Япония, Франция
и другие конкуренты США лежали в развалинах, Великобритания тоже была подорвана. США тогда реально царили в финансовом мире. Бреттон-Вудские соглашения не позволяли искажать
реальность, в этом была их сила. Когда администрация Никсона
фактически отменила Бреттон-Вудскую систему и отделила дол19
лар от его золотого эквивалента, США получили возможность искажать реальность в свою пользу. Это в большой степени избавило их от необходимости бороться за доминирование в самой реальности. Доллар превратился виртуальную валюту, в симукляр.
В настоящее время ставится вопрос о создании новой мировой валюты вместо доллара, говорят о необходимости заключить соглашения Бреттон-Вудс-2. Но тут дело не в долларе как символе
США, а в его укорененности в реальности как объективно самого
надежного средства платежей, инвестирования и т. д., подкреп­
ленного экономическим могуществом. Произведите больше,
станьте реально сильнее – и пусть ваша валюта станет первой. Самое главное – укоренить валюту в реальности, это важнее, чем заменить имена одинаково неукорененных валют. Если возникнет
другая неукорененная валюта, то какой-то другой эмиссионный
центр начнет печатать «пустые» бумажки в свою пользу. А нельзя
ли вернуться к золоту, хотя для этого и пришлось бы повышать
цену золота в 8–10 раз? Укорененность может обеспечиваться
и через энергоэквивалент, но важно, чтобы была гарантия обмена
виртуального электронного счета на нечто реальное. Итак, кризис продолжается, всем миром ищут решения, необходимо полномасштабное компьютерное моделирование.
1.2. Лингво-комбинаторное моделирование
Ситуация с мировым кризисом заставляет разрабатывать новые модели. Предлагается использовать лингво-комбинаторное
моделирование и феномен адаптационного максимума для объяснения ситуации в экономике. Новая модель экономики – это
новый виртуальный мир.
Социально-экономические системы
как самоорганизующиеся структуры
Экономика со времен Адама Смита существенно изменилась
и сейчас представляет собой сложную самоорганизующуюся систему. После Великих географических открытий XV–XVI вв.
в мире сложился глобальный социокультурный цикл. В наше
время этот цикл охватывает все страны и регионы. Каждый человек может быть творцом в отдельный момент времени, творцы
производят множество инноваций – проектов, патентов, произве20
дений искусства и т. д. Эти инновации после апробации в микросредах попадают в средства массовой информации и обрушиваются на людей через телевидение, прессу, Internet и вызывают по
ассоциации у некоторых людей рождение новых идей, новых инноваций, и таким образом цикл повторяется многократно. Часть
инноваций, проходя через конструкторские бюро и различные
производства, превращается в вещи – одежду, машины и т. п. –
и опять-таки обрушивается потоком на людей и т. д. (рис. 1.2).
Этот социокультурный цикл является основой процессов глобализации, в который погружено все человечество. Непрерывный
поток инноваций в самых разных областях человеческой деятельности – неотъемлемый элемент современной картины мира
и основа существования потребительского общества. Вместе с тем
безудержное развитие потребительского общества ведет к исчерпанию природных ресурсов и росту социальных противоречий
в обществе. Растет разница в доходах самых богатых и самых бедных слоев общества, самых богатых и самых бедных стран мира,
что ведет к росту напряженности и терроризму. Необходимость
международного регулирования этих проблем становится все
очевиднее, что привело к рождению концепции устойчивого развития. «Устойчивое развитие» в русской транскрипции – это неточный перевод с английских слов «sustainable development», что
означает поддерживающее развитие.
Самая древняя книга – китайская Книга перемен – утверждает, что мир непрерывно меняется. В наше время это видно отчетливо для каждого человека за время его жизни – с осознаваемого
People
Mass Media
Manufacturing
Creators
Innovations
Censoring
Project
Bureaus
Micro
Societies
Рис. 1.2. Глобальный социокультурный цикл
21
детства до взрослого и пенсионного возраста – перемены отражаются в памяти конкретного человека. В обобщенном виде факт
непрерывного изменения нашего человекоразмерного мира отражается в понятии глобального социокультурного цикла (рис. 1.2).
Глобальный социокультурный цикл складывается из отдельных
частных циклов. Во-первых, это большие циклы отдельных
стран, потому что главный обмен информацией идет с использованием национального языка каждой из стран и каждая из стран
стремится развить свою промышленность и сельское хозяйство
таким образом, чтобы максимально удовлетворить потребности
своих граждан. При этом необходимо учитывать и внешнюю торговлю, и обмен информацией и людьми с другими странами. Вовторых, глобальный цикл и большие циклы распадаются на другие отдельные циклы, например, цикл печатных сообщений,
цикл музыкальных сообщений, цикл изобразительных сообщений и т. д., которые имеют свою специфику.
Роль культуры состоит в том, что она дает человеку «экран понятий» (Л. Моль), на который он проектирует и с которым он сопоставляет свое восприятие внешнего мира. Современный человек открывает для себя окружающий мир как с помощью системы
образования, так и по законам случая, в процессе проб и ошибок,
в силу случайности своей биографии. Совокупность его знаний
определяется статистически, он черпает их из жизни, из газет, из
телевидения, из сведений, добытых по мере надобности (рис. 1.3).
Средство
массовой информации
Генетическая
информация
Детство Юность Взрослая жизнь Пенсионная
жизнь
Система
образования
Рис. 1.3. Воздействие системы образования и средств массовой
информации на жизненный цикл человека
22
Лишь накопив определенный объем информации, он начинает
обнаруживать скрытые в ней структуры. Экран знаний формировался по-разному. Классический широко пользовался логической
дедукцией и приемами формальных рассуждений, и экран знаний напоминал хорошо организованную решетку. В наше время
фактура экрана знаний иная – он все больше похож на волокнистое образование, знания складываются из разрозненных обрывков, связанных простыми, чисто случайными отношениями близости по времени усвоения, по созвучию или ассоциации идей.
Эти обрывки не образуют регулярной структуры, но она обладает
силой сцепления, которая не хуже старых логических связей
придает экрану культуры плотность, не меньшую, чем у традиционной структуры. Такую культуры называют мозаичной.
В настоящее время основой социокультурного цикла являются вычислительные системы и сети, которые пронизывают все
частные циклы и «опутали паутиной» весь Земной шар, благодаря чему сформировался глобальный гибридный интеллект.
Анализ процессов глобального социокультурного цикла выявил большую степень неравенства между различными социальными группами. По методике ООН вычисляют, какой доход приходится на каждые 20 % населения. На рис. 1.4 представлено сложившееся распределения дохода, откуда следует, что 20 % самых
богатых получают свыше 80 % дохода, а 20 % самых бедных получают 1,4 % доходов, что несправедливо и ведет к росту напряженности во взаимоотношениях между различными социальными группами людей. Очевидная неустойчивость «рюмки доходов»
ведет к росту катаклизмов в мировом сообществе. Концепция
устойчивого развития призвана смягчить это противоречие.
В настоящее время понятия «система» и «системный подход»
широко используются во всех сферах деятельности и именно по­
этому нуждаются в уточнении. Существуют несколько десятков
определений слова «система», со временем оно изменялось не
только по форме, но и по содержанию.
Мы будем пользоваться следующими определением системы:
это целостная совокупность элементов, в которой все элементы настолько тесно связаны между собой, что она выступает по отношению к другим системам и окружающей среде как нечто единое.
С понятием «система» часто связывают понятие «цель». Использование слова «цель» в случае нефинальных инструкций не
совсем корректно. В этом случае правильнее говорить не о конеч23
82,7 %
11,7 %
2,3 %
Мировой доход
20 %. Самые богатые
20 %. Вторые
20 %. Третьи
20 %. Четвертые
20 %. Беднейшие
Мировой доход – 82,7
Мировая торговля – 81,2
Коммерческие займы – 94,6
Коммерческие накопления – 80,6
Внутренние капиталовложения – 80,5
1,9 %
1,4 %
Мировой доход – 1,4
Мировая торговля – 1,0
Коммерческие займы – 0,2
Коммерческие накопления – 1,0
Внутренние капиталовложения – 1,3
UNDP 1992
Рис. 1.4. Распределение доходов и экономическое неравенство в мире
(на 1992 г., по данным ООН)
ных целях, а о принципах поведения, выраженных в императивах, как показал И. Кант. Для живой системы таким категорическим императивом будет сохранение жизни во что бы то ни стало
и при любых обстоятельствах. Выигрыш при этом невозможен,
проигрыш недопустим, а вся деятельность направлена на то, чтобы «игра в жизнь» продолжалась как можно дольше.
Императив в лингвистике – повелительное наклонение глагола, например: «посмотрите», «отойдите» и т. д. Междометный императив – разряд глагольных слов с повелительно-восклица­
24
X1
Y1
a
b
Xk
control unit
∆1 ...∆k
Yk
ENVIRONMENT
тельным значением, например: «вон!», «прочь!», «долой!». Императивная норма, норма права – установленное государством
общеобязательное правило общественного поведения.
Гораздо лучше эта картина описывается так называемым
странным аттрактором, в случае которого и процесс, и положительная обратная связь удерживаются не в пространстве одного
параметра, а в некоторой зоне многомерного фазового пространства, как показал лауреат Нобелевской премии в области химии
И. Р. Пригожин. Происходит как бы притяжение параметров процесса к центру или центрам аттрактора, но в силу инерционных
эффектов возникают сложные движения вокруг него (в одномерном случае – знакомые инженерам автоколебания).
В процессе непрерывной гонки за выживанием изменяются
свойства живой системы и среды ее существования, и поэтому система оказывается в каждый данный момент времени в новой ситуации, в новом месте многомерного фазового пространства внешних и внутренних параметров. Там требуются, соответственно,
и новые специфические действия, обеспечивающие поддержание
процесса жизни (рис. 1.5). С такими действиями могут быть связаны временные цели, которые часто перестают быть актуальными еще до того, как они оказываются достигнутыми (императив
сохранения жизни важнее частных целей).
Во второй половине XIX в. началось проникновение понятия
«система» в различные области конкретно-научного знания, важное значение имело создание эволюционной теории Ч. Дарвина,
теории относительности, квантовой физики, структурной линг-
FEEDBACK
SYSTEM
Рис. 1.5. Модель «среда – система»
25
вистики и др. Многие конкретно-научные принципы анализа систем были сформулированы в тектологии А. А. Богданова, в праксеологии Т. Котарбинского, в работах В. И. Вернадского и др.
Предложенная в конце 40-х годов XX в. Л. Берталанфи программа построения «общей теории систем» явилась одной из первых
попыток обобщенного анализа системной проблематики. При
определении понятия «система» необходимо учитывать теснейшую взаимосвязь его с понятиями целостности, структуры, связи, элемента, отношения, подсистемы, иерархии и др.
Со времен В. Л. Канторовича ученые в области экономики
внесли большой вклад в изучение сложных систем, что отразилось и в Нобелевских премиях по экономике.
Лингво-комбинаторное моделирование
и операция поляризации
Лишь для небольшого числа реальных систем имеются математические модели. Прежде всего, системы описываются с по­
мощью естественного языка.
Предлагается способ перехода от описания на естественном
языке к математическим уравнениям. Например, пусть имеется
фраза
WORD1 + WORD2 + WORD3.
(1.1)
В этой фразе мы обозначаем слова и только подразумеваем
смысл слов. Смысл в сложившейся структуре естественного языка не обозначается. Предлагается ввести понятие смысла в следующей форме:
(WORD1)*(SENSE1) + (WORD2)*(SENSE2) + + (WORD3)*(SENSE3) = 0.
(1.2)
Будем обозначать слова как Аi от английского «Appearance»,
а смыслы – как Еi от английского «Essence». Тогда уравнение (1.2)
может быть представлено как
A1*E1 + A2*E2 + A3*E3 = 0. (1.3)
Уравнения (1.2) и (1.3) являются моделями фразы (1.1). Образование этих уравнений, приравнивание их к нулю и есть операция поляризации.
26
Лингво-комбинаторная модель является алгебраическим
кольцом, и мы можем разрешить уравнение (1.3) либо относительно Аi, либо относительно Еi путем введения третьей группы
переменных – произвольных коэффициентов Us [26]:
A1 = U1*E2 + U2* E3,
A2 = –U1*E1 + U3*E, (1.4)
A3 = –U 2*E1 – U3*E2,
или
E1 = U1*A2 + U2*A3,
E2 = –U1*A1 + U3*A3, (1.5)
E3 = –U2*A1 – U3*A2,
(1.6)
где U1, U2, U3 – произвольные коэффициенты, которые можно
использовать для решения различных задач на многообразии
(1.3).
В общем случае, если имеем n переменных и m многообразий,
ограничений, то число произвольных коэффициентов S будет равно
числу сочетаний из n по m + 1, что было доказано в [24] (табл. 1.1):
S = Cnm+1, n > m. (1.7)
Число произвольных коэффициентов является мерой неопределенности и адаптивности. Лингво-комбинаторное моделироваЧисло произвольных коэффициентов S
n
2
3
4
5
6
7
8
9
Таблица 1.1
m
1
2
3
4
5
6
7
8
1
3
6
10
15
21
28
36
1
4
10
20
35
56
84
1
5
15
35
70
126
1
6
21
56
126
1
7
28
84
1
8
36
1
9
1
27
ние может опираться на анализ всего корпуса текстов на естественном языке. Это трудоемкая задача по извлечению смыслов
для суперкомпьютеров, его можно также использовать, опираясь
на ключевые слова в конкретной области, что позволяет получать
новые модели для конкретных областей знания. В этом случае
лингво-комбинаторное моделирование заключается в том, что
в конкретной предметной области выделяются ключевые слова,
которые объединяются во фразы типа (1.1), на основе которых
строятся эквивалентные системы уравнений с произвольными
коэффициентами. В частном случае они могут быть дифференциальными уравнениями и при их исследовании может быть использован хорошо разработанный математический аппарат.
Лингво-комбинаторное моделирование включает все комбинации
и все варианты решений и является полезным эвристическим
приемом при изучении плохо формализованных систем [26], [28].
В лингвистической литературе имеется множество трудов, в которых исследуются понятия смысла и значения, но эти теории во
многом оказались неконструктивными, что ярко показал австрийский философ Л. Витгенштейн в «Голубой книге». Использование в качестве модели фразы (1.1) уравнения (1.2) позволяет
построить исчисление смыслов, которое хорошо реализуемо на
компьютерах. По мнению Д. А. Леонтьева, смысл (будь то смысл
текстов, фрагментов мира, образов сознания, душевных явлений
или действий) определяется, во-первых, через более широкий
контекст и, во-вторых, через интенцию или энтелехию (целевую
направленность, предназначение или направление движения).
В нашем определении смысла наличествуют эти две характеристики – контекстуальность (смыслы вычисляются исходя из контекста) и интенциальность (произвольные коэффициенты позволяют задавать те или иные устремления).
Адаптационные возможности сложных систем
В структуре эквивалентных уравнений систем со структурированной неопределенностью есть произвольные коэффициенты,
которые можно использовать для приспособления системы к различным изменениям, чтобы повысить точность и надежность
функционирования систем, их живучесть в потоке перемен.
Теперь рассмотрим феномен адаптационного максимума
в жизненном цикле сложных развивающихся систем.
28
Биологические системы – от живой клетки до многоклеточных организмов – проходят свой цикл развития от рождения до
смерти. Социально-экономические системы – семья, предприятия, банки, города, села, регионы, страны – проходят сложный
путь развития, находясь под воздействием различных внутренних и внешних факторов. Одни предприятия и банки процветают, другие терпят крах и обанкрочиваются, одни города и страны
развиваются, другие переживают стагнацию, о чем свидетельствует мировая статистика. Все эти системы являются сложными развивающимися системами, и в их жизненном цикле проявляются закономерности, свойственные многомерным системам.
Важной закономерностью, оказывающей большое влияние
на социально-экономические системы, является феномен наличия адаптационного максимума, который заключается в следующем [26].
Установлена ранее неизвестная закономерность наличия адаптационного максимума в жизненном цикле сложных развивающихся систем, заключающаяся в том, что при наложении ограничений на систему из n переменных (n > 6) число произвольных
коэффициентов в структуре эквивалентных уравнений, описывающих поведение системы, сначала возрастает, достигает максимума, а потом начинает убывать, и, соответственно, изменяются адаптационные возможности системы – сначала они растут,
достигают максимума, а потом начинают убывать, и если наложение ограничений продолжается, то система делается жесткой
и погибает в потоке перемен окружающей среды, откуда вытекает стратегия управления различными сложными системами –
они должны управляться так, чтобы удержать их в зоне адаптационного максимума, если мы хотим обеспечить их живучесть
в потоке перемен.
Уже давно известно, что существуют ритмы в биологических
системах. Например, из результатов переписи населения (табл. 1.2)
ясно видно наличие минимума смертности для людей в возрасте
10–14 лет, при этом следует отметить, что он сохраняется, независимо от социально-экономических условий, и в 1896–1897 гг.,
и в 1984–1985 гг., но объяснения этому минимуму смертности не
было. Из статистики развития экономики известны циклы Конд­
ратьева и другие циклические явления в экономике как отдельных предприятий, так и более крупных экономических образований. В технических системах известны периоды максимальной
29
Данные переписи населения за 1869–1985 гг.
Возраст
1896–
человека (лет) 1897 гг.
0–4
5–9
10–14
15–19
20–24
25–29
30–34
35–39
40–44
45–49
50–54
133,0
12,9
5,4
5,8
7,6
8,2
8,7
10,3
11,8
15,7
18,5
Таблица 1.2
1958–
1959 гг.
1969–
1970 гг.
1978–
1980 гг.
1982–
1983 гг.
1984–
1985 гг.
11,9
1,1
0,8
1,3
1,8
2,2
2,6
3,1
4,0
5,4
7,9
6,9
0,7
0,6
1,0
1,6
2,2
2,8
3,7
4,7
6,0
8,7
8,1
0,7
0,5
1,0
1,7
2,3
2,9
4,3
5,4
7,8
10,3
7,9
0,6
0,5
1,0
1,6
2,2
2,9
3,8
5,6
7,4
10,9
7,7
0,6
0,5
0,9
1,5
2,0
2,8
3,6
5,7
7,3
11,3
надежности и устойчивости систем. Предложенная математическая модель развивающихся систем позволяет говорить о наличии закономерности адаптационного максимума, которая объясняет многочисленные факты и позволяет предсказывать поведение сложных систем.
Система – целостная совокупность элементов, в которой все
элементы настолько тесно связаны между собой, что она выступает по отношению к другим системам и окружающей среде как
нечто единое. Кроме этих механизмов адаптации, возможны
и другие, такие как рост числа переменных системы, размножение, эффективное забывание, ограничение контактов со средой,
объединение систем в коллектив и др. В общем случае число произвольных коэффициентов S в структуре эквивалентных уравнений системы определяется как число сочетаний из n по m + 1
и определяется формулой (1.7) (табл. 1.1).
Сложная система – это система, в которой проявляется феномен адаптационного максимума, т. е. система с числом переменных больше шести. На рис. 1.5 представлена схема взаимодействия вышеописанной системы с окружающей средой, где переменные системы х1, …, хk взаимодействуют с переменными среды
у1, …, уk, а сигналы рассогласования передаются в блок управления, и у системы есть две возможности приспособиться к изменениям в среде. Это, во-первых, настройка с помощью манипуляции
произвольными коэффициентами, и чем больше этих коэффици30
S
t
n3
n2
n1
1
6
5
3
4
2
m
Рис. 1.6. Трансформация развивающейся системы, n1 < n2 < n3,
траектория системы: 1–2–3–4–5–6–…
ентов, тем выше адаптационные возможности, и, во-вторых, обучение, наложение новых ограничений на переменные системы.
В режиме непрерывного обучения число произвольных коэффициентов изменяется в соответствии с формулой (1.7), и это приводит к появлению циклов в развитии систем, что иллюстрируется
на рис. 1.6, где цикл развития системы начинается в точке 1, проходит через максимум в числе произвольных коэффициентов
и заканчивается в точке 2, где должна наступить трансформация, сброс ранее накопленных ограничений; далее начинается
в точке 3 новый цикл, опять система проходит через максимум
адаптационных возможностей, достигает точки 4, где опять происходит трансформация, и система начинает новый цикл в точке
5 и т. д. Эта модель позволяет объяснить наличие циклов в развитии сложных биологических, социально-экономических и технических систем.
Предложенная модель процессов самоорганизации сложных
развивающихся систем реализует закономерность наличия адаптационного максимума в жизненном цикле систем в потоке перемен. Жизненный цикл – совокупность фаз развития, пройдя через которые, система достигает зрелости и становится способной
эффективно функционировать и дать начало новому поколению.
Как показывает статистика, существуют циклы в развитии
экономики, в частности – уже упоминавшиеся нами циклы Конд­
ратьева. Учет закономерности наличия адаптационного макси31
мума позволяет объяснить эти циклы. Надежность сложных
человеко-машинных комплексов достигает своего максимума
в зоне адаптационного максимума, и технические системы должны
строиться таким образом, чтобы при изменении этих систем они
оставались в зоне адаптационного максимума как можно дольше.
Число примеров систем можно было бы увеличивать, но уже
ясно, что феномен адаптационного максимума существует и учет
закономерности наличия адаптационного максимума в жизненном цикле сложных развивающихся систем позволит лучше понять механизмы их функционирования и значительно улучшить
их характеристики. Для того чтобы выжить, этносоциум должен
находиться в зоне адаптационного максимума.
Структурная стабильность, совокупность устойчивых связей
объекта, обеспечивающих его целостность и тождественность самому себе, т. е. сохранение основных свойств при различных
внешних и внутренних воздействиях, обеспечивается адаптационными возможностями. В представленных лингво-комбина­
торных моделях адаптационные возможности систем определяются числом произвольных коэффициентов в структуре эквивалентных уравнений, и наибольшая структурная стабильность
достигается в зоне адаптационного максимума, который обнаруживается у различных систем с числом переменных больше шести. Для удержания систем в зоне адаптационного максимума
можно использовать различные методы – рост числа переменных,
наложение и снятие ограничений, объединение систем в коллективы. Действительно, если имеем две системы
S1 = Cnm11+1 è S2 = Cnm22+2, (1.8)
то путем наложения общих ограничений mcol получим коллектив:
Scol = Cnm11++nm22+mcol+1. (1.9)
При этом в зависимости от конкретных параметров может
быть Scol > S1 + S2, когда объединение в коллектив приводит
к росту адаптационных возможностей, а может быть Scol <
< S1 + S2, когда адаптационные возможности меньше суммы
адаптационных возможностей исходных систем. Наличие не­
определенности в структуре системы, произвольных коэффи­
циентов позволяет реализовать различные механизмы само­
организации.
32
Наличие феномена адаптационного максимума в жизненном
цикле различных сложных развивающихся систем позволяет
объяснить эволюцию систем в условиях изменяющейся среды.
Феномен адаптационного максимума является основой самоорганизации в природе и обществе. Структура неопределенных коэффициентов задает матрицу картины мира, в рамках которой
и разыгрываются различные события. Произвольные коэффициенты в структуре эквивалентных уравнений могут быть и волновыми функциями, а различные системы могут рассматриваться
как квантовые макрообъекты.
1.3. Представление о виртуальных реальностях
в современном гуманитарном знании
В последнее время едва ли не самыми популярными выражениями и в научной, и в повседневной речи стало все, связанное
с «виртуальностью». Мало кому интересны технические термины
«виртуальная частица», «виртуальный путь» или «виртуальная
реальность», но вдруг оказалось, что каждый из нас – «виртуальный человек», что мы имеем (не)удовольствие пребывать в «виртуальном обществе» с «виртуальными» же экономикой и финансами, организациями и корпорациями, наукой и образованием,
биржами и магазинами… Да и деньги, еще недавно ощутимо «деревянные», превратились в нечто невесомо-виртуальное – вот это
более всего похоже на правду и, по правде, более всего обидно.
Если виртуальные политика или власть не вызывают ностальгии
по всепроникающей власти с всенепременной политинформацией, то вот виртуальная любовь или виртуальное творчество заставляют хорошенько задуматься…
Совершенно очевидно, что каждая книга, компьютерная игра
или «мыльная опера» задает некую обособленную реальность,
имеющую иной раз мало общего с «настоящей (видимой, осязаемой и т. п.) реальностью» и открытую только – скажем для примера – читателям/почитателям «Властелина Кольца», игрокам
в «Дюну» или зрителям «Санта-Барбары». Даже сугубо новостные передачи CNN или колонки новостей в наиболее объективной
из ежедневных газет (бумажных или электронных) отражают не
столько реальность, сколько способ фильтрации, членения,
структурирования и интерпретации реальности. Трудно утверждать существование единой для всех и универсальной реально33
сти, даже если ограничиться привычной и безусловной физи­
ческой реальностью. Презентацию внешней реальности опо­
средствует социальная реальность – в данном случае культура;
в настоящее время она все более прибегает для этого к инфор­
мационным технологиям. «Человек нуждается в фиктивном
удвоении мира. В этом смысле телевидение и компьютерные средства визуализации помогают прояснить природу человека. Потребность в иллюзорной жизни, когда мир раскрывается как приключение, есть антропологическое свойство»1. Похожие эффекты
позволяют создать новые технологии в сочетании со вполне традиционными жанрами – к примеру, художественной литературой [8].
Из сочинений руководителя Центра виртуалистики Института человека РАН Н. А. Носова2, а также из философских статей
в сборнике «Виртуальная реальность в психологии и искусственном интеллекте» (1998) можно почерпнуть сведения о происхождении слова virtus, о значении английского термина «virtual»
с его переводами на русский язык, о разнообразных применениях
этого многозначного термина в технике (авиационной, вычислительной, электронной и др.), в философии, в психологии, в религиоведении, в психотерапии, в искусстве, о переходах «консуетала» (под ним понимается обыденная реальность) в виртуальное
событие – «виртуал», причем последнее бывает позитивным (гратуал) либо негативным (ингратуал). Сравнительно нетрудно согласиться со значимостью складывающегося в последнее десятилетие представления о виртуалистике как признании полионтичности реальности [47], [48].
Или согласиться с С. С. Хоружим, по мнению которого, виртуальная реальность представляет собой «не род, но недо-род бытия. Виртуальная реальность – недо-выступившее, недо-рож­
денное бытие, и одновременно – бытие, не имеющее рода, не достигшее „постановки в род“» [81]. Автор продолжает: «Однако все
существующее не есть виртуальность. В бытии-действии виртуальная реальность – только недород бытия, низший горизонт минимальных недо-обналиченных событий; тогда как человек –
Нексус, действующая связь между всеми горизонтами. Горизон1 См.: Микешина Л. А., Опенков М. Ю. Новые образы познания и реальности.
М., 1997. С. 204.
2 См.: http://ich.iph.ras.ru/koi/3.html.
34
ты имеют порядок, и, наряду с низшим горизонтом, между ними
есть высший. И эти простые вещи достаточно ясно говорят, какими же должны быть отношения человека и виртуальной реальности». Этот «недород бытия» заслуживает, разумеется, тщательной теоретической разработки.
Из сочинений философов постмодернистской ориентации, особенно Ж. Бодрийяра, можно немало узнать о современном обществе виртуальной реальности, наполненном гаджетами, симулякрами, протезами, аватарами – и о взаимосвязях современной
культуры с культурой предшествующих эпох. «Неотехническая
среда, в которой мы живем, в высшей степени насыщена риторикой и аллегорией. И не случайно именно барокко, с его пристрастием к аллегории, с его новым дискурсивным индивидуализмом
(избыточность форм и поддельные материалы), с его демиургическим формализмом, – именно барокко открывает собой современную эпоху...»1.
«В природе имеется аналог миру Интернета: это заросли корне­
вищных растений. Классический пример – баньяновая роща.
Сложное переплетение корней лишено всякой структуры. <…>
Баньяновый лес – место тревожное, ибо в нем нет ориентиров.
Если продолжить символическое сравнение его с Интернетом, то
этот мир озадачивает современного человека еще и тем, что в нем
отсутствует идея центра» [61]. Данное сравнение восходит к конструктивной идее Ж. Делеза и Ф. Гваттари, которые сопоставили
структуру постмодернистского мироустройства, включающего
виртуальный мир Internet, с ботаническим понятием «ризома» –
так обозначается «распределенная» корневая система – без стержня, зато с множеством непредсказуемо хаотических корневых
переплетений, причем выход из строя одного или нескольких из
них не ведет к тотальной гибели системы, которая способна регенерироваться либо развиваться в других, более благоприятных
направлениях. Так и современный мир, по мнению французских
философов, будто баньяновый лес, не имеет центра или стержневой основы, и в силу этого движение его хаотично, не целенаправленно. Содержательное описание этой идеи Ж. Делеза и Ф. Гваттари (как и других идей) представил В. Емелин2.
1 2 См.: Бодрийяр Ж. Система вещей. М., 1995. С. 95.
См.: http://emeline.narod.ru/rhizome.html.
35
Отчасти опираясь на труды философов-постмодернистов, социологи говорят о виртуальном обществе с основополагающей
для него системой образов и удвоенных (искусственных, параллельных, поли-зеркально-отражательных, мнимых, модельных
и т. п.) сущностей-симуляций: «Перспектива того, что отношения
между людьми примут форму отношений между образами, и есть
перспектива виртуализации общества»1. Автор завершает свое
сочинение формулой: «Не компьютеризация виртуализирует, но
виртуализация компьютеризирует общество»2. Лет десять назад
чаще всего говорили об информационном обществе, и отечественным философом была предложена следующая схема приближения к нему: сперва электронизация и компьютеризация, потом,
наконец, информатизация с медиатизацией [60]. Но даже добившись значительных успехов в решении поставленных таким образом задач, наиболее развитые национальные государства и наднациональные объединения так и не приблизились к построению
основанного на знаниях информационного общества. Поскольку
длительное движение не увенчалось реальным успехом, направление теоретической мысли устремилось в сторону рекомендаций
построения теперь уже не информационного, а виртуального общества.
В психологических сочинениях, имеющих прямое либо косвенное отношение к проблематике виртуальных реальностей,
рассматриваются вопросы экзистенции, воображения, рефлексии, измененных состояний сознания, сенсорного опыта, мотивов
(самореализации, самоутверждения и др.) применения «паутины» или игровых сервисов (например, мотивы роста, достижений, замещения, познавательный), функций сновидений и их интерпретаций, различий между сном и явью, «эффекта присутствия», виртуальной зависимости, ориентационного, инструментального или рефлексивного типа взаимодействия с артефактами,
«якорей» для маркировки выхода из виртуальных состояний
и др. [11], [19], [36], [37], [77]. Говорится также о сильной и слабой виртуальной реальности (В. Ф. Спиридонов), о виртуамании
(А. В. Россохин), о реальной и виртуальной виртуальностях
(О. Р. Маслов и Е. Е. Пронина) и др. [11]. Отмечаются и тенденции,
препятствующие эффективному поведению в сложных игровых
1 2 36
См.: Иванов Д. В. Виртуализация общества. СПб., 2000. С. 20.
Там же. С. 92.
реальностях – выработка «редуцирующих гипотез», упорная нечувствительность к неадекватности таких гипотез, «баллистическое» поведение, т. е. неготовность контролировать и оперативно
корректировать принятые решения и др. [21].
Равноправие и одновременное сосуществование в сознании
«мира обыденной реальности» и «мира необыденной реальности»
(к примеру, мира фантазии, художественных образов, игры, магических верований, состояний перехода ко сну, сновидений,
галлюцинаций и др.) обосновывает на уровне психологического
экспериментирования Е. В. Субботский – при этом, как он подчеркивает, разрушаются или инвертируются «фундаментальные
структуры: объект, пространство, время, причинность»1. Автор
говорит о «трансреальностном переходе» – (1) полном, который
«имеет место тогда, когда новая реальность обретает полный онтологический статус», или (2) неполном, когда «Я одновременно
присутствует в двух сферах реальности, попеременно переходя из
одной в другую»2. «Пограничное сознание» и принцип стирания
границ признаются в высшей степени характерными как для современного человека, так и для обитателей предшествующих исторических эпох [57]. Активность сознания, направленную на
«иерархизацию элементов субъективности по статусам бытия
или истинности», Е. В. Субботский называет «бытиизацией»3
и исследует особенности протекания этого процесса в детском
возрасте.
Если допустить существование логики воображения, то Д. А. Поспелов отмечает, что она может опираться, в частности, на отказ
от фундаментальных законов абстрактной логики (а именно – закона противоречия, закона тождества, закона исключенного третьего и закона достаточного основания), на сознательное либо неосознанное нарушение таких законов, на уже упоминавшийся
Е. В. Субботским отказ от принципа каузальности (причинности) – и вести к воображаемым мирам, подчиняющимся «воображаемой логике», или логике воображения4. Рассмотрению
1 См.: Субботский Е. В. Индивидуальное сознание как система реальностей // Традиции и перспективы деятельностного подхода в психологии / под
ред. А. Е. Войскунского, А. Н. Ждан, О. К. Тихомирова. М., 1999. С. 140.
2 Там же. С. 141.
3 Там же. С. 146.
4 См.: Виртуальная реальность в психологии и искусственном интеллекте.
М., 1998. С. 5–21.
37
многочисленных примеров нарушений – намеренных либо окказиональных – логических принципов и коммуникативных постулатов, имеющих место в теологических и научных сочинениях,
в фольклоре, живописи, литературе, кинематографии, посвящено немало содержательных источников (семиотических, фольклористских, собственно логических и др.), однако их анализ
и даже перечисление выходят далеко за рамки объема нашей работы.
Одной из наиболее популярных метафор, связанных с альтернативными реальностями, является представление о «бегстве».
Романтический и часто непрактичный «побег» из будничной суеты, из оков цивилизации и т. п., побег куда угодно – в отшельники, в хиппи, на необитаемый остров, да пусть в виртуальную реальность, – сохраняет свою привлекательность на протяжении
веков, манит подростков и взрослых. В современном звучании
эта метафора все чаще звучит как «электронный фронтир» (electronic frontier) и намекает на отраженный во множестве фильмов«вестернов» период продвижения американских поселенцевпионеров на Дикий Запад и освоения ими новых территорий,
с которых они оттесняли аборигенов-индейцев. С тех пор понятие
«фронтир» обозначает не просто географическую границу, пусть
даже гибкую и не маркированную, но особое общественное настроение и психологическое состояние «людей фронтира». Согласно выдвинутой историком Ф. Д. Тернером в 1893 г. системе
взглядов, известной под названием «Turner Theory»1, фронтир –
и как подвижная граница, и как «состояние общества» – заметно
способствовал развитию таких отличительных черт национального характера граждан США, как предприимчивость, индивидуализм, вера в собственные силы, свободолюбие, нацеленность
на успех и др.
Под электронным фронтиром в образном плане подразумевается обращение новичков-новобранцев (newbies) в число сторонников сетевых технологий, «бегство» из постылой повседневности в «виртуальную реальность Internet» как способ найти себя
и приблизиться к пониманию либо полноценному раскрытию
своей подлинной человеческой сущности, процесс «колонизации»
незанятой «ризоматической территории» группами свободолюбивых индивидуалистов, «закрепление» пионеров на возделанных
1 38
См.: xroads.virginia.edu/~HYPER/TURNER.
форпостах, «прокладывание пути» через «пограничные препятствия» (социального и технического характера) для последующих переселенцев и «окультуривание нового пространства».
Усилиям сторонников электронного фронтира противопоставлены разрозненные усилия всех, кто пытается удержать от соблазна «побега» воспитанников, детей, супругов, товарищей, сослуживцев. В этой связи отметим, что еще раннехристианскими
авторами было выработано учение о страстях и помыслах к ним –
учение, не уступающее современным теориям. Динамика образования страстей, в представлении православных мыслителей, может быть охарактеризована следующим образом: «Сначала возникает представление помысла или предмета – прилог; потом
принятие его – сочетание; затем согласие с ним – сложение; далее порабощение от него – пленение; и, наконец, – страсть»1.
Первая стадия не порицается, вторая также может остаться без
последствий, если удалось побороть греховные побуждения; все
последующие стадии заслуживают безусловного порицания.
«Разрушение храма души совершается постепенно. Вначале (прилог) в душу через внешние или внутренние чувства, либо через
неконтролируемое воображение против воли входят греховные
представления. Это безгрешно, но дает повод и близость к греху.
Далее – сочетание означает принятие прилога, добровольное рассуждение о нем, что уже небезгрешно (небезопасно для души).
Сложение означает услаждение души пришедшим помыслом;
здесь нужно немедленное покаяние и молитвенное призывание
Бога на помощь. Пленение – такое состояние души, когда ум невольно погружается в неблагие мысли, нарушающие мирное
устроение души, и душа лишь с огромным усилием способна вернуться из этого состояния к себе. Итог подобного гибельного развития – страсть…»2.
Своего рода символ виртуальной реальности – Диснейленд,
для которого характерны эклектическое повторение и изменчивость. Данная симуляция противоречит познавательным шаблонам и культурным стереотипам, ибо ни в какой естественно сложившейся среде представленные сочетания элементов невозможны. Однако никого это не останавливает. «Человек эпохи Постмо1 См.: Начала христианской психологии / под ред. Б. С. Братуся. М., 1995.
С. 98.
2 Там же. С. 99.
39
дерн, – пишет Д. В. Иванов, – погруженный в виртуальную
реальность, увлеченно „живет“ в ней, сознавая ее условность,
управляемость ее параметров и возможность выхода из нее»1. Самый, быть может, знаменитый в истории Диснейленд под названием «потемкинские деревни» – далеко не столь примитивный
иллюзионный аттракцион, каким он чаще всего представляется.
Передвижные постройки и перевозимые с места на место признаки изобилия, придуманные и реализованные Григорием Потемкиным, мало кого из очевидцев обманули, да и рассчитаны были
не на обман, а на демонстрацию эффективной организации;
к тому же более чем внушительно выглядел размах реальных построек, а именно – заложенные города, построенные дворцы, военные корабли и т. д. [52].
Итак, немало оказалось виртуального в гуманитарном знании.
А ведь впору «переодевать в виртуальные одежды» и другие понятия – равно старинные и новомодные. Среди них – «игра»,
«гипнотическое состояние», «сопереживание», «карнавал» и «маскарад», «сновидение», «двойничество», «кризис трех лет»,
«транс», «катарсис», «знания», «мираж», «влюбленность», «опосредствованное общение», «опьянение», «экстатическое состояние», «иллюзия», «медитация», «раздвоение личности», «массовидные феномены»… И это далеко не все: терминологическая
мода есть мода.
Следование моде – не главная функция науки. Пусть иллюзия
по-прежнему называется иллюзией, а кризис трех лет – кризисом трех лет. Помимо виртуалистики, имеются и другие перспективные понятийные системы. Вот, скажем, в настоящее время
складывается универсальное научное направление, именующее
себя «Presence» (под таким названием выходит журнал, публикуемый издательством Массачусеттского технологического института2, или «Telepresence»: специалисты в разных сферах знания – от философии и кинокритики до физики и акванавтики – с позиций своих областей науки анализируют специфику
«присутствия» человека в разнообразных физических, информационных и социальных реальностях. Термин же «виртуальная
реальность» имело бы смысл зарезервировать за придуманными
Жароном Ланье компьютерными системами, включающими го1 2 40
См.: Иванов Д. В. Указ. соч. С. 20.
См.: http://mitpress.mit.edu/journals/PRES/.
ловной шлем, сенсоры, компьютер со специализированным программным обеспечением и сервокостюм (в частном случае – лишь
перчатки).
1.4. Система реальностей: психология и технология
Во второй половине прошедшего столетия новое звучание приобрели проблемы, в течение длительного времени занимавшие
мыслителей всего мира: соотношение сущности и явления, сознания и бытия, имплицитного и эксплицитного, актуального и потенциального, естественного и искусственного и т. п. «Это есть
одна из фундаментальнейших проблем онтологии – онтологический аспект соотношения мысли, понятия, категории сознания
и бытия, материи, объекта мысли как имплицитной предпосылки мысли», – писал С. Л. Рубинштейн в монографии «Человек
и мир»1. А новое звучание связано с очередным расширением
«картины мира», которая вместила в себя целый сонм реальностей, как частично пересекающихся, так и отрицающих друг
друга.
Новые аспекты значения обусловлены изменившимися условиями общественной жизни – как считается, в основном развитием техники (и, в частности, психотехники), однако далеко не
только этим. Собственно техника – транспортные машины, системы связи, вооружения, массовое производство потребительских товаров и т. п. – и действительно существеннейшим образом
преобразила бытие. Определенную роль сыграло и развитие научного знания, порвавшего с механистической наблюдаемостью
собственных конструктов и вызываемых эффектов – примерами
могут служить космология, психоанализ или макроэкономика.
Заметна и роль влиятельных художественных течений: в изобразительном искусстве это, в первую очередь, кубизм, экспрессионизм, сюрреализм, новые подходы к дизайну и последовавшие за
ними увлечения хэппенингами или перформансами; в литературе это, в первую очередь, жанр фэнтези с детальными описаниями «альтернативных» миров, населенных людьми и не-людьми
(эльфами, гномами и др.), и последовавшие за этим массовые
увлечения особенностями таких миров, игры в их обитателей; не
следует забывать, что на стыке техники и искусства возникли
1 См.: Рубинштейн С. Л. Проблемы общей психологии. М., 1973. С. 324.
41
и достигли высокого уровня развития киноискусство (в том числе
анимационное) и телевидение, оказывающие в настоящее время
наиболее значительное воздействие на расширение «картины
мира» даже у самых неразвитых субъектов.
Умножение творимых, мыслимых и/или воспринимаемых реальностей часто соотносится с усилиями по «расширению сознания» и, соответственно, числится по разряду психотехник. Подобная точка зрения объединяет некоторых людей искусства
(особенно склонных к эзотерике), культурологов, философов
и психологов-трансперсоналистов [38], [46]. Ниже мы остановимся на этом вопросе подробнее, сейчас же отметим, что данное соотнесение не обязательно включает проблематику так называемых измененных состояний сознания [37], [72]. Так, Е. В. Субботский [71] на основе многочисленных экспериментально-психо­
логических исследований обосновывает представление, согласно
которому индивидуальное сознание неоднородно и включает, наряду с «обыденной реальностью», также и ряд других, менее
«обыденных», реальностей. Он описывает так называемые трансреальностные переходы – полный, «когда новая реальность обретает полный онтологический статус», или же неполный (примеры
многочисленны). Способность к таким переходам, к совмещению
реальностей представляется при таком подходе необходимым
элементом процессов социализации и последующего развития.
Следует признать, что в развитии представлений о полионтичности экологических пространств, или реальностей нашего бытия, наука, искусство и техника действуют во многом согласованно. Опыт «трансреальностных переходов» ширится. Остановимся
на новых аспектах данного опыта, опирающихся, прежде всего,
на разработки в области информационных технологий. Они принесли в нашу жизнь новые метафоры [13], связанные с людьми
и их самоощущением – например, во время работы, развлечения,
общения, поиска информации в Internet. Эти метафоры – «бегство в виртуальную реальность», «киберпространство», «жизнь
в сети» – заставляют пристально присмотреться к эффектам взаи­
модействия человека с виртуальной средой, смоделированной
при помощи компьютера. Это послужило дополнительным стимулом к исследованию феномена, называемого иногда «эффектом
присутствия», или «феноменом Presence». Сам по себе этот феномен не является новым, что показывает, в частности, то, что данное выражение не является чуждым для обыденной речи, а следо42
вательно, не является и недавно искусственно введенным термином. Однако в последнее время этот термин из разряда бытовых
начал перемещаться в разряд научных, поскольку технологически смоделированная реальность и вызываемый ею феномен
Presence приобрели качества, провоцирующие определенные изменения сознания.
Понятие Presence
Понятие «Presence» – сложный психосоциальный феномен,
наблюдаемый при взаимодействии человека с некоей реальностью, отличной от непосредственно наблюдаемой им (обычной)
реальности. Будем говорить в этой связи о понятии дополнительной реальности, или реальности присутствия. В англоязычной
литературе используется понятие «mediated environment», т. е.
дословно «опосредствованная реальность». В большинстве обсуждаемых примеров [87], [89], [159] в качестве дополнительной рассматривается реальность, искусственно созданная с помощью
компьютеров и/или иных средств телекоммуникации (computermediated environment). Однако некоторые исследователи [121],
[203] расширяют понятие «Presence», включая в него также
взаимодействие с дополнительными реальностями другого рода,
например, реальность воспоминаний, «day dreaming», или сцена
внутреннего диалога.
Можно сказать, что феномен Presence состоит в том, что индивид испытывает иллюзию присутствия в одной реальности с предметами или субъектами, не находящимися в непосредственно наблюдаемой (non-mediated environment, augmented reality environment) реальности индивида [153]. Необходимо сразу оговориться,
что в данном контексте речь не идет о ситуации бреда или галлюцинаций, ограничиваясь ситуациями полного осознания индивидом того, что ощущаемая им реальность на деле является искусственно созданной или вызванной к существованию иным образом.
В последнее время феномен, возникающий для индивида
в форме ощущения им присутствия в дополнительной реальности, связывается исключительно или в основном с так называемым опытом пребывания в виртуальной (т. е. смоделированной
при помощи компьютера) реальности. В качестве примеров приводится в основном самоощущение игроков в компьютерные
43
игры, участников Internet- и телеконференций, людей, которые
много общаются посредством Internet. Кроме того, в последнее
время изучается «эффект присутствия» (ЭП), возникающий при
просмотре фильмов в современных кинотеатрах, использующих
специальное оборудование, с помощью которого зритель получает дополнительную перцептивную информацию (например, ощущение движения или запахи), дополняющую для него эффект
присутствия. Однако сам по себе феномен присутствия – далеко
не новое явление.
Самым простым и эффектным примером феномена присутствия могут служить сновидения. В качестве другого примера
можно вспомнить первые демонстрации фильмов, проводившиеся на заре развития кинематографа. Видя на экране знаменитый
паровоз братьев Люмьер, зрители пугались настолько, что пы­
тались бежать от опасности, воспринимая ее как непосредст­
венную.
С появлением широкоформатных (IMAX) и трехмерных фильмов, которые просматриваются с помощью специальных очков,
возможности кино в смысле продуцирования эффекта присутствия увеличились еще больше. То же самое можно сказать
и о телепередачах: и в тех, и в других могут явно присутствовать
элементы интерактивности, предоставляя зрителю возможность
активно выбирать линии развития сюжета и тем самым в определенном смысле «принимать участие» в экранном действии.
Примеры восприятия искусственно созданной реальности художественного произведения как непосредственной упоминаются в искусствоведении. Это касается восприятия печатного текста
в книге (особенность восприятия описывается термином «захватывающая книга») или живописи.
Присутствие телефонного собеседника также четко ощущается нами во время разговора. Это ясно не только из самоотчета; тот
же вывод можно сделать и в результате наблюдения: несмотря на
то, что собеседник удален от говорящего и невидим для него, последний может вести себя так же, как при непосредственной беседе. Так, при разговоре по телефону многие люди непроизвольно
пожимают плечами, делают отрицательные или утвердительные
жесты, улыбаются, хотя их собеседник находится в удалении
и не может этого видеть [87].
Наконец, действие эффекта присутствия можно обнаружить
в обыденной ситуации – например, при использовании темных
44
очков. Они не влияют ни на интенсивность солнечного света, ни
на цвет окружающих предметов, тем не менее для непосредственного восприятия мир становится на несколько тонов «темнее».
Материалы разнообразных наркотических видений также
дают немало данных для изучения эффекта присутствия в реальности, не имеющей отношения к обыденной. Во многих случаях
индивид, испытывающий этот феномен, осознает, что происходящее не является реальностью, т. е. имел место неполный реальностный переход, в терминах Е. В. Субботского [71]. В таком случае можно говорить не о галлюцинациях (или не только о них), но
об эффекте присутствия [153].
Итак, реальность Presence не тождественна обыденной реальности, представляя собой определенную сферу сознания. Однако,
как будет показано далее, она существенно отличается от прочих
разновидностей необыденной реальности и измененных состояний сознания, например, от сновидения, галлюцинации или фантазирования.
Концепции Presence
Прежде чем анализировать особенности реальности Presence,
рассмотрим несколько основных концепций этого понятия, приводимых в литературе.
Эффект Presence не характеризуется степенью своего на­
личия. Во время использования какого-либо средства передачи
информации (или другого контакта с дополнительной реальностью) иллюзия присутствия либо возникает, либо нет. Общее
ощущение индивидом эффекта присутствия на протяжении некоторого промежутка времени в реальности, обусловленной
средствами передачи информации, складывается на основе суммарных ощущений присутствия в отдельные моменты этого промежутка [153].
1. Концепция коммуникативной насыщенности (концепция
присутствия в социуме). В англоязычной литературе используется термин «Social Presence». Феномен «присутствия в социуме»
можно коротко определить как восприятие индивидом пребывания в искусственно созданном пространстве как совместного пребывания с другим(и) индивидом(ами). Этот эффект можно характеризовать как личностное или межличностное признание достижимости (accessibility) субъекта в данной коммуникативной
45
ситуации, например, взаимное внимание, понимание, эмпатия
или взаимосвязанное (взаимоучитывающее) поведение [100]. Более точно, под достижимостью субъекта в коммуникации следует понимать точность и своевременность передачи его коммуникативного поведения, несущего невербальную информацию, как
то расстояние до собеседника, наличие контакта глаз, громкость
речи, выражение лица, жесты.
Возникновение феномена присутствия в социуме в основном
наблюдается в ситуации теле- или Internet-конференций, а также более простых (даже односторонних) коммуникативных актов, осуществляемых с помощью средств передачи информации –
например, в рекламных роликах, где «герой» непосредственно
обращается к зрителю. Подробнее о коммуникативных особенностях феномена присутствия мы поговорим позже.
2. Концепция перемещения (transportation). По свидетельствам
исследователей, это самая старая концепция понятия Presence,
которой отвечают даже традиции устного фольклора: «Перенесемся с вами назад на много лет…». В данном варианте феномен
Presence переживается индивидом как условное «перемещение»
в дополнительную реальность. Различается три варианта субъективного восприятия феномена переноса:
– you are there: индивид может ощущать, что он «переместился» в дополнительную реальность (рис. 1.7). В качестве примера
можно привести эффект присутствия, испытываемый читателем
увлекательной книги, о котором мы говорили выше;
– it is here: индивид может переживать присутствие как «привнесение» предметов из дополнительной реальности в непо­
средственно наблюдаемую реальность (рис. 1.8). Проводились
эксперименты, в которых участвовали дети дошкольного воз­
раста. При демонстрации фрагментов по видео дети не чувствовали, что «перенеслись» в реальность фильма, однако многие
Рис. 1.7. Концепция перемещения: субъект
в дополнительной реальности (ДР)
46
Environment
Рис. 1.8. Концепция перемещения:
объекты из ДР в реальности субъекта
продемонстрированные им предметы воспринимались ими как
реальные;
– we are together: индивид может воспринимать присутствие
как «перенесение» его и другого индивида, находящегося на самом деле в удаленной точке, в некое третье место, расположенное
в дополнительной реальности (рис. 1.9).
Хорошим примером могут служить широко распространенные в Internet текстовые чаты. Пространство такого чата не проработано визуально, что делает невозможным осознание участниками своего присутствия в искусственной реальности. Однако во
время активного разговора у них может возникать ощущение,
что все они присутствуют в некотором общем пространстве.
3. Концепция погружения (immersion). Этот вариант реализации феномена Presence требует гораздо более богатого технического оснащения, чем предыдущие. Сигналы, являющиеся частью
дополнительной реальности, передаются непосредственно на органы восприятия индивида. Таким образом, большинство каналов восприятия – зрение, слух, осязание, обоняние – получают
информацию, отвечающую происходящему не в основной реальности, а в дополнительной. Соответствующие информационные
образы, принадлежащие к основной («истинной») реальности,
оказываются в этом случае блокированными, индивид полностью
«погружается» в восприятие дополнительной реальности.
Environment
Рис. 1.9. Концепция перемещения:
субъекты в виртуальной реальности
47
Кстати, блокирование информации из основной реальности
само по себе является частичной формой погружения. Например,
во время просмотра фильма легче создается ощущение присутствия, если в помещении выключен свет.
Для «погружения» в искусственно созданную реальность используются разнообразные современные технологии [87]. Можно
выделить технологии, которые применяются для виртуальной
(созданной при помощи компьютерных средств) реальности
и в индустрии развлечений. К первым относятся 3D-шлемы –
приспособления для передачи визуальной и звуковой информации, температуры и запахов, а также разнообразные современные
устройства для передачи тактильных ощущений [216]. Ко вторым – имитаторы движения, создающие иллюзию перемещения
во время демонстрации фильма, или «очки», позволяющие зрителю в кинотеатре видеть объемное изображение, а не плоское, которое воспринимается с экрана обычным глазом, и т. п. Новейшие
исследования позволяют производить опыты по записи изображения раздельно для каждого глаза и проецированию таких записей на специальный или даже на обычный монитор – в итоге
субъектом будут восприниматься трехмерные образы.
4. Концепция контакта («субъект из дополнительной реальности»). В англоязычной литературе используется термин «Social
actor within medium». Данная концепция может рассматриваться
как вариант концепции коммуникативной насыщенности. В случае, который мы будем называть контактом, индивид – участник эксперимента – воспринимает коммуникацию с неким субъектом из дополнительной реальности как коммуникацию c другим, также реальным, индивидом, проявляя характерные поведенческие реакции. Этот эффект достигается в случае, когда
удается обеспечить уровень передачи невербальной информации,
достаточный, чтобы создать у участника эксперимента ощущение
спонтанной «живой» коммуникации [154]. Подобная симуляция
коммуникативной ситуации называется в литературе паракоммуникацией (parasocial communication).
Феномен, описываемый концепцией контакта, может проявляться в любой ситуации, связанной с телекоммуникацией:
в этом случае контактирующий субъект может находиться в реальной коммуникации с участником эксперимента (телеконференция), либо в паракоммуникации (рекламный ролик). В качестве другого примера контакта можно рассмотреть ситуацию
48
с использованием виртуальных персонажей в качестве «провод­
ников», помогающих неофиту освоить какой-либо сайт, портал
или программу, либо в качестве так называемых «коммуникативных агентов», выполняющих эксплицитно заданные человеком функции – например, вести систематический поиск новой
информации по заданным ключевым словам или дифференцированно отвечать на приходящие письма, осуществляя для этого
поверхностный анализ содержания этих писем и классифицируя
их по заданным основаниям.
От ситуации, описываемой концепцией коммуникативной насыщенности, данный случай отличается тем, что участник эксперимента не обязательно испытывает эффект присутствия в дополнительной реальности как таковой (что было обязательным
условием в концепции коммуникативной насыщенности).
В общем случае индивид может испытывать эффект присутствия в варианте контакта, воспринимая в качестве партнера не
только какого-либо субъекта из дополнительной реальности, но
также и само средство передачи информации. Побуждением
к этому служит проявление средством передачи информации
коммуникативных свойств, а также поведенческих реакций, воспринимаемых участником эксперимента как характерные для
человека (звуковые реакции, голос, занятие свойственных человеку социальных позиций). Примеры непосредственного проявления феномена в этой форме встречаются в основном в фантастических произведениях, однако существуют социальные ситуации, которые можно трактовать аналогичным образом. Например, человек, работающий за компьютером, иногда может
обращаться к нему с выражением своих эмоций по поводу сбоев
в работе. Или же во время эксперимента, в который включено
прохождение тестов, которые оценивает и человек, и компьютер,
некоторые участники считали более значимой положительную
оценку компьютера, чем положительную оценку человека [154].
Presence и восприятие
Возникновение эффекта Presence зависит как от характеристик средства передачи информации, так и от психологических
особенностей того, кто испытывает эффект присутствия. Установлено, что возникновение феномена Presence зависит от интенсивности воздействия на органы восприятия. В частности, важ49
ным фактором, положительно влияющим на создание этого эффекта, служит яркость или правдоподобие реальности, создаваемой при помощи средства передачи информации [87]. Например,
детализация визуальных образов, реализованных в компьютерной реальности, увеличение экрана при демонстрации фильма,
подача дополнительной (звук, движение, равновесие) информации в симуляторах позволяют «усилить» ощущение присутствия.
Разумеется, информация, поступающая через различные каналы восприятия, должна согласованно описывать одну и ту же реальность.
Таким образом, наиболее легким для восприятия является состояние Presence, продуцируемое в соответствии с концепцией
погружения.
Необходимо подчеркнуть, что при переживании феномена
Presence индивид не может испытывать ощущения, не пережитые им ранее в обыденной реальности – это касается как ощущений в сфере восприятия (исключая непосредственное технологическое воздействие на органы чувств), так и эмоций. В этом существенное отличие эффекта присутствия от измененных состояний
сознания, в которых отмечаются эффекты изменения восприятия
или расширение гаммы ощущений (например, самоотчеты состояний, вызванных галлюциногенными средствами, содержат упоминания о подобных феноменах).
Очевидно, что информация, опосредствованная различными
средствами передачи, не может одинаковым образом воздействовать на индивида, создавая или не создавая эффект Presence.
Установлено, что, вообще говоря, информация, передаваемая через визуальные средства, имеет преимущество перед аудиальной,
и оба этих типа способствуют возникновению феномена Presence
в большей степени, чем восприятие написанного текста [203]. Однако эффект погружения в дополнительную реальность может
наблюдаться в результате передачи информации достаточно несовершенными (в смысле непосредственного воздействия на органы
чувств) средствами. В качестве примера можно привести так называемую «book problem». Это феномен, известный каждому
страстному читателю: читая захватывающую историю, можно
ощутить себя как бы «перенесенным» в реальность описываемых
в книге событий. По своим свойствам данный феномен полностью
соответствует концепции Presence как перемещения. Однако
здесь совершенно отсутствует любая форма восприятия дополни50
тельной реальности через средства передачи, воздействующие на
органы чувств. Исследователи считают, что в данном случае
(и, возможно, этот вывод можно распространить и на другие варианты Presence) средством передачи информации служит, преж­
де всего, модель, которую выстраивает индивид в собственном сознании. Воспринимаемый же им непосредственно текст книги
(видеоряд и звук фильма, ощущения, порожденные симулятором) служит только первичным источником для выстраивания
модели дополнительной реальности. Другими словами, причиной возникновения эффекта Presence служит не поступающая
тем или иным образом внешняя информация, а только выстроенная индивидом модель реальности, основанная, строго говоря, на
любой информационной базе.
Presence: субъектозависимость
Возможность проявлять себя по отношению к воспринимаемой реальности крайне важна для освоения этой реальности на
вовлеченном уровне, что необходимо для возникновения эффекта
Presence.
Существует два основных способа снабдить участника эксперимента «виртуальным» телом, необходимым ему для вовлеченной деятельности в реальности присутствия. Это создание рисованного аналога (аватара), или же улавливание рефлекторных
движений с помощью современных приспособлений (перчатки,
датчики движения) вместе с «проецированием» ощущений [211].
В настоящее время более распространенным является использование рисованного аналога, который индивид выбирает или
создает самостоятельно. Это обусловлено простотой реализации
данного варианта «персонификации»: для него не требуется дополнительного оборудования. Таким образом передаются действия индивида в различных вариантах «домашнего» моделирования дополнительной реальности при помощи компьютера.
Аватары широко используются в тех вариантах реализации эффекта Presence, которые описываются концепциями коммуникативной насыщенности или контакта. С помощью аватара реализуются действия персонажей компьютерных игр или графических чатов. Очевидной сложностью при использовании аватар
является то, что их движения не отвечают напрямую рефлекторным движениям участника эксперимента, но являются осознан51
ными или частично осознанными действиями, поскольку, преж­
де чем аватар произведет какой-либо жест, участник должен дать
соответствующую команду при помощи клавиатуры компьютера
или мыши. Однако, как показывают опросы, это не является существенным препятствием для возникновения эффекта присутствия. Использование аватар позволяет эффективно исследовать
социальные отношения в условиях возникновения Presence при
большом количестве участников [200].
В случае, когда в моделировании дополнительной реальности
участвуют современные устройства, позволяющие подавать информацию непосредственно на перцептивные органы индивида
(в этом варианта феномен присутствия лучше всего описывается
концепцией погружения), современная аппаратная база может
обеспечить возможность использования средств, позволяющих
передавать в дополнительной реальности спонтанные поведенческие реакции, которые проявляет участник эксперимента.
Существенной особенностью действия в моделированной реальности по сравнению с различными примерами необыденной
реальности является ее субъектонезависимость: индивид, испытывающий эффект присутствия, не может произвольно (осознанно) менять реальность присутствия, будучи связан законами смоделированного мира точно так же, как он связан законами физики в обыденной реальности. Однако, в отличие от обыденной реальности, в реальности присутствия могут быть представлены
различные предметы и явления, невозможные в реальности обыденной. Например, легко представить себе осуществление в искусственной реальности превращений (как смену аватар). Тем не
менее возможность изменения искусственной реальности является внешним параметром по отношению к субъекту эксперимента
и задается при моделировании реальности.
Заметим, что при такой постановке вопроса возникает предположение, что при желании или необходимости возможно смоделировать реальность, в достаточной степени зависимую от воли
субъекта.
Presence: вовлеченность
Степень вовлеченности участника эксперимента способствует
различным способом осознания индивидом своей вовлеченности.
В самоотчетах участников разнообразных экспериментов, посвя52
щенных исследованию феномена Presence, можно провести разделение по способу осознания ими испытываемых ощущений.
Можно выделить два разных способа осознания эффекта присутствия: это пребывание в некотором месте (being in a location)
и погружение в деятельность (being involved in what you are
doing).
В литературе описываются два вида самоотчетов участников
таких экспериментов [184]. Одни участники утверждают, что переживали происходящее как свое непосредственное присутствие
в смоделированной, или дополнительной, реальности, а другие
свидетельствуют, что не испытывали отрыва от основной реальности, осознавая, что находятся за компьютером, однако были
полностью, в том числе и эмоционально, увлечены происходящим
на экране и своим участием в этом. Будем называть первый вариант феномена эффектом присутствия в среде, а второй – эффектом присутствия в деятельности (вовлечением).
Отметим, что в первом варианте феномен может испытываться индивидом, скорее всего, в ситуациях переживания Presence,
описываемых концепцией погружения или переноса, тогда как
во втором для описания переживания эффекта лучше всего подходят концепции коммуникативной насыщенности или контакта.
Из всех видов деятельности, способствующих возникновению
эффекта присутствия, максимальное вовлечение обеспечивают
компьютерные игры, поэтому описанные эксперименты относятся к этой разновидности деятельности в моделированной реальности. Проведенные в процессе этих экспериментов интервью показывают, в частности, что после нескольких первых опытов степень реалистичности дополнительной (игровой) реальности все
меньше влияет на степень вовлеченности индивида и возникновение эффекта Presence.
Presence и измененные состояния сознания
Выше мы отмечали, что феноменология эффекта присутствия
имеет определенное сходство с феноменологией измененных состояний сознания. На близости эффектов, сопутствующих продуктивной работе за компьютером, подключенным к Internet,
с эффектами, возникающими при приеме наркотических средств,
настаивал известный апологет разнообразных методов расшире53
ния сознания Тимоти Лири [38]. Профессиональный психолог
Лири начинал с изучения эффектов принятия наркотиков в ходе
выполнения деятельности, впоследствии переключился на разработку наркотических методов расширения сознания, а в конце
жизни увлекся аналогией между химическими и электронными
способами достижения соответствующего эффекта. Тем не менее,
по нашему мнению, необходимо различать феномен Presence
и феномен изменения состояния сознания (ИСС).
Наиболее полный анализ теоретических моделей, описывающих ИСС в современной психологии, предложен в статье [37],
где систематизированы сведения о существующих теориях дискретных, континуальных и дискретно-континуальных состояний сознания. Согласно изложенным в статье концепциям, теория континуальных состояний сознания полагает, что одно и то
же ИСС может вызываться различными способами. С точки же
зрения теории дискретных состояний, каждый прием имеет свой
определенный радиус действия. Исследователи внесли существенный вклад в расширение традиционного понимания сознания. В статье также затрагивается проблема интерактивного исследования феноменологии ИСС и основания такого исследования, а именно – взаимодействие сознательного «Я» субъекта эксперимента и актуализировавшихся элементов бессознательного,
а также использование этих принципов в различного рода методах психотерапии (например, трансперсональной или интерактивной).
Переживанию феномена Presence и состоянию измененного
сознания присуще одно общее качество – это повышенная вовлеченность. Однако существенно то, что для изменения сознания
этот фактор находится в ряду причин, тогда как для эффекта присутствия это характеристика самого состояния. Ситуация, связанная с переживанием феномена присутствия, чаще всего продуцируется технологическими средствами: для ее возникновения
необходим компьютерный терминал, экран кинопроектора, специальный шлем и сервокостюм и т. п.
Продуцирование ИСС
ИСС можно вызывать при помощи различных средств и приемов, которые препятствуют притоку сенсорных и проприоцептивных стимулов, нормальному выходу моторных импульсов или
54
нормальному течению когнитивных процессов [72]. Способы продуцирования измененного состояния сознания многочисленны,
однако в основном их можно отнести к трем основным группам:
психотехнические, химические и физиологические.
К химическим способам продуцирования ИСС, кроме очевидного приема фармакологических возбудителей (как то психо­
делические, седативные или наркотические препараты), относятся резкое прекращение приема наркотических веществ, а также
явления, связанные с изменением химии организма, например,
гипо- или гипергликемия, обезвоживание, дисфункция щитовидной железы.
Физиологические изменения также могут приводить к возникновению измененных состояний сознания. Так, отмечаются
появления ИСС у больных, страдающих определенными болезнями, или в результате некоторых операций. Довольно часто можно
наблюдать изменения состояния сознания у людей, страдающих
дефицитом сна.
Однако самой обширной остается группа психотехнических
или психологических воздействий. В нее можно включить различного рода внушения (гипноз, эриксонианский гипноз, медитация и самовнушение, так называемое «зомбирование» и «манкуртизация» и т. п.), а также депривации сенсорного восприятия,
изменения паттернирования сенсорных данных или постоянного
предъявления повторяющейся стимуляции. Согласно описаниям, ИСС могут возникать в результате длительного одиночного
заключения, социальной или стимульной депривации (например, нахождение в море или в пустыне), как результат «гипноза
автострады» [72], состояния крайней скуки, таких состояний,
как сон или дремота.
Обратно, воздействие на организм сильного возбуждения, сенсорной перегрузки, длительное повышение моторной или эмоциональной активности также может привести к возникновению
ИСС. Примерами таких ИСС могут служить различные состояния транса, испытываемые во время шаманских и подобных им
ритуалов, «танец» дервишей и т. д. Кроме того, повышенная или
сниженная алертность или психическая вовлеченность также
могут служить причиной изменения состояния сознания. В качестве примера можно привести состояния, вызванные длительным
состоянием бдительности при сторожевой работе, состояние интенсивной поглощенности задачей, транс в результате сосредото55
чения на чужом дыхании и пр., а также состояния медитативного
транса («самадхи» и прочие состояния, возникающие при «пассивной» медитации), состояние грез или сонливости, состояния
творчества и озарения.
Основные характеристики ИСС
Приведем несколько характерных особенностей, общих для
всех состояний измененного сознания, и сравним их с соответствующими характеристиками переживания состояния Pre­
sence.
1. Изменения в мышлении. В состояниях ИСС главенствующей становится архаическая модель мышления, понижается
уровень рефлексии, могут проявляться противоположные импульсы в отношении одного и того же объекта [72]. В специально
индуцированных гипнотических состояниях, призванных способствовать повышению творческого потенциала, наблюдается
реальный подъем креативности, который частично сохраняется
и в постгипнотическом состоянии, в том числе в течение длительного времени [73]. Согласно же самоотчетам участников экспериментов, переживая феномен присутствия в искусственно смоделированной реальности, они «остаются собой», т. е. их модель
мышления не изменяется.
2. Нарушения чувства времени. Для состояний ИСС характерна дезориентация во времени, изменение субъективного восприятия хода времени, время может восприниматься как бесконечное.
Что касается переживания эффекта присутствия, для некоторых
вариантов этого состояния характерно субъективное восприятие
времени как растянувшегося или, наоборот, замедлившегося.
Например, при вовлеченном общении или чтении, сопровождающихся переживанием Presence, индивид может ощущать, что
прошло больше или меньше времени, чем это есть в реальности.
Тот же эффект может возникать в еще большей степени, когда эффект Presence возникает во время компьютерной игры.
3. Нарушения произвольного функционирования. При входе
в ИСС частично или полностью утрачивается произвольность
ряда психических процессов, в особенности переключаемость
внимания, самоконтроль и контроль над окружающей действительностью. При отсутствии опыта пребывания в ИСС может возникать чувство неуверенности и страха. В отличие от ИСС, состоя­
56
ние Presence, как правило, не характеризуется утратой произвольности и целенаправленности деятельности; в частности, одно
из применений Presence лежит в сфере разработки и совершенствования тренажеров.
4. Изменения в эмоциональном реагировании. В ИСС, в связи
с ослаблением контроля или запретов, могут происходить неожиданные вспышки более интенсивных, чем в нормальном состоянии, примитивных эмоциональных реакций, или же высших позитивных чувств – «вселенской любви» либо творческих
озарений. Таким образом, с легкостью возникают крайние эмоциональные состояния – от экстаза до депрессии. Для состояний
Presence также могут быть характерны сильные эмоциональные
реакции, однако, как правило, диапазон их далек от край­
ностей.
5. Изменение образа тела. Характерные для различных тран­
совых состояний – от наркотических до религиозных – ощущения раздвоенности, «отчуждения собственного Я», «выхода из
тела», «разделения тела и души» не встречаются у лиц, испытывающих феномен Presence.
6. Ощущение уникальности собственного опыта. Индивид,
испытавший ИСС, часто затрудняется в передаче сущности своего переживания другому человеку в силу кажущейся или действительной уникальности переживания и эмоционального переживания его ценности. Эта ценность и самоценность переживаний зачастую бывает многократно завышена и может формулироваться как «постижение смысла бытия», «великое открытие»
и т. п. – все это без достаточных рациональных оснований. Для
человека, испытавшего эффект присутствия, все ощущения будут тождественны, или сходны, или усилены по отношению
к тем переживаниям, которые он уже испытывал или о которых
знает. Поэтому специальные сложности при передаче опыта отсутствуют.
7. Обретение (фиктивного) собеседника. Одноразовое или систематическое пребывание в ИСС иногда характеризуется ощущением присутствия «другого», в том числе «высшей силы», всемогущего позитивно настроенного существа, задающего вопросы
и отвечающего на них. Столь же часто наблюдается «раздвоение
личности» или ощущение присутствия «альтер эго», партнера
и собеседника из числа ранее знакомых либо вовсе не знакомых
субъектов. Таким образом, для ИСС характерна инициация диа57
логических отношений; в отличие от ИСС, эффект присутствия не
сопровождается иллюзорным удвоением субъекта или галлюцинаторным обретением партнера.
8. Гипервнушаемость. При переживании эффекта присутствия не происходит изменения модели мышления, не снижается
степень рефлексии и т. д. Соответственно, не возникает и необходимости в поиске руководства, что часто является причиной гипервнушаемости в ИСС.
Приведем еще несколько положений, характеризующих переживания субъекта в измененном состоянии сознания и во время
«присутствия» в искусственно опосредствованной реальности
(ОР) (табл. 1.3).
К исследованию феномена Presence быстрее других приступили ученые, работающие на стыке с коммерческими сферами, такими как телевидение или реклама. Очевидные преимущества,
которые может обеспечить для восприятия телепрограмм и кинофильмов использование состояний Presence, натолкнули их на
идею пристального изучения этого феномена.
В настоящее время эффект присутствия используется и изучается во многих областях, от телекоммуникаций до медицины.
Психология только начинает «присматриваться» к этому явлению. Тем не менее основную роль в его изучении должны играть
психологические исследования. Этот феномен связывает различные области науки, предлагая, таким образом, широкую сферу
для разработки междисциплинарных проектов.
Феноменология состояния Presence во многом сходна с феноменологией измененных состояний сознания, однако, скорее всеТаблица 1.3
Сравнение измененных состояний сознания и эффекта присутствия
ИСС
Потеря одномоментного знания
о существовании других СС
Новые по сравнению с ОР эмоциональные ощущения
Превалирование перцептивной
информации
Изменение восприятия
ЭП
Одновременное знание о существовании ОР
Интенсификация и повторное
переживание ощущений, уже
испытанных в ОР
Превалирование коммуникативной информации
Неизменное восприятие
Зависимая от субъекта реальность Независимая от субъекта реальность
58
го, состояние Presence не является одним из ИСС. Об этом говорят
как различие способов продуцирования этих состояний (фармакологические или психотехнические для ИСС, технологические
для Presence), так и анализ самоотчетов участников экспериментов, испытавших на себе эффект присутствия в реальности, смоделированной при помощи компьютера или других технологических средств.
Мы не ставили своей целью доказать принадлежность феномена Presence к спектру измененных состояний сознания или опровергнуть предположение об этой принадлежности. Мы лишь постарались всесторонне рассмотреть феномен Presence, описав не
только его существенные качества, но и характеристики, позволяющие сравнить его с близкими состояниями, каковыми могут
оказаться некоторые ИСС.
В заключение можно сказать, что феномен присутствия в искусственно опосредствованной реальности еще не слишком хорошо изучен, и дальнейшее исследование этой темы может принести новые открытия, касающиеся определения его места в системе сознания. Пока можно сказать лишь то, что этот феномен
обогащает сознание на еще один пласт реальностей, способных
присутствовать в нем одновременно с обыденной реальностью, реальностью сновидений, фантазии, сказки или игры.
1.5. Сенсорные характеристики человека и их ограничения
Основная задача систем виртуальной реальности – создать
у пользователя иллюзию, что созданный на компьютере «мир»
абсолютно реален. В идеальной виртуальной среде человек должен не восхищаться, что «тут все почти как настоящее», а у него
должно создаваться впечатление, что мир, в который он попал, –
действительно настоящий и все, что происходит с ним в этом
мире, происходит на самом деле. Подобные идеальные системы
нередко описываются в фантастических романах и фильмах, где
ощущения передаются напрямую в мозг наблюдателя и герой пытается понять, находится ли он сейчас в реальном мире или же
его окружает мир, имитируемый компьютером. Однако возможно ли создать такие системы на самом деле?
К счастью или нет, но пока это невозможно. Хотя сейчас и описаны уже несколько экспериментов по вживлению в слуховую
и зрительную кору головного мозга электродов, частично позво59
60
Модель активности
Рецепторы
Восприятие положения
частей тела и позы
Зрительная
Зрение
Гаптическая Восприятие геометрических свойств объектов
(формы, размеров,
пропорций)
Хеморецеп- Восприятие вкуса
тивная
Обонятель- Восприятие запахов
ная
Кинестетическая
Химический состав
стимулов
Химический состав
стимулов, структурная форма молекул
Свет
Давление, прикосновение
Кожа, мышцы,
Давление, темперасуставы, сухожилия тура, повреждение
органов
Суставы, мышцы,
Давление, прикоссухожилия
новение
Температура
Кожа
Стимулы
Силы гравитации
и ускорения
Звуковые волны
Давление, прикосновение
Анатомический орган
Таблица 1.4
Вестибулярные
органы
Ухо
Кожа, мышы
Тельца Пачини,
цилиндры Руффини,
тельца Гольджи
Тельца Пачини, тельца Кожа, мышцы,
Мейсснера, тактильные суставы, сухожилия
диски, корзинчатые
клетки
Вкусовые почки
Полость рта, язык,
гортань, глотка
Обонятельные реснички Слизистая поверхность носа и полости
рта
Фоторецепторы (палоч- Глаз
ки и колбочки)
Поддержание равновесия Волосковые клетки
и ориентация
Слух
Волосковые клетки
Осязание
Тельца Пачини, тельца
Мейсснера, тактильные
диски, корзинчатые
клетки
Температур- Восприятие тепла и холо- Цилиндры Руффини,
ная
да
колбочки Краузе,
свободные нервные
окончания
НоциеципВосприятие боли
Свободные нервные
тивная
окончания
Система
Вестибулярная
Слуховая
Осязательная
Основные перцептивные системы человека
ляющих слышать и видеть людям, у которых по каким-либо причинам не функционируют соответствующие органы чувств, однако до полноценной имитации реального мира пока еще очень далеко. В настоящее время все существующие системы виртуальной реальности основаны на стимуляции органов чувств.
Для построения образа мира человек, кроме зрительной, использует слуховую, вестибулярную, тактильную, вкусовую, обонятельную и проприорецептивную информацию, соответственно,
при разработке полностью реалистичной виртуальной среды желательно учитывать все эти сенсорные модальности (табл. 1.4).
Тем не менее для человека зрение является доминантной сенсорной системой. На биологическом уровне это подтверждается
тем, что в обработке зрительной информации участвует почти половина коры головного мозга [84], а на поведенческом уровне доминирующая роль зрения подтверждается многочисленными
экспериментами на сенсорный конфликт, в которых зрительная
информация противоречит информации от какой-либо другой
сенсорной системы. Так, в частности, наиболее ярко доминантность зрения была продемонстрирована в классических экспериментах И. Рока [193], [194], где испытуемые должны были определить геометрическую форму предъявляемых им предметов, рассматривая их через искажающую линзу и одновременно ощупывая их. Оказалось, что испытуемые бессознательно отдают
приоритет зрению; так, например, рассматривая через искажающую линзу квадрат, они воспринимали его как прямоугольник,
несмотря на то, что держали эту фигуру в руках и ощупывали ее.
В данном разделе мы рассмотрим те характеристики зрительной системы человека, которые, по нашему мнению, наиболее
важные при создании виртуальной среды.
1.5.1. Зрительная система
Поле зрения
У человека различают несколько полей зрения. В первую очередь, это поле зрения неподвижных глаз, т. е. пространство, которое видят глаза, фиксируя определенную точку неподвижным
взглядом при неподвижном положении головы. В нем, в свою очередь, выделяют бинокулярное (пространство, которое одновременно видят оба глаза) и монокулярное поле зрения (простран61
ство, видимое одним глазом). Также выделяют поле зрения с учетом возможности вращения глаз, т. е. пространство, которое
видимо обоими глазами при неподвижном положении головы.
На рис. 1.10 сплошной линией, переходящей в штриховую,
изображено поле зрения каждого из глаз: слева – левого, справа –
правого. Белое поле, ограниченное штриховой линией, – это бинокулярное поле зрения, т. е. поле, которое видимо обоими глазами. Форма его близка к кругу с диаметром около 70°. Каждый заштрихованный участок поля виден только одним глазом. Сплошная линия очерчивает пространство, одновременно охватываемое
двумя глазами, все поле зрения обоих неподвижных глаз.
Поле зрения – величина непостоянная и зависит от множества
факторов [18], [80]:
– аметропии (при близорукости размеры поля сужаются);
– анатомического строения лица (высоты переносицы, глубины расположения глаз в глазнице, расстояния между глазами,
длины носа, разреза глаз и пр.);
– физиологических колебаний размера зрачка (широкий зрачок способствует расширению поля зрения);
– яркости, контраста, размера тестового стимула;
– времени предъявления тестового стимула;
– цвета тестового стимула (за счет особенностей расположения
фоторецепторов на сетчатке ахроматические стимулы имеют
0°
30°
70°
30°
50°
60°
60°
30°
10°
90°
90°
10°
30°
120°
120°
50°
150°
70°
150°
180°
Рис. 1.10. Поле зрения неподвижных глаз [80]
62
большее поле зрение, чем цветные; наименьшее поле зрения характерно при восприятии стимулов красного цвета);
– зрительного утомления (при утомлении поле зрения уменьшается);
– возраста (максимальное поле зрения характерно для людей
в возрасте 20–24 лет, а затем с возрастом поле уменьшается).
В связи с такой зависимостью поля зрения от индивидуальных различий и условий проведения измерения, исследователи
указывают несколько различающиеся границы поля зрения
у нормального человека [2], [34], [39], [80], [84], [186], [220]. Если
обобщить эти данные, то размеры поля зрения в норме таковы:
• границы монокулярного поля зрения:
– по горизонтали: к виску – 90–100°, к носу – 50–60° (всего
140–160°);
– по вертикали: вверх – 50–60°, вниз – 60–75° (всего 110–
135°);
• поле, охватываемое двумя неподвижными глазами, составляет по горизонтали 180–200°. В нем область бинокулярного зрения, т. е. область пространства, видимая глазами одновременно,
составляет по горизонтали около 100–120°;
• при вращении глаз наибольшее отклонение зрительных осей
составляет ±45–50°. При неподвижной голове, благодаря движениям глаз, поле зрения значительно увеличивается и составляет
приблизительно 290° по горизонтали и 190° по вертикали.
В CAVE-системах виртуальной реальности, где экраны окружают наблюдателя со всех сторон, необходимо учитывать, что
в поле зрения попадает как напольная, так и потолочная поверхность. Если по каким-либо причинам невозможно одновременно
создать экраны на полу и потолке, то предпочтительнее оказывается напольный экран, так как при движении глаз напольная поверхность попадает в поле зрения чаще, чем потолочная.
Многочисленные эксперименты [91], [133], [179], [219], в ко­
торых оценивалось, как влияет величина поля зрения на появление эффекта погружения в виртуальную реальность, показали,
что имеется положительная связь между размером поля зрения
и возникновением «чувства реальности происходящего» у испытуемых.
И, наоборот, слишком узкое поле зрения, которое, как правило, характерно для наголовных дисплеев, приводит к снижению
результатов в тестах на локомоцию, зрительный поиск, простран63
ственную осведомленность: увеличивается время выполнения заданий, нарушается зрительная координация, возникают нарушения восприятия размеров и расстояний, а также искажается
ощущение местоположения эго-центра [88], [91], [122].
Вместе с тем необходимо учитывать, что использование слишком широких зрительных полей повышает вероятность появления такого эффекта, как «виртуальное укачивание» («VR sickness», «VE sickness», «cybersickness» и др.), которое, как и обычное укачивание, сопровождается у пользователя ощущениями
головокружения и тошноты [91], [148], [176], [207], [210]. Точная
причина возникновения этого эффекта неизвестна, и существует
несколько гипотез, объясняющих его возникновение. С нашей
точки зрения, причина этого эффекта связана с тем, что при увеличении ширины экрана, на котором демонстрируется виртуальная реальность, возрастает чувство погружения в эту реальность.
При движении наблюдателя внутри этой реальности у него возрастает конфликт между зрительным ощущением и сигналами
со стороны вестибулярной системы. В реальной жизни конфликт
между этими сенсорными системами часто возникает при отравлении, когда токсичные вещества попадают в нервную систему.
Рефлекторной реакцией организма на такой сенсорный конфликт
является скорейшее избавление от токсичных веществ при помощи такого механизма, как рвота, появлению которой предшествуют симптомы укачивания — головокружение и тошнота.
В случае, когда человек относительно хорошо контролирует свое
перемещение, ощущение укачивания снижается, так как происходит компенсаторная моторная «подгонка» для того, чтобы поддерживать надлежащую ориентацию и привести в соответствие
визуальные и вестибулярные сигналы. Именно поэтому укачивание значительно реже появляется у водителей автомобилей, чем
у пассажиров. В системах же виртуальной реальности укачивание реже возникает в компьютерных играх, где пользователи активны, чем при просмотре на широких экранах различных фильмов и роликов, где наблюдатели пассивны.
И, наконец, говоря о поле зрения, нельзя не упомянуть еще об
одном психологическом феномене восприятия. В 1981 г. А. Дж. Делонг высказал предположение, что восприятие времени человеком зависит от размера объектов, с которыми он взаимодействует
[120]. Различные эксперименты подтвердили это предположение
[104], [164]. Так, в одном из экспериментов три группы испытуе64
мых играли в одну и ту же видеоигру. Различие между группами
состояло лишь в размере визуальных дисплеев, на которых им демонстрировалась игра (экраны с диагоналями 13 см, 28 см и 58 см).
Оказалось, что оценка испытуемыми продолжительности игры
зависела от размера экрана. Чем больше был экран, тем менее продолжительной казалась игра для испытуемых. Таким образом,
чем больше экран, тем быстрее течет субъективное время. Согласно Митчеллу и Дэвису, сжатие субъективного времени является
следствием различий в плотности подлежащей обработке информации, а плотность определяется величиной пространства.
Восприятие цвета
Как известно, сетчатка человека состоит из двух типов рецепторов – палочек и колбочек. Палочки чувствительны к яркости,
а колбочки – к цвету. При низких уровнях яркости (менее 1 кд/м2)
зрение обеспечивают только палочки (скотопическое зрение), при
высоких уровнях яркости (более 100 кд/м2) работают, напротив,
только колбочки (фотопическое зрение) [76]. На промежуточных
уровнях яркости и палочки, и колбочки функционируют совместно (мезопическое зрение). За восприятие цвета в сетчатке отвечают колбочки; соответственно, когда в сумерках они «отключаются», человек перестает различать цвета (табл. 1.5).
Таблица 1.5
Свойства фотопического и скотопического зрения человека [84]
Характеристика зрения
Рецептор
Положение на
сетчатке
Уровень светимости,
необходимый для
функционирования
Максимальная длина
волны
Цветное зрение
Темновая адаптация
Пространственное
разрешение
Фотопическое
Скотопическое
Колбочки
(около 7 млн)
Сконцентрированы
в центральной ямке
сетчатки
Дневной свет
Палочки
(около 125 млн)
Расположены на
периферии сетчатки
550 нм
500 нм
Да
Нет
Ночной свет
Быстро
Медленно
(примерно 5 мин)
(примерно 30 мин)
Высокая острота, низ- Низкая острота, высокая чувствительность кая чувствительность
65
В большинстве существующих в настоящее время систем виртуальной реальности изображение формируется посредством излучающих свет проекторов или дисплеев. Соответственно, человек
воспринимает его при помощи мезопического зрения. В случае,
если в виртуальном мире требуется изобразить ночь или сумерки,
то для достижения эффекта большего реализма желательно имитировать эффекты скотопического зрения.
При снижении освещенности первыми перестают работать колбочки, реагирующие на коротковолновый свет. Это проявляется
в том, что зеленые объекты становятся неотличимы от синих, притом что красные оттенки продолжают восприниматься. При дальнейшем снижении освещенности длинноволновые («красные»)
колбочки также перестают работать, и человек начинает воспринимать мир в черно-белом свете, причем часто не осознавая этого.
Скотопическое зрение человека – это не просто зрение без цвета, оно имеет свои особенности. Дело в том, что палочки, ответственные за ночное зрение человека, более чувствительны к коротким длинам волн. В результате возникает особый эффект, известный как эффект Пуркинье. Его, например, можно наблюдать
при сравнении двух объектов синего и красного цветов, которые
при дневном свете имеют одинаковую светлоту. Если эти два объекта рассматривать при очень низких уровнях яркости, синий
объект будет восприниматься достаточно светлым, в то время как
красный, в силу особенностей функции скотопической спект­
ральной чувствительности, покажется почти черным. Во многих,
но, увы, не во всех компьютерных программах для работы с графикой при преобразовании цветного изображения в черно-белое
эффект Пуркинье учитывается автоматически.
Еще один эффект, о котором необходимо упомянуть, – эффект
Бецольда–Брюкке. Суть этого эффекта заключается в том, что при
увеличении интенсивности стимула происходит смещение в восприятии его цветового тона: длинноволновый свет кажется более
желтым, а коротковолновый – более синим. Этот эффект следует
учитывать при работе с системами виртуальной реальности. В частности, со временем яркость проекторов и ламп подсветок в дисплеях постепенно снижается, что может привести к искажениям в восприятии цвета в изображениях, предъявляемых с их помощью.
И, наконец, следует отметить, что в некоторых системах виртуальной реальности принципиально невозможно добиться реалистичной цветопередачи. В первую очередь, это относится к си66
стемам, где стереоизображение создается при помощи цветных
анаглифов — специальных очков, одно стекло которых красное,
а другое сине-зеленое. В таких системах невозможно предъявлять спектрально чистый красный или спектрально чистый синий цвета так, чтобы у наблюдателя не возникало ощущения световой слепоты в одном из глаз.
Острота зрения
Острота зрения – это способность распознавать мелкие детали
и отличать друг от друга разные участки поля зрения. В зависимости от типа зрительных задач выделяют [84] пять основных типов остроты – острота обнаружения, острота разрешения, острота
локализации, острота распознавания и динамическая острота
зрения.
Острота обнаружения – это способность обнаруживать наличие объекта в поле зрения. Этот вид остроты зависит от таких параметров стимула, как его яркость,
цвет, форма, размер и местоположение в поле зрения, а также от возраста человека и его функционального
состояния.
Острота разрешения – это величина, обратная минимальному углу,
при котором глаз различает две светящиеся точки. За норму при оценке
остроты зрения принят угол, составляющий ровно 1° [2], [53]. Однако в реальности у людей чаще встречается
острота зрения с предельным углом
разрешения в 1,5–2° [80] (рис. 1.11).
Бинокулярная острота разрешения выше монокулярной приблизительно в 1,3 раза [56].
Острота разрешения зависит от
множества факторов, как эндогенных, характеризующих зрительный
аппарат наблюдателя, так и экзогенРис. 1.11. Кольца Ландольных, связанных с условиями иссле- та – cтандартный способ
дования [2], [80].
оценки остроты разрешения
67
К эндогенным факторам относятся:
– рефракция, аккомодация и диаметр зрачка глаза (определяют четкость изображения объектов на сетчатке);
– аметропия (близорукость и дальнозоркость снижают остроту зрения, но ее можно повысить корригирующими линзами);
– аккомодация (максимальная острота зрения обеспечивается
лишь в пределах области аккомодации и сильно снижается за ее
пределами);
– возраст (острота зрения достигает максимума примерно
к 17 годам и сохраняется на этом уровне до 60–65 лет, а затем резко снижается);
– место проекции на сетчатку (чем дальше проекция от цент­
ральной ямки, тем хуже острота зрения; на расстоянии 20° от
центра острота зрения составляет лишь 10 % от максимального
значения).
Экзогенные факторы, влияющие на остроту зрения:
– яркость фона и контраст объектов с фоном (при увеличении
яркости фона и контраста острота зрения возрастает);
– время наблюдения объектов;
– форма объектов;
– освещенность (наибольшая острота зрения достигается
на ярком свету благодаря колбочкам, большинство которых
сконцентрировано в центральной ямке; в условиях же слабой освещенности они перестают работать, и продолжают функционировать лишь палочки, поэтому в сумерках острота зрения на периферии поля зрения оказывается выше, чем его
в центре);
– длина волны.
Острота зрения при оценке смещения прямой линии (острота
локализации) значительно выше, чем при восприятии других
объектов. Так, в различных измерительных приборах (штангенциркулях, микроскопах и пр.) требуется совмещать указатель
с делениями шкалы, так, чтобы один штрих составлял как бы
продолжение второго. Оказалось [80], что при таком совмещении
погрешность составляет не более 10″, т. е. предельный угол разрешения равен 0,17′. Если же установить еще одну шкалу, соприкасающуюся с первой, но с другой частотой делений (например,
на одной шкале 10 делений на длине 10 мм, а на другой – 9 делений на той же длине), то глаз обнаруживает еще более высокую
остроту. В этом случае ошибка установки не превышает 6″. Такое
68
повышение остроты зрения при восприятии смещений линий называется нониальным эффектом.
Еще одним типом остроты является острота распознавания. При восприятии знакомых объектов острота
зрения оказывается выше, чем при
восприятии незнакомых (рис. 1.12).
И, наконец, динамическая острота характеризует способность обнаруживать движущийся стимул и следить за его перемещением. В отличие
от рассмотренных выше статических
форм остроты зрения, динамическая
острота изменяется в зависимости от
скорости перемещения визуального
стимула: по мере увеличения скорости перемещения визуального стимула она уменьшается. Кроме того, динамическая острота зависит от положения стимула в поле зрения. Лучше Рис. 1.12. Таблица Головина–
Сивцева для оценки
всего движение обнаруживается на
остроты распознавания
периферии поля зрения, так как на
периферии сетчатки расположены в основном палочки, которые,
по сравнению с колбочками, более чувствительны к восприятию
движения.
Восприятие движения
Детекция движения
У человека существует две физиологические системы детекции движения. Первая система определяет движение объекта
в случае, если его изображение перемещается по сетчатке, последовательно возбуждая соседние фоторецепторы. Такую систему
обычно называют системой «изображение – сетчатка».
Вместе с тем следует отметить, что для нормального функционирования данной системы необходимо, чтобы глаз был неподвижен. Однако подобная неподвижность часто возможна лишь в лабораторных условиях, где глаза и голова испытуемых искусствен69
но зафиксированы. В реальных же условиях глаза у людей находятся в непрерывном движении. Так, например, заметив, что
какой-либо объект перемещается, глаза начинают непроизвольно
следить за этим объектом. В итоге этот движущийся объект отображается в одной и той же области сетчатки, и, соответственно,
если бы система «изображение – сетчатка» была бы единственной, мы бы воспринимали такой объект как неподвижный. Однако в действительности мы прекрасно видим, что он двигается.
Дело в том, что в этом случае мозг определяет наличие движения
не только по положению изображения на сетчатке, но и в зависимости от того, давались ли им какие-либо команды соответствующим глазным мышцам. Другими словами, если изображение
какого-либо объекта сохраняет свое положение на сетчатке, но
при этом производилось сокращение соответствующих мышц,
управляющих движениями глаз, то мозгом делается вывод, что
этот объект движется. Эту систему обычно называют системой
«глаз – голова». На рис. 1.13 два фоторецептора А и В, расположенные на расстоянии d друг от друга, связаны с детектором движения MD. Детектор движения реагирует в том случае, если свет
L сначала воздействует на рецептор А, а затем сразу же или через
некоторый определенный промежуток времени t – на рецептор В
[84], [199].
Интересные эффекты возникают, если нарушить нормальную
работу системы «глаз – голова». Так, если пассивно поворачивать
глазное яблоко, не задействуя глазные мышцы, например, при
помощи пальцев, то возникнет впечатление, что окружающий
мир движется в противоположном повороту направлении. Если
же, наоборот, зафиксировать глаз так, чтоб он не мог двигаться,
и мысленно пытаться его повернуть, отдавая сигналы глазным
мышцам, то, хотя и глаз, и окружающие предметы останутся на
A
L
t
d
MD
B
Рис. 1.13. Нейронная модель детектора движения
70
месте, возникнет иллюзия, что воспринимаемые объекты движутся.
Рассмотрим теперь особенности восприятия движения в основных типах систем зрительной стимуляции, используемых в системах виртуальной реальности. Очевидно, что окружающие наблюдателя экраны, куда проецируется изображение, никак не
нарушают работу систем «изображение – сетчатка» и «глаз – голова». Движение объектов на экранах будет восприниматься так
же, как и в реальном мире.
Совсем другая ситуация с наголовными дисплеями. Дело
в том, что при повороте головы у человека глаза поворачиваются
согласованно. Если же наблюдатель в шлеме виртуальной реальности будет видеть одну и ту же сцену вне зависимости от перемещения головы, то тут высока вероятность появления иллюзий
движения. Кроме того, при частых и резких поворотах головы
высока вероятность появления симптомов укачивания. И, напротив, после привыкания к подобной стимуляции, когда не учитывается положение головы, высока вероятность расстройств координации движений у испытуемого непосредственно после выхода
из виртуальной реальности в реальный мир. Чтобы избежать
данных проблем, в шлемах виртуальной реальности желательно
устанавливать датчики положения головы и изменять предъявляемое изображение в зависимости от угла ее поворота.
И, наконец, рассмотрим системы, где изображение проецируется не на дисплеи перед глазами, а непосредственно на сетчатку.
Так, например, существует виртуальный сетчаточный дисплей
(Virtual Retinal Display), созданный компанией Microvision, основанный на технологии, лицензированной в Лаборатории Технологии пользовательского интерфейса Университета Сиэтла. Это
устройство проецирует цветное изображение прямо на сетчатку
при помощи специальных лазеров [178]. Преимуществом такой
системы является то, что она не ограничена углом обзора и имеет
чрезвычайно высокое разрешение. Однако, с точки зрения восприятия движения, подобное устройство имеет большой недостаток, так как оно нарушает нормальное функционирование системы «глаз – голова». Как бы мы ни двигали глазами, как бы ни
качали головой, изображение, проецируемое на сетчатку, будет
одним и тем же. Соответственно, любое изменение положения
глаза в орбите будет приводить к возникновению иллюзий движения. А так как глаз движется постоянно, то вся проецируемая на
71
сетчатку виртуальная среда будет восприниматься как колышущаяся, и, как результат, у наблюдателя возникнет сильнейшее
чувство укачивания. Чтобы избежать подобных эффектов, такие
системы обязательно следует оснащать системами слежения за
движениями глаз с тем, чтобы соответственно изменять проецируемое изображение в зависимости от угла их поворота. Существует несколько методов регистрации движений глаз, из которых наиболее разработаны видеосъемка, электроокулография,
фотооптический, фотоэлектрический и электромагнитный методы [1]. Но так как каждый из этих методов имеет свои недостатки, широкого распространения подобные системы проецирования пока не получили.
Помимо этих двух физиологических систем, движение детектируется и при помощи множества психологических механизмов,
основанных на знании наблюдателем сущности предметов окружающего мира. Например, если мы видим, что на мяче последовательно изменяется его текстура, то мы делаем вывод, что он
катится, так как мы его видим с разных сторон. Если мы видим,
что предметы окружающего мира, которые должны быть непо­
движны (например, дома, деревья и т. п.) вдруг начинают одновременно двигаться, то наш мозг делает вывод, что это мы движемся.
Аналогично, мозгом неосознанно предполагается, что движение
мелких объектов более вероятно, чем движение крупных, а движение фона менее вероятно, чем движение объектов. Так, например, наблюдая в темноте два светящихся объекта разного размера,
больший из которых двигается, нам будет казаться, что, напротив, движется объект, размер которого меньше. Или, например,
наблюдая Луну на фоне больших движущихся облаков, возникает иллюзия, что движутся не облака, а сама Луна. В случае, если
изображение объекта на сетчатке вдруг начинает изменяться
в размерах, это, скорее всего, означает, что изменяется расстояние, отделяющее нас от объекта. Есть, конечно, вероятность, что
это сам объект изменяет свой размер, но если мы знаем, что этот
объект не может менять размер, мы будем его воспринимать как
приближающийся или удаляющийся. По всей видимости, подобные бессознательные заключения зафиксированы в ходе биологического отбора. Как остроумно заметил D. Regan [181], у любого
животного было бы мало шансов выжить, имей он зрительную систему, склонную лениво размышлять над тем, что делает хищник – быстро приближается к нему или быстро раздувается.
72
Пороги детекции движения
Для детекции движения важна также скорость движения объекта. Объекты, которые движутся слишком медленно (рост деревьев, движение часовой стрелки и т. п.), воспринимаются как неподвижные, а объекты, которые движутся слишком быстро (летящая пуля, вращающиеся лопасти вентилятора), воспринимаются
либо как смазанное изображение, либо не видны вовсе. Пороги
восприятия движения – величина переменная и зависит от множества факторов, в частности, от величины движущегося объекта, расстояния до него, от фона, на котором виден объект (например, однородный он или текстурированный), уровня освещенности, стимулируемого участка сетчатки и степени адаптации глаз.
Для случая, когда стимулируется центральная ямка и хорошо
освещенный стимул величиной 0,8 см2 находится на расстоянии,
равном 2 м, минимальная детектируемая скорость составляет
около 0,2 см/с, а максимальная – 150 см/с [84].
Восприятие сложных движений
Кроме детекторов собственно наличия/отсутствия движения,
у человека существуют детекторы разных типов движений.
В частности, методами магниторезонансной томографии и по­
зитронно-эмиссионной томографии различными исследователями было показано, что у человека в коре головного мозга имеются
области, возбуждающиеся только при восприятии движений других людей, а также области, активирующиеся при восприятии
мимических движений людей. Множество экспериментов показало, что люди с очень высокой точностью детектируют подобного
рода движения, делая бессознательные умозаключения на основе
восприятия комбинаций движений суставов или мимических
мышц. Так, люди способны различать по мимике тончайшие оттенки эмоций, даже не понимая, на основе каких именно признаков они делают подобные выводы. Также люди способны очень
четко детектировать по походке пол и возраст человека, некоторые его болезни (легкую хромоту, боль в пояснице и т. п.), а также
вес груза, который он несет. При проектировании виртуальной
среды чрезвычайно сложно имитировать движения и мимику
персонажей таким образом, чтобы они были бы неотличимы от
реальных. В связи с этим для достижения реалистичности дви73
жений людей и их мимики следует использовать технологию
motion capture. Эта технология позволяет записать мимику и движения реальных людей, а затем в точности воспроизвести их уже
в виртуальной среде.
Эффект Пульфриха
В ряде систем виртуальной реальности для достижения стереоэффекта каждый глаз наблюдателя стимулируется отдельно. Так,
в шлемах виртуальной реальности каждый глаз видит только
«свой» дисплей, а в проекционных системах, где изображение выдается на экраны при помощи двух проекторов через поляризационные фильтры, наблюдатель надевает поляризационные очки,
и каждый его глаз видит на экране только изображение со «своего» проектора. Однако часто случается, что со временем яркость
одного дисплея или проектора снижается, и наблюдатель видит
изображения, слегка различающиеся по яркости. В этом случае
возникает иллюзия движения, известная как эффект Пульфриха.
Суть этого эффекта заключается в том, что прямолинейное движение, параллельное линии глаз, воспринимается как движение по
дуге. Например, если мы будем смотреть на маятник, который
раскачивается перпендикулярно линии нашего взора, причем, например, левый глаз у нас будет прикрыт темным светофильтром,
то возникнет иллюзия, что когда маятник движется слева направо, он удаляется, а когда справа налево – приближается.
По мнению ряда исследователей [108], [124], [129], причина этой
иллюзии связана с зависимостью времени реакции зрительной системы от интенсивности стимуляции. Чтобы избежать этого эффекта в системах виртуальной реальности, необходимо контролировать
соответствие яркости сигналов, поступающих в разные глаза.
Частота кадров
Зрительная система человека обладает инерцией, которая проявляется в том, что впечатление от стимула сохраняется некоторое время уже после его исчезновения. Благодаря этому свойству
прерывистый свет (при определенных условиях) может восприниматься как непрерывный. Так, например, свет, испускаемый
люминесцентными лампами, телевизионными экранами, компьютерными мониторами, проекторами, воспринимается как не74
прерывный и стабильный, хотя, на самом деле, это постоянно
прерывающийся световой поток. Так, например, лампы дневного
света ритмично включаются и выключаются 100 раз в секунду,
но люди воспринимают их свет как непрерывный.
Минимальная частота поступления световых стимулов, при
которой наблюдатель перестает воспринимать их по отдельности
и начинает видеть эти стимулы как непрерывный поток, называется критической частотой мельканий (КЧМ).
При скотопическом (палочковом) зрении КЧМ равна 22–25
стимулам в секунду, а при фотопическом (колбочковом) зрении
достигает 80 стимулов в секунду [18].
Следует отметить, что КЧМ – величина непостоянная и зависит от индивидуальных особенностей людей, их функциональных состояний, а также от особенностей самих стимулов, в первую очередь, яркости и стимулируемой площади.
Так, критическая частота мельканий повышается примерно
пропорционально логарифму яркости. Эффект слабых по интенсивности вспышек сохраняется дольше, благодаря чему они сливаются при сравнительно невысокой частоте. Однако по мере повышения интенсивности источника прерывистого света становится все легче увидеть его «прерывистость», и, соответственно,
тем выше должна быть частота мельканий, чтобы они перестали
восприниматься. Однако выше определенной частоты слияние
перестает зависеть от интенсивности [18], [39], [84].
Способность обнаруживать прерывистость светового потока
увеличивается также при увеличении площади мелькающего
дисплея и стимулируемого им участка сетчатки [84]. Например,
мы лучше замечаем мелькание света, если он стимулирует не
центральную ямку, а периферию сетчатки. Так, например, «боковым зрением» можно заметить мелькание компьютерного монитора, хотя при прямом взгляде никакого мелькания не обнаруживается. В связи с этим в системах виртуальной реальности,
в случае использования дисплеев, охватывающих широкие поля
зрения, частота обновления экрана не должна быть менее 100 Гц.
Еще одна причина необходимости увеличения частоты обновления экрана в компьютерных дисплеях до 100 Гц и более заключается в том, что, когда глаза наблюдателя одновременно движутся по прерывистому источнику света, возникает неустойчивое
возбуждение сетчатки. Так как глаза совершают непрерывные
саккады, то прерывистое освещение вызывает кажущееся сни75
жение остроты зрения. Безуспешные попытки системы аккомодации глаз скорректировать этот мнимый дефект могут привести
к головной боли, если смотреть на экран несколько часов подряд.
С дискретностью зрительной стимуляции при просмотре движущихся изображений в кино или на компьютере связан и так
называемый эффект обратного вращения колеса. Суть этого эффекта заключается в том, что зрителю кажется, что, хотя транспортные средства на экране двигаются вперед, их колеса почемуто катятся назад. Такой эффект возникает при несоответствии
частоты кадров и числа оборотов колеса в секунду, и его необходимо учитывать в системах виртуальной реальности.
Восприятие глубины
Подавляющее большинство систем виртуальной реальности
представляют собой двумерные поверхности, на которых наблюдателю демонстрируется изображение трехмерного виртуального
мира. Для того чтобы достоверно передать третье измерение (глубину), двумерное изображение должно обладать рядом признаков. Некоторые из этих признаков можно увидеть при помощи
одного глаза (монокулярные признаки), для других же признаков
глубины необходимо восприятие обоими глазами (бинокулярные
признаки). Кратко рассмотрим их.
Монокулярные признаки глубины и удаленности
Существует три типа монокулярных признаков глубины.
К первому типу относятся так называемые статичные признаки,
т. е. такие признаки, которые воспринимаются при условии, что
наблюдатель и находящиеся в поле его зрения объекты непо­
движны. Второй тип монокулярных признаков – это динамические признаки, которые проявляются лишь при движении либо
самого наблюдателя, либо окружающих его предметов, либо того
и другого одновременно.
Статичные монокулярные признаки
Интерпозиция (перекрытие поверхностей/текстур) – неполное
загораживание одного объекта другим. Наблюдатель делает вывод, что если один предмет загораживает другой, то первый из
76
них находится ближе второго. Признак достаточно эффективный, но позволяет судить лишь об относительной глубине. Как
правило, этот признак всегда присутствует в демонстрируемой
наблюдателю трехмерной виртуальной среде (рис. 1.14).
Воздушная перспектива. Атмосфера состоит не только из воздуха, но из мельчайших частиц воды и пыли. При рассматривании близких предметов это не имеет значения, но при наблюдении объектов, которые находятся очень далеко, снижение прозрачности атмосферы с расстоянием до объекта является важным
признаком оценки его удаленности. Так, объекты вдали кажутся
менее контрастными, контуры их более размыты. Кроме того, изменяется их цвет – далекие объекты кажутся более синеватыми.
К сожалению, в системах виртуальной реальности этот признак
учитывается крайне редко, и виртуальные среды обычно имеют
абсолютно прозрачную атмосферу.
Распределение света и тени также может давать представление о глубине. Например, наибольшей светимостью обладает та
поверхность, которая ближе к источнику света. Соответственно,
по мере удаления от источника света светимость поверхностей
уменьшается, они становятся более затененными. Кроме удаленности предмета, распределение светотени на трехмерном объекте
позволяет наблюдателю определить его форму. В системах виртуальной реальности в целях уменьшить вычислительную нагрузку на компьютеры часто не рассчитывают в реальном времени отражения предметов и взаимное расположение их теней, что может приводить к некоторым искажениям в восприятии глубины
у пользователей.
Элевация – высота положения в поле зрения. Если наблюдатель видит два объекта на переднем плане, над которыми проходит линия горизонта, то более удаленным ему будет казаться тот
объект, который располагается выше.
Рис. 1.14. Интерпозиция.
На основании перекрытий наблюдатель делает вывод, что
прямоугольник находится перед кругом, но позади треугольника
77
Рис. 1.15. Алиасинг.
Уплотнение текстуры приводит к дефектам изображения.
На второй картинке показано, как должна была бы выглядеть эта
текстура в реальности
Линейная перспектива. Предметы, которые расположены
дальше, кажутся меньше, а также зрительно сокращается расстояние между ними. Классический пример линейной перспективы – железнодорожные рельсы, уходящие вдаль. Хотя они параллельны, но возникает иллюзия, что вдали они сходятся в некоторой точке. Кроме того, важным признаком является угол
обзора. Чем он шире (чем «круче» перспектива), тем изображенный предмет будет восприниматься ближе и крупнее. При очень
широких углах у наблюдателя может возникнуть иллюзия, что
объект находится у него вблизи лица.
Градиент текстуры. Когда мы смотрим на какую-либо текстурированную поверхность, то по мере ее удаления от нас элементы ее текстуры кажутся все более мелкими и теснее примыкающими друг к другу. Кроме того, чем дальше от нас находится
объект, тем меньше деталей мы видим. В ранних системах виртуальной реальности стремление разработчиков сделать удаленные
текстуры более уплотненными, но не уменьшая их детализацию,
приводило к неприятному эффекту – алиасингу (рис. 1.15).
Знание размеров и удаленности ориентиров. Зная физические
размеры одних предметов, можно определить размеры и удаленность до расположенных рядом с ними других предметов. Также
зная расстояние от одного предмета, можно определить, насколько далеко находятся другие предметы, расположенные перед ним
или позади него.
78
Динамические монокулярные признаки
Восприятию глубины также помогает и информация о движении. К таким признакам относятся монокулярный параллакс
движения, динамическая перспектива и аккомодация.
Монокулярный параллакс (параллакс движения). Когда взгляд
наблюдателя фиксирован на каком-то объекте, а его голова совершает движение, у него возникает иллюзия, что близкие предметы перемещаются быстрее, чем более удаленные. Кроме того, наблюдателю кажется, что объекты, расположенные ближе точки
фиксации взгляда, перемещаются в направлении, противоположном направлению движения его головы. В то время как направление движения объектов, лежащих за точкой фиксации,
совпадает с направлением движения его головы. Аналогичный
эффект возникает, когда голова наблюдателя неподвижна, но сам
наблюдатель перемещается. Например, если в движущемся поезде зафиксировать взгляд на каком-либо объекте за окном, то далекие объекты (к примеру, горы на горизонте) будут двигаться за
поездом, в то время как близкие объекты (к примеру, кусты у железной дороги) будут быстро проноситься в противоположном направлении. В системах виртуальной реальности, где есть возможность в реальном времени отслеживать положение головы пользователя, желательно, для усиления эффекта глубины, изменять
предъявляемое изображение в соответствии с этим признаком
(рис. 1.16).
Динамическая перспектива. При движении наблюдателя вперед у него возникает иллюзия, что объекты, расположенные ближе к нему, движутся быстрее, чем более удаленные.
Аккомодация хрусталика. Для получения четкого изображения предметов, находящихся на разных расстояниях, требуется фокусировка. Она достигается за счет изменения кривизны
хрусталика при помощи внутриглазной, так называемой аккомодационной
мышцы. Поскольку степень сокращения этой мышцы различается при фоНаблюдатель
кусировке взгляда на близлежащих Рис. 1.16. Монокулярный
и удаленных объектах, то это ощущепараллакс [222]
79
ние может служить источником информации об удаленности
в пространстве объекта, за которым ведется наблюдение. Вместе
с тем возможности аккомодации как источника пространственной информации довольно ограничены. Оценить с помощью аккомодации глубину и удаленность можно лишь в том случае, если
расстояние, отделяющее наблюдателя от объекта, не превышает
2 метров. В системах виртуальной реальности этот признак удаленности, как правило, специально не используется. Однако следует учитывать, что при визуальной стимуляции при помощи наголовных дисплеев, расположенных слишком близко к глазам,
пользователю для получения четкого изображения придется постоянно напрягать аккомодационные мышцы, что приведет
к сильному утомлению глаз, а также может привести к слезотечению и головной боли.
Бинокулярные признаки глубины и удаленности
Бинокулярное зрение – это зрение двумя глазами с соединением в зрительном анализаторе одновременно полученных ими изображений в единый зрительный образ.
Рассмотрим основные бинокулярные признаки глубины и удаленности.
Конвергенция – увеличение угла между зрительными осями
глаз при рассматривании близких предметов (рис. 1.17).
б
а
Рис. 1.17. Конвергенция глаз: а – конвергенция глаз на близко расположенном объекте (зрительные линии обоих глаз направлены внутрь);
б – конвергенция глаз на удаленном объекте (зрительные линии практически параллельны). Аккомодация глаз в этих условиях также различна. В случае «а» хрусталики выпуклые, а в случае «б» – относительно плоские [84]
80
Так, при фиксации глаз на объектах вблизи наблюдателя глаза поворачиваются по направлению друг к другу, а при рассмотрении объектов, расположенных далеко от наблюдателя, линии
взглядов обоих глаз практически параллельны. Так как конвергенция контролируется глазодвигательными мышцами, то степень их напряженности может служить признаком глубины или
удаленности, т. е. чем они сильнее напряжены, тем ближе объект.
Конвергенция в качестве источника информации о глубине или
удаленности эффективна лишь тогда, когда рассматриваются
объекты, расположенные вблизи от наблюдателя.
Следует также иметь в виду, что наименьшее напряжение человек испытывает, когда смотрит прямо и линии его взора параллельны. Однако, если, например, при использовании наголовных
дисплеев в системах виртуальной реальности будет неправильно
подобрано расстояние между глазами, то пользователь будет вынужден для сохранения четкого, недвоящегося изображения постоянно удерживать свои глаза в конвергированном или дивергированном положении. И, как результат, у него возникнет быстрое
утомление.
Кроме того, необходимо учитывать, что в обычной жизни конвергенция и аккомодация осуществляются одновременно. Так,
при рассматривании близко расположенных объектов глаза конвергируются, а хрусталики в них утолщаются. В системах виртуальной реальности, в принципе, можно вызвать конвергенцию
глаз, предъявляя для каждого глаза изображения объектов, которые должны восприниматься как очень близкие, смещенными
по горизонтали. Вместе с тем современные компьютерные дисп­
леи дают четкое изображение объектов независимо от их глубины, благодаря чему необходимости в аккомодации хрусталика не
возникает. В случаях же, когда стимуляция требует от пользователя конвергировать глаза, то он будет также непроизвольно менять и кривизну хрусталика, что приведет к расфокусированности изображения. Пользователю потребуется некоторое время,
чтобы научиться конвергенции глаз без их аккомодации, однако
в этом случае мозг начнет получать противоречивую информацию о глубине от аккомодационных и глазодвигательных мышц.
Чтобы этого избежать, можно порекомендовать при конструировании виртуальной среды, насколько это возможно, сократить
количество объектов, которые пользователь должен воспринимать на расстоянии меньше метра от себя.
81
Корреспондирующие точки сетчатки и гороптер. Когда человек смотрит на небольшой объект, его изображение проецируется
на центральные ямки сетчаток обоих глаз. Несмотря на то, что
в мозг человека поступают два изображения с обеих сетчаток, видеть он будет только один объект, так как оба глаза конвергированы и проецируют объект на идентичные (корреспондирующие)
участки сетчаток. Например, если бы было возможно совместить
две сетчатки со спроецированными на них изображениями так,
чтобы совпали обе центральные ямки, то совпали бы и оба изоб­
ражения объекта, на котором зафиксирован взгляд. Такие участки сетчаток, идентичные для обоих глаз, называются корреспондирующими точками сетчаток.
Образы объектов, которые находятся приблизительно на одном
расстоянии от наблюдателя, будут проецироваться на корреспондирующие точки обеих сетчаток. Так, для каждого расстояния от
наблюдателя до объекта и степени конвергенции существует
определенный ряд пространственных точек, проецируемых на
корреспондирующие места обеих сетчаток. Объект, лежащий
в любой из этих пространственных точек, виден в единственном
числе и воспринимается наблюдателем как лежащий на том же
расстоянии от него, что и тот объект, на котором зафиксирован
его взгляд. Если графически обозначить все точки пространства,
соответствующие объектам, видимым при одинаковой высоте
фиксации взгляда и конвергенции, то получится поверхность,
которую называют гороптером.
Соответственно, все объекты, лежащие на гороптере, попадают в корреспондирующие точки сетчаток и воспринимаются как
равноудаленные от наблюдателя. И, наоборот, объекты, не лежащие на гороптере, соответствующем определенному положению
глаз, вызывают диплопию, или двойное видение, так как они стимулируют некорреспондирующие точки сетчатки. В результате
объекты, расположенные ближе или дальше от точки фиксаций
взгляда, проецируются на несоответствующие друг другу участки двух сетчаток, что и приводит к двойному видению, благодаря
которому мозг определяет относительную удаленность этих объектов (рис. 1.18).
Бинокулярная диспаратность (бинокулярный параллакс).
Благодаря тому, что глаза находятся на некотором расстоянии
друг от друга, поле зрения для левого и правого глаз несколько
различаются. Соответственно, и на сетчатках разных глаз отоб­
82
б
а
Гороптер
Левый
глаз
Правый
глаз
Объекты, лежащие на гороптере,
воспринимаются как равноудаленные
Левый
глаз
Точка
фиксации
Правый
глаз
Интерпретируется
как удаленный
Точка фиксации,
Средняя удаленность
Интерпретируется
как близкий
Рис. 1.18. Гороптер и корреспондирующие точки сетчаток: а – если наблюдатель смотрит на точку P, то ее изображение попадает на центральные ямки обоих глаз. Q1 и Q2 – точки, которые по оценке наблюдателя находятся от него на таком же расстоянии, что и P. В этом
случае говорят, что проекции точек Q1 и Q2 попадают на корреспондирующие точки сетчаток. Поверхность из всех точек Q, которые находятся на одинаковом расстоянии от наблюдателя, таком же, как
точка P, называют гороптером, проходящим через точку P; б – точки
Q1 и Q2 не лежат на гороптере, проходящем через точку P. Соответственно, их проекции не находятся в корреспондирующих точках сетчатки. В результате точка Q1 интерпретируется как более удаленная от наблюдателя, а Q2 – как более близкая к нему
ражаются немного различные изображения. Это различие в сетчаточных отображениях называется бинокулярной диспаратностью. Из законов геометрической оптики следует, что чем крупнее предметы и чем ближе они к наблюдателю, тем диспаратность
больше (рис. 1.19).
83
P
Q
Правый
глаз
Левый
глаз
Q
P
P, Q
Соответствующие
точки на сетчатке
Рис. 1.19. Бинокулярная диспаратность. Видно, что взаимное
отображение объектов P и Q на сетчатках правого и левого глаз
несколько различается [222]
Бинокулярная диспаратность лежит в основе уникального явления, связанного с особым восприятием глубины и объема, которое называется стереоскопическим зрением, или стереопсисом.
Стереоскопическое зрение позволяет определить место в пространстве, видеть глубину, рельеф и объем.
Если в каждый глаз наблюдателя предъявлять отличающиеся
друг от друга незначительными деталями плоскостные изображения одной и той же сцены (такие парные изображения называются стереограммами), то возникает иллюзия объема. Эффект
глубины столь силен, что возникает, даже когда отсутствуют вообще все монокулярные признаки. Именно на этом принципе
основано большинство систем виртуальной реальности, где создается иллюзия объема. Более подробно методы создания стереоскопического изображения мы рассмотрим ниже.
Если в норме формирование бинокулярного зрения завершается к 7–15 годам, то окончательное формирование основанного на
нем стереоскопического зрения происходит лишь к 17–22 годам
[16], [51]. Соответственно, необходимо учитывать, что у детей эффект глубины при восприятии виртуальной реальности будет выражен слабее, чем у взрослых.
84
Стереоскопические системы
предъявления виртуальной реальности
Рассмотрим основные типы систем стереоскопической зрительной стимуляции, которые используются в системах виртуальной реальности. Как уже было сказано ранее, секрет возникновения у пользователя ощущения глубины заключается в том,
что правому и левому глазу предъявляются несколько различающиеся изображения. Соответственно, все рассматриваемые ниже
устройства призваны предъявить в правый и левый глаз пользователя диспаратные изображения.
Автостереоскопические системы
Данный тип стереоскопических дисплеев дает возможность
пользователю видеть глубину, но не предполагает, чтобы он дополнительно что-либо надевал на глаза, что, безусловно, удобно
для пользователя. Существует два типа таких устройств: устройства, основанные на параллаксном барьере, и устройства, использующие линзовые листы.
В системах, основанных на параллаксном барьере, изображение на дисплее представляет собой смешение картинок для правого и левого глаз, где попеременно смешаны столбцы пикселей от
каждого из двух изображений. Например, все четные столбцы
пикселей образуют изображение для правого глаза, а все нечетные – для левого. Сам дисплей закрыт сверху решеткой из чрезвычайно тонких и непрозрачных полосок. Ширина каждой полоски,
а также ширина щелей между ними равны ширине одного пикселя на экране. Если подобрать оптимальное расстояние от глаз до
такого экрана, то благодаря естественному бинокулярному параллаксу пользователь правым глазом не будет видеть столбцы пикселей, предназначенные левому глазу, так как они будут загорожены полосками, и наоборот. В результате каждый глаз будет видеть только «свое» изображение, что даст ощущение глубины.
Основной недостаток такой системы заключается в том, что
расстояние от глаз пользователя до экрана и положение его головы не должно изменяться. Стоит пользователю повернуть или наклонить голову лишь на несколько сантиметров, и стереоскопический эффект исчезнет. Теоретически, можно было бы создать
систему, где щели и непрозрачные вертикальные полосы будут
85
представлять собой жидкокристаллическую матрицу. В этом
случае, если отслеживать положение головы, то можно было бы
синхронно с изменениями положения головы изменять положение и размер щелей, заслоняющих экран. В результате эта проб­
лема была бы решена. Однако о существовании в настоящее время таких устройств нам, к сожалению, неизвестно.
Другой тип автостереоскопических дисплеев – системы, основанные на линзовом листе, – используют абсолютно тот же принцип, что и системы на основе параллаксного барьера. Только вместо вертикальной решетки экран здесь загораживается тонкими
вертикальными цилиндрическими линзами, благодаря чему четные столбцы пикселей видны одним глазом, а нечетные – другим.
Анаглифы и поляризованный свет
Пользователям данных систем для восприятия стереоскопического изображения, в отличие от автостереоскопических систем, требуется надевать очки с особыми стеклами.
В анаглифовых системах картинка на экране представляет собой два наложенных друг на друга изображения (стереопары), которые окрашены в разные цвета, например, в красный и зеленый.
Если пользователь будет смотреть на такое изображение через специальные очки с цветными стеклами (одно стекло должно быть
красное, а второе – зеленое), то каждый его глаз будет видеть соответствующее ему единственное изображение. Так, глаз с красным
фильтром будет видеть только зеленое изображение, а глаз с зеленым – только красное. В результате вся картинка на экране будет
восприниматься стереоскопически, как объемное изображение.
Метод анаглифической сепарации можно применять при наблюдении не только черно-белых, но и цветных объемных изображений. Это возможно благодаря точному разложению цветного изображения стереопары на три монохромных канала (красный, зеленый и синий). В изображении левого ракурса оставляется только красная составляющая, а изображение правого ракурса
имеет две составляющие – синюю и зеленую. Если смотреть на
такое изображение через анаглифические очки, левый светофильтр которых красный, а правый – сине-зеленый, то наблюдатель увидит полноцветное стереоизображение благодаря слиянию раздельных цветовых образов в мозге в трехцветное единое
пространственное изображение.
86
Как уже было сказано ранее, существенный недостаток подобных систем заключается в ограничении в подборе цветов объекта. В частности, необходимо избегать спектрального красного или
синего цветов, иначе будет наблюдаться эффект слепоты на одном
глазу. Тем не менее оттенки зеленого, золотистые и серебристые
тона, палитра цветов SMYK (голубой, пурпурный и желтый) воспроизводятся на таких системах относительно достоверно.
Другой тип систем избавлен от проблем с искажением цветов,
так как использует для разделения каналов не цветовую характеристику света, а его поляризацию.
Суть поляризационных систем заключается в том, что изображение на экране формируется при помощи двух проекторов, которые показывают через поляризационные фильтры с взаимно
перпендикулярными плоскостями поляризации. Пользователь
смотрит на экран через очки с поляризационными стеклами такими же плоскостями поляризации, как у фильтров на проекторах. Соответственно, его левый глаз может видеть только изображение с первого проектора, а правый – только со второго. В результате пользователь видит цветное стереоскопическое изображение, восприятие которого не зависит от положения его головы.
Для удешевления системы можно вместо двух проекторов использовать лишь один дисплей, закрытый вертикальной решеткой из чередующихся ортогональных поляризационных фильтров. А изображение на таком дисплее предъявлять (как и в автостереоскопических системах) в виде вертикального смешения
стереопар, где четные столбцы пикселей образуют одну стереопару, а нечетные – вторую. Соответственно, пользователь через поляризационные очки будет видеть на таком экране стереоизображение. Однако необходимо учитывать, что горизонтальное разрешение у предъявляемого изображения окажется сниженным
вдвое.
Также к недостаткам метода анаглифов и поляризационных
фильтров относятся необходимость применения специальных очков и большие световые потери.
Уплотнение по времени
Суть этого метода заключается в том, что стереопары на экране показываются по очереди на достаточно большой частоте. При
помощи специальных устройств, синхронизированных с видео87
картой, изображение загораживается поочередно для каждого
глаза. В результате благодаря инерции зрения каждый глаз получает только «свое» изображение, а это приводит к тому, что
пользователь видит стереоизображение.
Устройства, которые поочередно загораживают изображение
для каждого глаза, могут быть как электромеханическими, так
и электронными. Основной недостаток такого метода заключается в том, что изображение надо предъявлять на дисплее с удвоенной частотой кадров, чтобы не было заметно мельканий.
Наголовные дисплеи
Наголовный дисплей представляет собой надеваемое на голову
устройство, состоящее из двух небольших CRT-, LCD- или OLEDдисплеев отдельно для каждого глаза. Соответственно, просмотр
двух диспаратных синхронизированных изображений приводит
к возникновению стереоэффекта. На некоторых наголовных дисплеях установлены также датчики положения головы, благодаря
чему изменение пользователем положения головы приводит к соответствующему изменению предъявляемого изображения.
Наголовные дисплеи дают очень хороший эффект погружения
в виртуальную среду, однако они обладают и рядом недостатков.
Во-первых, наголовные дисплеи, как правило, обладают более
узким полем зрения. Во-вторых, устройства достаточно массивны
и из-за этого не очень удобны для некоторых пользователей.
В-третьих, для наголовных дисплеев характерны рассмотренные
выше проблемы с конвергенцией и аккомодацией глаз, вызывающие утомление. Однако все эти проблемы, в принципе, решаемы
и в будущем, вероятно, будут полностью устранены.
Таким образом, как при разработке систем виртуальной реальности, так и при конструировании виртуальных сред необходимо учитывать различные психологические особенности зрительного восприятия, а также возможности и ограничения зрительного анализатора. В частности, при разработке систем
предъявления виртуальной реальности желательно учитывать
поле зрения человека, динамический диапазон яркости сигнала,
эффект Пульфриха, угловое разрешение предъявляемого изображения, частоту обновления экрана и цветопередачу. При конструировании виртуальных сред, в первую очередь, было бы полезным принимать во внимание особенности фотопического
88
и скотопического зрения, различные виды остроты зрения,
а также учитывать как все монокулярные, так и все бинокулярные признаки глубины и удаленности, а также особенности восприятия движения.
1.5.2. Слуховое восприятие
Для организации функционирования систем ВМ необходимо
адекватное представление об особенностях слухового восприятия.
В особенности это касается восприятия звуков в трехмерном пространстве. Локализация звука позволяет человеку различать звуки, идущие от разных объектов. Локализация возможна на основе
интенсивности, временных и фазовых характеристик звука.
Слуховая система человека имеет ограничения в восприятии
частотного, динамического диапазона, в разрешающей способности, обладает нелинейными свойствами, очень чувствительна
к перегрузкам. Так, ухо человека улавливает звук, интенсивность
которого 10–12 Вт/м2, т. е. 0 дБ (звуковое давление 2 ∙ 10–5 Па);
с другой стороны, оно ощущает в качестве звука уровень давления, равный 140 дБ, – это соответствует отношению давлений 10
в 7-й степени. Самый громкий звук в 10 миллионов раз превышает по звуковому давлению самый слабый звук; по частоте человек
улавливает и очень низкие звуки, от 20 Гц, и очень высокие, до
20 кГц (хотя музыкальные звуки находятся в основном в диапазоне до 5000 Гц).
Порог слышимости меняется в очень широких пределах в зависимости от частоты (рис. 1.20). «Существует известное ограничение слухового восприятия по частоте, кратко называемое „20–
20“, т. е. обычный молодой человек, как правило, не слышит как
низкочастотные звуки ниже 20 Гц, так и высокочастотные звуки
свыше 20 кГц»1. Наибольшей чувствительностью ухо обладает
в области частот 2500…3500 Гц, где порог слышимости имеет наименьшую величину. В области максимальной чувствительности
слух воспринимает давление около 10–5 Пa. Следует отметить,
что при бинауральном слушании слуховые пороги на 3 дБ ниже,
чем при моноуральном (табл. 1.6).
Абсолютные пороги слышимости зависят от длительности
предъявляемого сигнала: если длительность сигнала мала (мень1 См.: Гусев А. Н. Ощущение и восприятие. М., 2007. С. 171.
89
50
ше 250 мс), пороги возрастают,
и только при длительности
40
больше 250 мс значения слуховых порогов стабилизируются
30
к норме.
20
Если звуки имеют очень короткую длительность, то они
10
б
воспринимаются как короткий
щелчок. Требуется определен0
а
Максимальная слышимость
ное время воздействия, чтобы
(громкоговорители)
можно было определить высоту
–10
100
1000
10000
тона, причем длительность этоЧастота, Гц
го отрезка времени зависит от
Рис. 1.20. Кривые порога слышичастоты: при частоте 50 Гц тремости: а – при измерении в свобуется 60 мс, свыше 1000 Гц –
бодном поле; б – через наушники
всего 10 мс. Соответственно этому меняются, в зависимости от частоты, и уровни абсолютных
порогов слышимости. Сокращение длительности воздействия
с 200 до 20 мс на частоте 1000 Гц приводит к возрастанию порога
на 10 дБ.
Это связано с особым свойством слуховой системы, называемым временной интеграцией (или суммацией). Слуховой аппарат
работает как детектор энергии внутри определенного слухового
окна длительностью примерно 200 мс. Требуется накопить определенное количество энергии внутри этого окна для достижения
Уровень, дБ
Минимальная слышимость
(наушники)
Таблица 1.6
Абсолютные пороги слышимости при различной частоте
(бинауральное прослушивание)
90
Частота, Гц
Уровень, дБ
100
200
400
800
1000
2000
3150
5000
8000
12 500
25,1
13,8
7,2
4,4
4,2
1,0
–3,6
–1,1
15,3
11,6
порога слышимости, причем чем короче сигнал, тем больше должна быть интенсивность звука, чтобы его можно было услышать,
и наоборот. Ухо интегрирует энергию внутри этого временного
окна, поэтому период времени 200 мс считается постоянной интегрирования слухового аппарата.
Болевой порог и область слышимости
Ограничение области слухового восприятия со стороны громких звуков не такое четкое, как порог слышимости. Например,
синусоидальное звуковое давление с эффективным значением
~10 Па (100 дБ) соответствует так называемому порогу неприятного ощущения. При 60…80 Па (132 дБ) возникает ощущение давления на уши, подобное тому, которое бывает при закладывании
ушей в самолете, а также неприятного щекотания в ухе. Эта величина называется порогом осязания. Наконец, давление 150…
200 Па (140 дБ) причиняет боль и называется болевым порогом.
Таким образом, динамический диапазон слуховой системы достигает 140 дБ, при этом акустическая мощность увеличивается
в 45 раз.
Следует отметить, что слуховая система приспособлена к восприятию в основном сравнительно тихих звуков и звуков средней
интенсивности. Воздействие громких звуков (с уровнем выше
90 дБ) приводит к изменению порогов слуха и к необратимым изменением свойств слуховой системы, вплоть до полной глухоты.
Пороги восприятия звука
В зависимости от приведенных на рис. 1.21–1.23 характеристик увеличивается/уменьшается вероятность того, что один
звук «замаскирует» другой (имеют значение относительная частота, интенсивность и локализация). Возможность локализации звука зависит от наличия других звуков и их направленности. Человеческое ухо способно локализовать источник звука
даже в присутствии сильного эха от нескольких звуков, просто
игнорируя их. Biоccа (1992) утверждает, что «реалистичность
звукового поля требует воссоздания пространственных характеристик».
Человеческое ухо способно также изолировать конкретный источник звука среди множества других [147]. Для успешной симу91
80
Уровень, дБ
60
40
20
0
–20
31 63 125 250 500 1К 2К 4К 8К 16К
Частота, Гц
12
Интенсив
ность
Д ецибелы над прогами 512 и 1024
Рис. 1.21. Кривая порогов абсолютной слуховой чувствительности
10
а
10 дБ
8
x10
20
2К
200
Длительность
воздействия, мс
6
4
2
б
0
8
16
32
64
128 256 512 1024
Рис. 1.22. Зависимость порогов слышимости от длительности
сигнала при разных частотах
2 . 10 2
N, дБ
140
P, Па
Болевой порог
20
2
120
100
2 . 10 –1
Музыка
2 . 10 –2
80
Речь
2 . 10
2 . 10 –4
–3
2 . 10 –5
2 . 10 –6
60
40
Порог слышимости
20
0
2
52 . 10 3 2
5 2 . 10 2 2
5 2 . 10 4 2
Область слышимости
f, Гц
Рис. 1.23. Кривые болевых порогов и область слышимости
92
ляции звукового поля необходимо изучение способности слушателя следить за звуком или выделять звук среди многих шумов.
Локализация звука достаточно хорошо изучена в отношении
горизонтального направления. Звуки могут достигать одного уха
раньше (до 700 микросекунд), чем другого; интенсивность звука,
доходящего до дальнего уха, может значительно (до 35 Дб) отличаться от интенсивности звука, воспринятого ближайшим к источнику звука ухом [160]. Например, если слушатель воспринимает звук, приходящий справа от него, звук доходит быстрее до
правого уха и оказывается громче, чем в левом. Но когда источник звука находится ближе, чем в радиусе 1 метра, различение
источника звука на основе интенсивности и времени восприятия
затруднено.
Вертикальная локализация звука не может зависеть от времени восприятия – в этом случае звук доходит до обоих ушей в одно
и то же время с одинаковой громкостью. Тем не менее слушатель
все равно воспринимает эти звуки как идущие снизу или сверху.
В таких случаях предполагают, что анатомия внешнего уха продуцирует изменения в спектре звука, что помогает локализовать
источник звука [125], [160].
Таким образом, для того чтобы создать иллюзию трехмерного пространства, признаки локализации звука для двух ушей
должны включать имитацию изменений в спектре звука, свя­
занных с формой ушной раковины и с межушными акустическими различиями. Для этих целей обычно используется передаточная функция, связанная с движениями головы (head related
transfer function, HRTF). HRTF используется для того, чтобы изменять параметры звука в соответствии с движениями пользователя (поворотами головы и т. п.), учитывая локализацию звука
[113], [117].
Данная функция зависит от анатомического строения ушной
раковины слушателя. Хотя и разработана персонализированная
функция (Crystal Rivers Engineering, 1995), однако ее применение требует значительного времени и усилий по «калибровке»
настроек. Разработка универсальной функции, подходящей
для множества пользователей, считается в принципе возможным делом, так как передаточные функции внешнего уха у разных людей схожи, при этом обнаружена тенденция к снижению
спектральной частотности с возрастанием физического размера
уха [161].
93
При восприятии звуков (например, кратких щелчков), исходящих из двух источников одновременно, у расположенного строго
посередине слушателя происходит так называемое перцептивное
слияние двух звуков; при неодновременном предъявлении звуков
с задержкой менее 5 мс (эта величина составляет эхо-порог) слышится в основном звук, который начали предъявлять раньше,
т. е. возникает эффект предшествования, и только при превышении эхо-порога (5 мс) люди начинают воспринимать последовательность из двух звуков [20].
1.5.3. Психология и физиология тактильного (гаптического)
восприятия
Виды гаптического восприятия
Гаптическое восприятие (т. е. восприятие прикосновения, давления вплоть до болевого ощущения) – восприятие механического контакта с кожей. Этот вид восприятия важен для работы в ВС,
так как подобная обратная связь значительно увеличивает эффект присутствия [112]. Терморецепцию, т. е. восприятие температуры, подробно рассматривать мы не будем, поскольку она менее важна для разработки систем виртуальной реальности.
Тактильные ощущения играют немаловажную роль в жизни
каждого человека начиная с рождения; особенно важна их роль
при нарушениях зрительного восприятия (ослабленном зрении,
слепоте). Один из путей компенсации слепоты – это попытка разработки протеза в виде «кожного зрения»: передаваемые видеокамерой сигналы преобразуются таким образом, чтобы распределение интенсивности света в различных точках соответствовало
частоте и силе ударов вибротактильных датчиков: в системе такого рода в формировании «кожного зрения» участвовало до 2000
вибродатчиков. Велика их роль и в социальных взаимодействиях: можно отметить ощущения «зажатости» в толпе, а также
важнейшие символические функции, которые выполняют рукопожатия или, к примеру, прикосновения в знак одобрения либо
отвержения [130].
Три вида механических стимулов продуцируют чувство прикосновения: перемещение участка кожи на длительное время, перемещение участка кожи на короткий (миллисекунды) период времени и временное перемещение участка кожи, которое повторяет94
ся с постоянной частотой [128]. Однако характеристики кожного
восприятия достаточно сложно охарактеризовать количественно.
Это происходит потому, что у разных людей пороги кожного восприятия (вибротактильные пороги) довольно сильно разнятся,
а кроме того, в кожном восприятии возможна суммация – и пространственная, и временная – воздействий, зависящих от типа
и позиции механического стимула [136]. При изменениях в стимуле изменяется и восприятие, создавая трудности на пути моделирования гаптической обратной связи.
Физиологические основы гаптического восприятия
Важный вопрос, связанный с гаптической чувствительностью, – адаптация кожи к воздействию стимула. Эффект восприятия снижается в зависимости от времени воздействия и даже
может вовсе исчезнуть при продолжительном воздействии. Существует 4 вида рецепторов в коже человека: корпускулы Мейснера, корпускулы Пачини, диски Меркеля, окончания Руффини
(табл. 1.7). Рецепторы кожи можно разделить на быстро адаптирующиеся, или фазовые (например, нервные тельца Пачини);
медленно адаптирующиеся, или тонические (например, диски
Меркеля, окончания Руффини), и имеющие среднюю скорость
адаптации, или фазно-тонические (например, рецепторы волосяных луковиц, тельца Мейснера). В табл. 1.7 представлен тип
адаптации этих рецепторов к воздействию, площадь рецепции,
количество рецепторов (sеnsory units), диапазон частоты ответа,
минимальная пороговая частота, чувствительность к температуре, временная суммация, чувствительность к физическим параметрам.
Пороги чувствительности разных рецепторов перекрывают
друг друга. Фазовые рецепторы адаптируются к давлению, прикосновению и запаху. Тонические рецепторы, связанные с восприятием боли и положения тела, адаптируются медленно и могут долго сохранять послеобраз, даже если воздействие уже прекратилось. Характеристики поверхности стимула также воздействуют на гаптическое восприятие. Для восприятия твердых
поверхностей необходимо активное воздействие. Восприятие поверхностей с шершавой текстурой (типа ковра) требует некоторого передвижения между стимулом и кожей. Мягкие поверхности
должны вызывать и поддерживать небольшую позитивную реак95
Характеристики кожных рецепторов
Показатель
Тельца
Мейснера
Адаптация
Быстрая
к воздействию
Площадь рецеп13
ции, мм2
Пространственное
Плохая
разрешение
Количество
43
рецепторов
(sensory units), %
Диапазон частоты
10–200
ответа, Гц
Минимальная по40
роговая частота, Гц
Чувствительность
Нет
к температуре
Пространственная
Есть
суммация
Временная суммаЕсть
ция
Чувствительность Искривлек физическим па- ние поверхраметрам
ности кожи,
скорость,
локальные
формы,
скольжение, плоскость
(флаттер)
Тельца
Пачини
Быстрая
Диски
Меркеля
Таблица 1.7
Окончания
Руффини
Медленная Медленная
101
11
59
Очень
плохая
13
Хорошая
Средняя
25
19
70–1000
0,4–100
0,4–100
200–250
50
50
Есть
Есть
Нет
Нет
При более
100 Гц
Неизвестно
Нет
Нет
Есть
Вибрация,
ускорение,
скольжение
Локальные
формы,
давление,
кривизна
кожи
Растяжение кожи,
локальное
усилие
цию кожи после первого контакта при отсутствии активного давления или движения.
Большинство современных ВС способны предоставить лишь
весьма ограниченную гаптическую обратную связь, в основном
локализованную на руке. Например, разработаны электротактильные и вибротактильные приспособления для симуляции восприятия текстуированных поверхностей и других иллюзий восприятия поверхности на руке [142]. Для совершенствования
функционирования ВС необходима более совершенная гаптическая обратная связь [102]. Современные «внешние скелеты» от96
носительно дороги и громоздки. Менее инвазивные и в то же время предоставляющие гаптическую обратную связь приспособления в настоящее время еще только разрабатываются или проходят испытания. В работе [130] подробно рассмотрены основные
виды известных на сегодняшний день симуляторов гаптических
ощущений, включая несколько экзотические (Electronic arm
wrestling system, LoveBomb или Haptic Instant Messaging для обмена «гаптическими эмотиконами», т. е. «смайликами» плюс
легкой вибрацией либо легким нагреванием мобильного телефона), а также значительно более работоспособные – ComTouch,
Intouch, HandJive, VibroBod, Contact IV, Tele-Handshake и др.
Для передачи восприятия искусственного прикосновения необходимо понимание действия механического стимула, который
собственно продуцирует восприятие прикосновений. Необходимо
учитывать вибротактильные пороги, эффект восприятия, динамический разброс гаптических рецепторов, а также процессы
адаптации к определенным видам стимулов.
Кинестезия
Следует отметить эффекты кинестезии. Кинестезия – это процесс представления о собственном движении и положении тела,
зависящий от направления и движения конечностей. Для создания и поддержания кинестетических ощущений существенны
статическое положение конечностей при отсутствии движения,
сигналы давления в суставах, коже, мышцах, сухожилиях и мускулах, а также визуальные признаки [143].
Значимость кинестезии при работе с ВМ заключается, к примеру, в том, что мельчайшие движения в суставах могут быть
слишком незначительными для восприятия их человеком. Кроме
того, некоторые кинестетические эффекты недостаточно изучены
(например, установлено, что давление в мускулах усиливает ощущение движения). Наконец, имеется внутренний ментальный образ положения конечностей, который не полностью зависит от
воспринимаемого в настоящий момент положения.
Имеются данные, согласно которым при применении систем
виртуальной реальности ощущение прикосновения возникает
даже при отсутствии реальных воздействий на кожу, исключительно под влиянием зрительных ощущений [101]. Иллюзии, связанные с кроссмодальным переносом, достаточно распростране97
ны, однако в области гаптического восприятия они описываются
сравнительно редко и заслуживают отдельного изучения, в том
числе с помощью ВС.
1.5.4. Интеграция ощущений
при мультимодальном взаимодействии
Разработчики ВМ работают над объединением и интеграцией
визуальных, слуховых и гаптических эффектов. Возможность
осуществлять множественные воздействия и принимать множественную обратную связь придает ВС определенную уникальность
сравнительно с другими интерактивными технологиями. В силу
этого необходимо понять, как организовать эффективную интеграцию воздействий при мультимодальном взаимодействии с компьютером. Следует при этом учитывать, что человеку свойственно
достаточно быстро адаптироваться к недостаточно хорошим графическим образам, низкому экранному разрешению [77].
Исследователи показали, что сенсорная избыточность, т. е.
возможность обратной связи на визуальном, аудиальном и гаптическом уровне, позитивно влияет на функционирование человека
в виртуальном мире. M. J. Massimino и T. B. Sheridan [158] отмечают увеличение эффективности мускульного напряжения
в условиях наличия визуальной обратной связи в сравнении с отсутствием визуализации при решении задач типа «колышек в отверстии» (pig-in-hole task). Испытывается и сенсорная трансформация, т. е. получение обратной связи не через ту сенсорную систему, через которую она ожидалась. Подобное замещение применяется в ВС [157]: в данной работе силовая обратная связь
заместила гаптическую и аудиальную обратную связь. Возможна
как трансформация по принципу замещения одной сенсорной системы на другую, так и по более сложной схеме [112]. Но, к примеру, следует иметь в виду, что отсутствие кинестетической обратной связи, особенно при движении, ведет к двусмысленности
воспринимаемого передвижения [78].
В настоящее время оказывается недостаточным понимание
того, каким образом следовало бы эффективно предоставлять
пользователю параллельное восприятие разных модальностей
[112]. При избыточности сенсорных воздействий на пользователя
важно изучить взаимодействие разных сенсорных систем. Имеется в виду координация между восприятием и командами пользо98
вателя и адаптация при обратной связи. Командная координация
рассматривает входящие сигналы от пользователя как одномодальные (с помощью голоса или жестов), а обратная связь пользователю происходит мультимодально (комбинацией разных сенсорных систем).
Использование избыточных команд пользователя не кажется,
на первый взгляд, необходимым. Однако взаимодействие между
людьми почти всегда избыточно – например, вербальному приветствию сопутствуют улыбка и рукопожатие. Избыточные входные сигналы могут применяться и в ВС. Они могут, в частности,
опираться на сложившиеся у разных пользователей предпочтения: к примеру, один человек предпочитает вербальную коммуникацию, а другой – прямое управление. При предоставлении
возможностей избыточной входной информации следует учесть
проблему ограничений процесса обработки информации человеком и избегать информационных перегрузок. Для этого необходима разработка эффективных схем управления в ВС.
99
ГЛАВА 2. ЭЛЕМЕНТЫ
РЕАЛЬНО-ВИРТУАЛЬНОГО КОНТИНУУМА
2.1. Концепция реально-виртуального континуума
«Реально-виртуальный континуум» (Reality-Virtuality Continuum) – понятие, используемое для описания концепции существования непрерывной шкалы в диапазоне от полностью виртуальной до полностью реальной среды. Он охватывает все возможные варианты и композиции из реальных и виртуальных объектов. Эта концепция была впервые представлена P. Milgram [162]
и иллюстрируется на рис. 2.1.
Реальная среда (Real Environment) определяет любую окружающую среду, состоящую исключительно из реальных объектов, и включает то, что мы могли бы наблюдать сцену реального
мира или непосредственно лично, или через некоторое окно, или
через своего рода видеоотображение.
Виртуальная среда (Virtual Environment) определяет среду,
состоящую исключительно из виртуальных объектов, например,
иммерсивные приложения или отображаемые на мониторе результаты графического моделирования на компьютере.
Область между двумя крайностями, где реальность и виртуальность смешиваются, является так называемой смешанной реальностью (Mixed Reality).
В свою очередь, данная область состоит из расширенной реальности (Augmented Reality), где виртуальность расширяет (дополняет, увеличивает) реальное, и расширенной виртуальности
(Augmented Virtuality), где реальное расширяет (дополняет, увеличивает) виртуальное.
Таким образом, смешанная реальность (Mixed reality) означает объединение реальных и виртуальных миров для создания новых сред и визуализаций, где физические и цифровые объекты
сосуществуют и взаимодействуют в режиме реального времени.
Mixed Reality (MR)
Reality
Environment
Augmented
Reality (AR)
Augmented
Virtuality (AV)
Рис. 2.1. Реально-виртуальный континуум
100
Virtual
Environment
2.2. Виртуальные миры
У философов, психологов, культурологов, искусствоведов, техников, социологов, педагогов и других специалистов существуют
различные взгляды на природу виртуальных миров [17], [25],
[111], [131], [141], [212].
Однако все они сходятся в одном: виртуальный мир (ВМ) обеспечивает погружение человека в определенную среду (например, в искусственно созданный трехмерный мир с шестью степенями свободы) и взаимодействие с объектами и персонажами
этой среды в реальном времени с использованием различных характеристик человека – физических, психических, физиологических, личностных, познавательных и других, адекватных его
повседневной жизни и деятельности или существенно расширяющих их.
Таким образом, виртуальные миры («мир» касается любой области, состояния или индивидуального опыта) можно рассматривать как средство для просмотра естественных явлений, которые
происходят во время коммуникации, независимо от технологической среды, как попытку использовать те средства (визуальные,
звуковые, осязательные и т. п.), которые лучше всего «удовлетворяют» («приспосабливают») нашу естественную способность общения, чем принуждение нас к адаптации с неестественными
средствами, как того требует технология.
Отметим, что, с программистской точки зрения, «мир» – это
все моделируемое приложение, «реальность» – та его часть, которую непосредственно освоил (осознал) пользователь.
Пример концептуальной модели виртуального мира приведен
на рис. 2.2, а на рис. 2.3 показан простой цикл ввода-вывода,
включающий человека.
Поддерживаемый компьютером виртуальный мир использует
сильно связанные петли «ощущение – действие» для моделирования естественной связи. Мы действуем, это фиксирует компьютер, реагирует, и мы получаем ответ, и т. д. Если соответствующая технология реализована хорошо, мы чувствуем эффект присутствия – ощущение того, что мы находимся в виртуальной среде. Это способствует установлению связи между вычислительным
миром и нашим умственным миром. Если виртуальный мир высоко интерактивен, мы будем сильнее чувствовать присутствие.
Существование виртуальных миров опирается на воображение
101
ВИЗУАЛИЗАЦИЯ
ЧТО ЕСТЬ МИР?
СИМУЛЯЦИЯ
�
�
АВТОНОМНЫЕ
АГЕНТЫ
СИСТЕМА
КАК УСТРОЕН МИР?
РЕНДЕРИНГ
�
�КОММУНИКАЦИЯ
УСТРОЙСТВА
ВЫВОДА
УСТРОЙСТВА
ВВОДА
�
�
РЕЧЬ
�
�ВИЗУАЛЬНЫЕ
�ПРОСТРАНСТВЕННЫЙ ЗВУК
ТРЕКИНГ
ТАКТИЛЬНОСИЛОВЫЕ
ДЕЙСТВИЕ (ОТВЕТ)
ЧЕЛОВЕК
МОДЕЛЬ ОБРАБОТКИ
ИНФОРМАЦИИ
�
ВОСПРИЯТИЕ
�
�ПОЗНАНИЕ
ДЕЙСТВИЕ
�
ТЕХНИКИ
�
ВЗАИМОДЕЙСТВИЯ
ЕСТЕСТВЕННЫЙ ЯЗЫК
Рис. 2.2. Концептуальная модель виртуального мира
и на всю сумму высших нервных функций человека. Источником
ВМ может быть диалог людей, книга, театр, кино и т. д.
Основными характеристиками виртуального мира являются
погружение и интерактивность.
Система симуляции
Сенсорный синтез
УСТРОЙСТВО ВВОДА C
УСТРОЙСТВО ВВОДА B
УСТРОЙСТВО ВВОДА A
ПОЗИЦИЯ
ОРИЕНТАЦИЯ
КОМАНДЫ
ВЫБОР
УПРАВЛЕНИЕ
УСТРОЙСТВО ВЫВОДА C
Простой цикл
ввода/вывода
УСТРОЙСТВО ВЫВОДА B
УСТРОЙСТВО ВЫВОДА A
ВИЗУАЛЬНОЕ
СЛУХОВОЕ
ОБОНЯТЕЛЬНОЕ
ОСЯЗАТЕЛЬНОЕ
ХАПТИК
ОБРАТНАЯ СВЯЗЬ
Рис. 2.3. Цикл ввода-вывода, включающий человека
102
Погружение (иммерсивность) – мера степени информации,
окружающей и включающей человека через его сенсорные средства; может измеряться как соответствие количества перцептивных ресурсов (зрение, слух, касание и т. д.) среде и другим факторам, подобным восприятию масштаба, естественной связи с предметами и отсутствию отвлечения. В пределе иммерсивность превращается в присутствие.
Степень погружения определяется шириной и глубиной, соответственно количеством используемых одновременно каналов
восприятия и объемом передаваемой каналом восприятия информации.
Погружение в ВМ проявляется в двух аспектах:
1) сенсорное – зависит от технических особенностей коммуникационной среды; в этом случае ширина характеризуется количеством используемых медиасредств (текст, видео, звук и т. п.),
а глубина – форматами передаваемых данных (разрешение и количество цвета для изображений, количество кадров в секунду
для видео и анимаций и т. п.);
2) семантическое – связано с передаваемой семантикой, выбором ведущего канала восприятия и его семантической нагруженностью; ширина в этом случае определяется числом несинестезированных каналов восприятия, а глубина – суммарной нагруженностью каналов.
Интерактивность – мера предоставляемой человеку возможности свободы действий внутри среды, которые основаны на правилах и поведении среды. Интерактивность проявляется в форме
собственного движения в мире, взаимодействия с объектами мира,
реакции объектов на участника и существует в двух видах:
1) статическая – определяется изначально заложенными
взаимосвязями элементов среды (например, по технологии гипермедиа); характеризуется отображением действий, ограничивающих поведение системы;
2) динамическая – предполагает выбор позиции восприятия
(роли) пользователя для статической интерактивности; характеризуется скоростью реакции среды на действия пользователя
и диапазоном возможных действий в среде в текущий момент
времени.
Другая важнейшая характеристика ВМ – возможность присутствия в них персонажей, или аватаров, которые могут быть
автономными или представлять пользователя на основе различ103
ных позиций восприятия – первой (непосредственный участник
ВМ), второй (видит себя в ВМ как бы со стороны, с точки зрения
другого человека) или третьей (видит ВМ и себя как в зеркале,
с позиции стороннего наблюдателя).
Базой всякого хорошего ВМ является метафора навигации,
управления и взаимодействия, отсылающая пользователя к знакомой ему ситуации с целью более легкого понимания мира, выполнения «естественных» действий в нем, обеспечения комфортной ситуации. Однако при этом необходимо учитывать специфику компьютерных технологий – механизмы реализации метафор,
более широкие возможности компьютерных миров перед физическими, пока еще «неестественность» средств взаимодействия (например, клавиатура и мышь), сложившуюся практику использования компьютеров профессионалами, являющимися законодателями в области новых интерфейсов. Примеры первых метафор
ВМ – аквариум, театр, город, Вселенная.
Виртуальный мир можно представить в виде функциональноструктурной декомпозиции: (мир – события) – (сцены – ситуации) – (объекты – поведение – признаки). Признаки могут быть
получены путем опроса человека, снятием его психофизиологических параметров или взяты из известных психологических моделей. Центральное звено декомпозиции – мультимодальная сцена в виде ситуационно взаимодействующих объектов.
В дальнейшем мы будем рассматривать компьютерные виртуальные миры (КВМ), источником формирования и поддержки которых являются программно-аппаратные вычислительные средства. Пример структуры системы формирования и поддержки
КВМ приведен на рис. 2.4, а на рис. 2.5 – пример многопоточной
виртуальной среды.
Система формирования и поддержки КВМ состоит из следующих основных подсистем:
− интерфейс пользователя – обеспечивает отображение состояний среды; регистрацию действий человека, производимых с помощью эффекторов, и воздействие на модальности человека в соответствии с состоянием среды;
− управления – включает анализ выполненных субъектом
действий; формирование реакции на действия субъекта; определение изменений состояний среды во времени и пространстве;
− моделирования среды, объектов и персонажей – формирует
их реалистическое представление (геометрия и иерархия, физи104
СИСТЕМА
МОДЕЛИРОВАНИЯ
СРЕДЫ, ОБЪЕКТОВ
И ПЕРСОНАЖЕЙ
(представления
и поведения):
– реальное время;
– реалистичность;
– физические законы;
– искусственный
интеллект;
– сценарность
СИСТЕМА
УПРАВЛЕНИЯ:
– обработка взаимо
действия с пользова
телем;
– определение
изменений состоя
ний среды
СЕНСОМОТОРНЫЙ
СИНТЕЗ:
визуальный,
слуховой, обоня
тельный, осязатель
ный, вкусовой и др.
Устройство
ввода 2
Устройство
вывода 2
Устройство
ввода 1:
– ориентация / позиция / перемещение;
– команды / выбор
Устройство
вывода 1
ЧЕЛОВЕК
Рис. 2.4. Структура системы формирования и поддержки КВМ
ческие свойства, свойства материалов) и имитирует их поведение
во времени и пространстве в реальном времени на базе физических моделей или моделей искусственного интеллекта.
Компьютерный виртуальный мир может функционировать
в однопользовательском, групповом (один экран – несколько
Поток 1
Вычисление
изменений
состояния
входов
Чтение
устройств
ввода
Поток 4
Генерация
нового
изображения
Поток 2
Вычисление
изменений
состояния
сетевых данных
Чтение сети
Поток 3
Вычислительное
моделирование
Общая
память
Поток 5
Посылка
изменений
состояния
в сеть
Рис. 2.5. Многопоточная виртуальная среда
105
пользователей) и многопользовательском (географически распределенные пользователи) режимах.
Рассмотрим основные классификации КВМ.
1. По виду интерактивности – полетные и реактивные, соответственно позволяют передвигаться в трехмерном мире с шестью
степенями свободы без ограничений или предоставляют возможность взаимодействовать с объектами с реагированием.
2. По уровням погружения – экран стандартного монитора,
стереоскопический монитор или проектор в комплекте с очками,
полное погружение.
3. По особенностям организации в пространстве – локальные
и распределенные, соответственно когда все ресурсы реализующей среды сосредоточены практически в одном месте, так что не
используется передача данных по линиям связи, или имеется совокупность миров, физически распределенная по взаимосвязанным ресурсам реализующей среды и доступная для совместного
использования в различных приложениях.
4. По способу реализации – настольные, проекционные, носимые, тренажеры:
– настольные (Desktop VR): монитор служит как окно в виртуальный мир; для взаимодействия могут использоваться стерео­
очки и 3D-устройства ввода; идеальны для научной визуализации данных и обучения; дешевая альтернатива носимым КВМ;
гибки (легко переключаются с моно- на стереовизуализацию;
простой клавиатурный доступ); легко связываются в сеть. Недостатки: как правило, индивидуальное использование и нет полного погружения;
– проекционные (Projection VR): большие виртуальные модели и среды проецируются на вертикальные и/или горизонтальные поверхности, используя такие технологии, как Walls, CAVE
и др.; идеальны для цифрового прототипирования, маркетинга,
медицинского моделирования, визуализации научных и финансовых данных, городского моделирования, сложного проектирования, искусства и образования, развлечений; высокое разрешение, поддержка групп участников и сотрудничества. Недостатки:
«бесшовное» слияние изображений при отображении на большие
экраны, моделирование физического пространства;
– носимые («Wearable» VR): используется прямое взаимодействие частей тела пользователя с виртуальной моделью или средой через такие устройства, как шлемы, перчатки данных, ко106
стюмы данных, хаптик системы обратной связи, платформы движения; идеальны для цифрового прототипирования, мультипликации, хирургического моделирования, цифровых парков
отдыха, научной визуализации данных; обеспечивается высокое
качество кинестетического опыта. Недостатки: низкая разрешающая способность, высокое время ожидания, в основном однопользовательское использование;
– тренажеры (Simulator VR): используются физические макеты транспортных средств с реальным управлением (руль, педали
и т. д.), при помощи которых можно передвигаться через виртуальную среду; идеальны для тренировки пилотов, обучения водителей, эргономического анализа, развлечений; высокое разрешение, легкая интеграция в сеть, оптимально для нескольких
участников. Недостаток – относительно высокая стоимость.
5. По режиму обслуживания – однопользовательские и многопользовательские, соответственно, мир предоставляется полностью в распоряжение пользователя, по крайней мере, на время
решения его задачи, или возможен одновременный доступ нескольких независимых пользователей к одному миру.
Большинство современных ВМ являются однопользовательскими, которые предоставляют значительные преимущества
пользователю, но их применимость в реальном мире ограничена,
так как они не поддерживают совместную работу среди групп
пользователей. Многопользовательские ВМ лишены этих недостатков. В них каждый посетитель представлен специальным сетевым объектом – аватаром, которого и видят другие пользователи, а действия, производимые посетителями над виртуальным
миром, также синхронизируются и видны всем. Это позволяет
поддержать наиболее эффективные технологии обучения – участие в обсуждении материала и объяснение его другому.
Анализ многопользовательских ВМ производится на основе
следующих трех основных критериев:
1) пространственная метафора. Пространственная видимость
виртуального мира и всего в нем существующего играет решающую роль для функциональной возможности его использования
в качестве обучающей среды. Для значимой визуализации и взаи­
модействий могут быть использованы различные метафоры, связанные с реальным или вымышленным миром. Однако, вероятно, что при использовании метафор реального мира познавательная нагрузка пользователя снижается, увеличивая степень
107
сосредоточения и осознания пользователем задачи изучения. Например, при дистанционном обучении используются метафоры
классов, комнат для частных встреч и лекционных аудиторий;
2) представление пользователя. Установив соответствующую
пространственную метафору, следующее решение должно определить присутствие и тождество пользователей в ВМ в любое
специфическое время. Пользователи совместной виртуальной
среды должны быть видимы себе и другим пользователям. Для
представления пользователя необходимо решить следующие
основные проблемы:
− присутствие – первичная цель аватара состоит в том, чтобы
передать присутствие пользователя в виртуальном мире, его местоположение и ориентацию;
− тождество – идентификация пользователя от его представления аватаром;
− точки зрения – передача позиций восприятия пользователя
может быть критической в поддержке взаимодействия;
− готовность – может быть необходимо передать готовность
к взаимодействию. Присутствие аватара предполагает готовность
пользователя, хотя это может не всегда иметь место;
− знак – поддержка знаков в коммуникации подразумевает
необходимость наличия у аватаров выражающих их средств –
руки, ноги, лицо и др.;
− мультимодальное представление – пользовательское представление должно рассматриваться не только как визуальное, но
и давать возможность использовать другие средства коммуникации, например, голос и текст;
− эффективность – аватары должны быть настолько простыми, насколько это возможно;
− правдивость – насколько аватар должен соответствовать реальному человеку;
3) коммуникация между пользователями. ВМ должны предоставить возможность подражать реальному миру в поддержке визуальной, голосовой, текстовой и невербальной (жесты, телодвижения, мимика лица) коммуникации в режиме реального времени.
В качестве примеров наиболее посещаемых публичных многопользовательских ВМ можно привести World of Warcraft и SecondLife (п. 3.1).
ВМ, как правило, ориентированы на массовую аудиторию. Поэтому они не поддерживают ведущий канал восприятия конкрет108
ного пользователя и его полное сенсорное погружение. Частично
эти проблемы решают за счет равномерной нагрузки одной и той
же семантикой используемых в ВМ каналов восприятия, а также
восполнения недостающих каналов за счет синестезии (межчувственных ассоциаций). Однако принципиальное увеличение
функциональных возможностей ВМ связано с их индивидуализацией на основе адаптации (п. 2.4).
В качестве основных проблем создания и использования ВМ
можно назвать следующие:
− поиск и исследование метафор управления, взаимодействия
и навигации;
− разработка нового моделирующего инструментария для
больших интерактивных сред (взгляд изнутри среды, физическое
моделирование, интеллектуальное поведение), определение в реальном времени столкновений, акустики и взаимодействия объектов;
− исследование пользователя на различные входные и выходные модальности и их комбинации (зрение, речь, звук, тактиль­
но-силовая, движение, бета-волны, глазной трекинг и т. п.) и формирование библиотеки моделей сенсорных и моторных связей;
− улучшение понимания воздействия ВМ на человека как биологическую систему, его комфорт, здоровье, безопасность;
− разработка метрик для описания и измерения эффективности ВМ, пользовательского удовлетворения, влияния сенсоров
и обмена;
− разработка стандартов для программного и аппаратного обеспечения;
− формирование ВМ рабочих смесей;
− исследование подходящих ВМ-чипов (по аналогии с мультимедиачипами);
− сервис – построение и поддержка ВМ.
2.3. Расширенная реальность
и расширенная виртуальность
Система расширенной реальности (СРР) (Augmented Reality)
дополняет реальный мир виртуальными (компьютерно-генери­
руемыми) объектами, которые сосуществуют и взаимодействуют
в одном и том же пространстве, как в реальном мире [92], [93].
Данная технология дополняет (расширяет) поле зрения пользова109
теля созданной компьютером информацией, что позволяет ему,
например, получать необходимые для работы сведения о наблюдаемых объектах и помощь в решении поставленных задач.
Некоторые приложения расширенной реальности также требуют устранения реальных объектов из воспринимаемой среды,
помимо добавления виртуальных объектов. Например, при визуализации строящегося здания, которое стоит на определенном
месте, может понадобиться удалить строительные леса, краны
и т. п., которые существуют там и сегодня. Некоторые исследователи называют подобную задачу устранения реальных объектов
уменьшенной реальностью, однако мы считаем, что эта задача
является подмножеством расширенной реальности.
В настоящее время большинство систем расширенной реальности реализуется с использованием «живого» цифрового видео,
которое обрабатывается и дополняется компьютерно-генери­
руемыми изображениями.
Однако данное определение систем расширенной реальности
не ограничивается только визуальным каналом восприятия человека, но и включает различные другие его сенсомоторные характеристики (слух, обоняние, осязание, тактильно-силовые взаи­
модействия и др.).
Системы расширенной реальности имеют следующие свойства
[92], [93]:
− комбинируют реальные и виртуальные объекты в реальной
среде;
− работают в интерактивном режиме в реальном времени;
− реалистично совмещают (регистрируют) реальные и виртуальные объекты друг с другом.
Основная цель систем расширенной реальности – реалистичное включение в реальное изображение, поступающее из видеокамер, виртуальных объектов в реальном времени, что требует
решения следующих типовых задач [146]:
− обработка и распознавание изображений объектов среды
в реальном времени;
− синтез и визуализация виртуальных объектов. В зависимости от сценария приложения необходима различная информация, например, для пространственной навигации необходима информация о попадающих в поле зрения объектах, для градострои­
тельства – возможный вид здания при его ремонте, для военных
операций – характеристики вооружения противника и т. п.;
110
− синхронизация между объектами реального мира и виртуальными объектами. Перед тем, как объединить синтезированное изображение с объектами реального мира, трехмерные параметры реальной и синтезированной камеры должны быть синхронизированы. Для этого реальная камера должна быть калибрована, и ее местоположение и ориентация должны быть
отслеживаемы при помощи специальных сенсоров;
− определение и визуализация трехмерных геометрических
и других зависимостей между физическими и виртуальными
объектами, в частности, определение места виртуального объекта
в сцене и вычисление в каждом кадре видимых с данной позиции
камеры точек виртуальных и реальных объектов (пересечения
виртуальных и реальных объектов). Реалистичное слияние реального мира и виртуальных объектов достигается только в том
случае, если виртуальные объекты ведут себя подобно объектам
реального мира: они могут заслонять или заслоняться объектами
реального мира, они не могут двигаться сквозь реальные объекты, они должны отбрасывать тени от реальных источников света
и изменять освещенность своих элементов при попадании их
в тень реальных объектов;
− взаимодействие с пользователем. Необходимы новые методы
и средства взаимодействия на основе жестов, голоса, тактильного
управления и т. п.
Существуют три основные технологии, на которых строятся
СРР [134]:
1) отслеживание (Tracking) – система должна знать точку зрения пользователя для поиска и представления связанного с ней
виртуального контента. Определение параметров местоположения и ориентации известно как слежение;
2) регистрация (Registration) – окончательное совмещение реальной и виртуальной информации, которая предоставляется
пользователю. Регистрация должна быть произведена с пиксельной точностью в кадре для сохранения иллюзии сосуществования реальных и виртуальных объектов в одной и той же области;
3) отображение (Display) – возможность вывода сочетания реальных и виртуальных объектов. Следовательно, дисплеи должны давать возможность пользователю видеть реальный мир с наложенной 3D-графикой с учетом отслеживаемости объектов
в каждом кадре.
111
Проблемы расширенной реальности [97], [98]:
− идентификация – распознавание объектов, например, на основе использования маркеров, визуальных меток, электронных
ярлыков, GPS;
− регистрация – нахождение относительного положения
устройства отображения (динамическая оценка перемещений
и вращений, рендеринг/деформация изображений);
− интерактивность – виджеты, распознавание жестов, голос,
визуальная обратная связь.
Рассмотрим подход к СРР O. Bimber и R. Raskar [97]–[99], которые ввели понятие «пространственная расширенная реальность».
Системы отображения пространственной расширенной реальности – это формирующие изображения системы, которые применяют ряд оптических, электронных и механических компонентов для создания изображений на оптическом пути между
глазом наблюдателя и физическим объектом, который в результате этого будет визуально расширен (дополнен).
В зависимости от используемой оптики изображение может
быть сформировано на плоскости или на более сложной неплоской поверхности.
На рис. 2.6 приведены различные варианты создания изображений с учетом расположения наблюдателя и реального объекта.
Spatial
seethrough
display
Projector
Retinal
display
Head
mounted
display
Projector
Headattached
Handheld
display
Projector
handheld
Real
object
Spatial
Рис. 2.6. Схема генерации изображений для СРР
112
Рассмотрим их более подробно, предварительно отметив следующее: если для представления расширенных (реальных и виртуальных) миров используется стереоскопическая визуализация,
то в настоящее время применяют две базовые технологии слияния: видеосмешивание и оптическое совмещение.
Видеосмешивание объединяет живой видеопоток с синтезированной компьютером графикой и отображает результат на мониторе, а оптическое совмещение создает оптическое изображение
на реальном экране (отображение компьютерной графики), который появляется в реальной среде (или в пределах поля зрения
зрителя, пока наблюдается реальная окружающая среда).
Каждая технология имеет свои преимущества и недостатки,
которые влияют на их применение. Сегодня большинство стереоскопических дисплеев требуют использования определенных очков. Автостереоскопический подход может играть доминирующую роль в будущем СРР.
Приведем классификацию устройств визуального отобра­
жения.
1. Дисплеи, закрепленные (установленные) на голове. Отображение, привязанное к голове, выдвигает пользователю требование надеть дисплейную систему на голову. В зависимости от технологии генерации изображений существует три основных вида
подобных систем:
a) ретинальные дисплеи (Retinal displays), которые применяют лазеры малой мощности для проецирования изображений непосредственно на сетчатку глаза (рис. 2.7; 2.8);
Laser(s), optics and scanning unit
er
t
lit
Projected image on retina
sp
am
Be
Рис. 2.7. Схема ретинального
дисплея; Beam-splitter –
светоделитель
Рис. 2.8. Ретинальный дисплей
фирмы Microvision
(Nomad Personal Display System)
113
б) дисплеи, закрепленные на голове (Head-Mounted Displays),
которые используют миниатюрные дисплеи перед глазами. Существуют две разные HMD-технологии, чтобы наложить графику на пользовательское видение реального мира:
– видеопрозрачность (video see-through), которая использует
видеосмешивание и отображение слитного изображения внутри
HMD (рис. 2.9–2.11);
– оптическая прозрачность (optical see-through), которая использует комбинации оптических наложений (в основном прозрачные зеркала или ЖК-дисплеи) (рис. 2.12; 2.13);
в) проекторы, установленные на голове (Head-Mounted Projectors), которые используют миниатюрные проекторы или миниа-
Head
Locations
Head
Tracker
Video cameras
Real
world
Video of
real world
Scene
generator
Graphic
images
Monitors
Video compositor
Combined video
Рис. 2.9. Схема устройства видеопрозрачного шлема
Рис. 2.10. Пример
видеопрозрачного шлема фирмы
Trivisio (ARvision-3D HMD)
114
Рис. 2.11. Пример
видеопрозрачного шлема фирмы
Arcane (Mirage ARS)
Scene
generator
Head
Locations
Graphic
images
Head
Tracker
Monitors
Real
world
Optical
combiner
Рис. 2.12. Схема устройства оптически прозрачного шлема
тюрные ЖК-панели с подсветкой и проецируют изображения на
поверхности реальной среды (рис. 2.14; 2.15).
При этом предполагается, что поверхности объектов реаль­
ного мира могут быть покрыты рефлективным, диффузным или
ретрорефлективным светоотражающим слоем. В последнем случае отражение происходит строго по линии падения света, что
позволяет нескольким пользователям рассматривать один объект с разных точек зрения без наблюдения информации соседей.
2. Ручные дисплеи. Примеры «ручных» отображений (дисплеев), позволяющих генерировать изображения «на руку», Tablet
PC, персональные цифровые ассистенты (PDA) или сотовые телефоны. Все эти устройства имеют процессор, память, дисплей,
а также технологии взаимодействия в одном устройстве и поддерживают беспроводную и мобильную
обработку.
Видеопрозрачность – предпочтительная концепция для такого подхода.
Перед отображением в видеокамере интегрируются захваченный
живой видеопоток от среды с наложенной дополнительной графикой.
На рис. 2.16 показана схема действия ручных дисплеев, а на рис. 2.17;
2.18 – примеры таких устройств.
Рис. 2.13. Пример оптически
3. Пространственные дисплеи.
прозрачного шлема фирмы
В отличие от дисплеев, связанных
Trivisio (M3-Stereo)
115
Projector
Reflective
r
te
lit
s
p
am
Be
Headmounted projector
Рис. 2.15. Проектор HeadMounted Projective Display
Video seethrough
itt
am
s
pl
Computer
Be
Image
Display
Computer
Camera
er
Рис. 2.14. Схема проецирования
Reflected image
Retroreflective Diffuse
Computer
Image
Optical seethrough
Projector
Computer
Headheld projector
Рис. 2.16. Схемы работы ручных дисплеев
Рис. 2.17. Видео через мобильный телефон
116
а
б
Рис. 2.18. Ручной проектор: а – схема устройства; б – внешний вид
с телом (головные или ручные), пространственные дисплеи отсо­
единяют большую часть техники от пользователей и интегрируют ее в среду.
Существуют три различных подхода, которые в основном отличаются способом увеличения среды – либо с помощью видеопрозрачности, оптической прозрачности или путем прямого расширения:
а) видеопрозрачные отображения, базирующиеся на экранах
(мониторах). Экраны на основе расширенной реальности иногда
называют окном в мир.
Такие системы используют видеосмешивания (видеопрозрачность) и отображают объединенные изображения на монитор
(рис. 2.19; 2.20);
б) пространственные оптические прозрачные отображения.
В отличие от видеопрозрачных отображений (прикрепленных
Tracker
Locations
Monitor
Stereo glasses
(optional)
Video cameras
Video of
real world
Scene
generator Graphic
images
Combiner
Рис. 2.19. Схема работы экранной системы
117
к голове или ручных), пространственные оптически прозрачные
отображения создают образы,
которые совмещены в физической среде.
Пространственные оптические
конфигурации, как, например,
плоские или изогнутые зеркала,
прозрачные экраны или оптические голограммы, являются важнейшими компонентами таких
отображений (рис. 2.21; 2.22);
в) пространственные отображения, основанные на проекциРис. 2.20. Пример экранной СРР ях. Пространственные отображения на основе проецирования используют фронтпроекции для бесшовного проецирования изображений непосредственно на поверхности физических объектов
вместо отображения их на плоскость изображения (или поверхность) в пределах поля зрения пользователя.
Единый стационарный большой экран и несколько проекторов применяются для увеличения потенциальной области отображения (рис. 2.23).
Video projector
Reflected
viewpoint
Mirror
Real
object
Real light source
Observer
Reflected
virtual
object
Virtual
object
Reflected image
Image
Secondary screen
Рис. 2.21. Схема пространственного оптически прозрачного
отображения
118
Real environment
Video projector
Real object
Real
light source Observer
Virtual
object
Image
Рис. 2.23. Схема расширения,
основанная на проекции
Рис. 2.22. Пространственное
оптически прозрачное
отображение (Laser Magic)
Рассмотрим основные модули для создания систем расширенной реальности, показанных на рис. 2.24 [97], [98].
На первом базовом уровне находятся такие основные модули,
как трекинг и регистрация (tracking and registration), технологии отображения (display technology) и рендеринга (rendering).
На втором уровне – интерактивные устройства и техники (interaction devices and techniques), презентации (presentation) и авторинга (authoring). Технологии реализации функциональности
этого уровня только формируются. Некоторые берутся из смежных областей, таких как виртуальная реальность, мультимедиаили цифровое повествование.
Третий уровень – приложение, реализованное на основе расширенной реальности.
User
Application
Interaction Devices and Techniques
Tracking and Registration
Presentation
Display Technology
Authoring
Rendering
Рис. 2.24. Основные модули для создания СРР
119
Наконец, последний уровень – пользователь, использующий
приложение и оценивающий его эффективность.
Приведем примеры систем расширенной реальности, демонстрирующие потенциальную широту их применения.
1. Проект SIXth Sense – «Шестое чувство» [35], [67]. Создана
демонстрационная версия системы, состоящая из смартфона
с подключенным портативным проектором (серийная модель
фирмы «3М») и видеокамерой (на основе web-камеры), которая позволяет организовать автоматическое распознавание объектов
реального мира, поиск и отображение значимой информации.
Взаимодействие с системой осуществляется посредством жестов, которые рисуются на подходящем объекте или прямо в воздухе. Например, можно отобразить на ладонь виртуальную клавиатуру и набрать номер, не извлекая телефон из кармана, или
сложить пальцы двух рук прямоугольником и сфотографировать
выбранное место. В случае возможности выполнения нескольких
действий применительно к текущему объекту отображается сенсорное меню.
Можно привести следующие примеры приложения системы:
− покупки в магазине, например, книги. Как только берется
книга, на обложку сразу проецируется (нагрудная версия системы) рейтинг произведения, взятый с сайта популярного
Internet-магазина;
− чтение газеты. На газетную страницу проецируется (головной или нагрудный вариант системы) и прокручивается видео­
ролик из программы новостей;
− идентификация сотрудников. На теле появляется его имя,
подразделение и должность.
Проект SIXth Sense реализовали два исследователя из Массачусетского технологического института; по примерным подсчетам, на всю систему потрачено несколько сотен долларов и четыре
месяца труда.
В качестве проблем, с которыми столкнулись разработчики
системы, можно указать следующие:
− головной вариант системы неудобен в приложениях, связанных с общением пользователей (ослепление лучом собеседника);
− при дневном освещении требуется высокая яркость проецируемого изображения;
− для облегчения распознавания жестов пользователю приходится надевать на пальцы разноцветные ленточки.
120
Примеры скриншотов системы приведены на рис. 2.25–2.27.
2. Проект Invisible Train – «Невидимый поезд» [65], [213].
С целью демонстрации возможностей СРР группа специалистов
и студентов технологического университета Вены (Techniche
Universitat Wien) создала игру для нескольких игроков «Невидимый поезд».
Игровое поле представляет собой условный фрагмент местности, на которой проложены рельсы и стрелки. Поезда существуют в виде компьютерных моделей и видны на игровом поле через
карманный компьютер с цифровой камерой. Поезда двигаются
по рельсам, управлять их скоростью и направлением можно с помощью пера и сенсорного экрана.
а
б
Рис. 2.25. Варианты реализации системы: а – нагрудная; б – головная
а
б
Рис. 2.26. Пример реализации системы: а – общий вид;
б – отображение клавиатуры на руке
121
Привязка к местности осуществляется на основе картонных квадратиков с черно-белыми
кодами, которые обнаруживаются цифровой камерой и распознаются с использованием специального программного обеспечения.
По ним определяются направлеРис. 2.27. Пример электронной ние взгляда и «подсказки», а также необходимые для наложения
газеты
в данном месте изображения.
Каждый участник управляет своим поездом с использованием
своего карманного компьютера, синхронизация между которыми
осуществляется по радиоканалу. Задача игроков – не допустить
столкновения и крушения поездов. На рис. 2.28–2.31 приведены
примеры скриншотов игры.
3. Подводная СРР [64], [65]. В институте прикладных информационных технологий Фраунхофера (Fraunhofer FIT, Германия)
создана подводная СРР.
Рис. 2.28. Общий вид игры
Рис. 2.29. Игровое устройство
Рис. 2.30. Управление стилусом
Рис. 2.31. Многопользовательский вариант игры
122
Прототип состоит из рюкзака с мобильным компьютером, системы специальных трекеров и определения координат пловца,
а также маски, оснащенной специальным дисплеем и видеокамерой. Найдены решения, обеспечивающие водонепроницаемость
компьютера и дисплея с учетом давления воды при погружении
(рис. 2.32).
Видеокамера передает поле зрения человека в компьютер, дополняющий перспективу наблюдаемого через дисплей-маску
подводного мира (пустого бассейна) необходимыми виртуальными объектами (водоросли, камни, рыбки и т. п.), положение которых точно соотносится с реальным перемещением человека под
водой.
Для демонстрации потенциала прототипа создана игра со следующим сценарием: необходимо найти и открыть сундук с сокровищами, части ключа-кода к которому разбросаны на дне бассейна по шести островам, каждый из которых обладает своей оригинальной фауной.
Возможные сферы применения – аквапарки, тренировка профессиональных водолазов и аквалангистов, занятых ремонтом
и инспекцией подводных сооружений.
4. Проект Topps 3D Live [65], [68]. Американская компания
Topps, работающая в сфере разработки и продажи спортивных
карточек с изображением известных футболистов, баскетболистов, хоккеистов и бейсболистов, являющихся в США одним из
самых популярных предметом коллекционирования, создала инновационный продукт TOPPS 3D Live – карты с управляемыми
3D-бейсболистами.
В основу Topps 3D Live легла технология D’Fusion фирмы
Total Immersion (Франция),
интегрирующая в реальном
времени интерактивную 3Dграфику в потоковое видео.
При покупке карты пользователь получает код, с которым регистрируется на сайте
ToppsTown и скачивает на свой
компьютер приложение. При
поднесении карты к web-ка­
мере, подключенной к комРис. 2.32. Общий вид прототипа
123
пьютеру, пользователь увидит на
экране интерактивную трехмерную
модель одного из двенадцати звезд
бейсбола, которым можно управлять и играть в бейсбол как в однопользовательском, так и многопользовательском режимах (рис. 2.33).
Вторым компонентом смешанной реальности является расширенная виртуальность (Augmented
Рис. 2.33. Интерактивная
трехмерная модель
virtuality), которая означает слиябейсболиста
ние объектов реального мира с виртуальным миром, например, физические объекты или люди динамически интегрируются в вир­
туальный мир и взаимодействуют с ним в режиме реального
времени. Такая интеграция осуществляется с использованием
различных методов, например, потоковое видео из физического
пространства, или с использованием трехмерной оцифровки физических объектов [162].
Пример системы на основе расширенной виртуальности –
трехмерная видеоконференция, позволяющая поддержать сотрудничество удаленных участников, – представлен на рис. 2.34
[144], [182].
Виртуальная среда представляPresentation wall
ет собой комнату, где изобра­жены:
− стены, на которых расположены информационный и презентаVideo
Video
ционный (для 2D) экраны;
− места для демонстрации 3Dобъектов обсуждаемой продукции;
Video
− стол с расположенными вокруг него экранами, на которые
выдаются видеопотоки от участниBoards for models
ков совещания.
Doors
В ходе такой встречи участники
могут, например, обсудить изменения и улучшения в 3D-объектах,
Information wall
полученных в результате данных
системы автоматизированного проРис. 2.34. Схема зала
ектирования автомобилей.
видеоконференции
124
Более сложные сценарии могут предусматривать манипулирование этими 3D-объектами – перемещение, аннотирование, монтаж и демонтаж и др.
2.4. Мультимодальный интерфейс
Человек в реальном мире использует свои сенсомоторные системы
для взаимодействия с окружающей средой и общения с другими
людьми, применяя для этого различные вербальные (язык, речь)
и невербальные (мимика, жесты, запахи, касания и др.) средства.
Рассмотрим ряд терминов, используемых в области человекомашинного взаимодействия [208].
Термин коммуникации «способ» (mode) определяет сенсомоторный канал коммуникации, используемый человеком для взаи­
модействия с машиной (системой). Способ коммуникации определяет тип взаимодействия между пользователем и системой, т. е.
у каждого способа коммуникации есть связанный тип взаимодействия. Например, если способ коммуникации между пользователем и системой является графическим, взаимодействие называется графическим по аналогии.
Термин «среда» (media) используется для указания технических средств поддержки коммуникации, которые позволяют передавать, обрабатывать и хранить информацию. Например,
устройства ввода – клавиатура, микрофон, мышь и т. п., устройства вывода – экран, громкоговорители и т. п., а также устройства хранения – компакт-диски и т. п.
Термин «модальность» (от лат. modus — способ, англ. –
«modality») в психологии указывает на принадлежность отражаемого раздражителя к определенной сенсорной системе (зрительной, слуховой, тактильной и др.); качественность определенности
ощущений (цвет – в зрении, тон и тембр – в слухе, характер запаха – в обонянии и т. п.). Модальность обусловлена строением
органов чувств и особенностями среды, воздействующей на них
[59] (п. 1.5.4).
В области человеко-машинных интерфейсов [169]:
модальность – тип канала коммуникации, используемого для
взаимодействия;
мультимодальная система (Multimodal system) – поддерживает коммуникацию с пользователем через различные модальности, такие как голос, жест и печатание;
125
мультимодальное взаимодействие (multimodal interaction) –
взаимодействие пользователя с приложением, используя более
чем один способ взаимодействия, например, предлагая пользователю выбор разговора, или печатания, или, в некоторых случаях,
разрешая пользователю обеспечить сложный вход, вовлекающий
многократные способы [123].
Термины «мультимода», «мультимедиа» и «мультимодальный» («multimode», «multimedia» и «multimodality») при описании человеко-машинных систем, как правило, используются
с точки зрения возможностей системы. Приставка «много-» или
«мульти-» («multi») подразумевает использование более чем одного способа, среды или модальности. Таким образом, мономодальная, соответственно, мультимодальная, система определяется
как любая система, которая поддерживает коммуникацию с конечным пользователем через одну или, соответственно, несколько модальностей [119].
Каково различие между мультимодальной системой и мультимедийной системой? Мультимедийная система позволяет приобретать, хранить и распределять данные, в то время как мультимодальная система способна к приобретению и интерпретации
данных, так же как хранению и распределению этих интерпретаций. Поэтому можно сказать, что мультимодальная система – это
система с мультимедийными способностями, которая позволяет
проводить семантическую обработку данных.
В человеко-машинных системах модальности взаимодействия
можно описать как некоторое физическое устройство d и язык
взаимодействия L: < d, L > [171]. Физическое устройство – это
входные и выходные устройства системы, например, мышь, клавиатура, микрофон, видеокамера, трекеры положения и движения, экран и др. Язык взаимодействия – это набор характерных
для данного устройства символов, при помощи которых передается смысл, например, ограниченный естественный язык, прямое
манипулирование и т. п.
Типичные примеры:
− графическая входная модальность описывается как <mouse,
direct manipulation>;
− голосовая входная модальность: <microphone, pseudo-natural
language>;
− тактильная входная модальность: <tactile screen, tactile commands>;
126
− графическая выходная модальность: <screen, graphics language>;
− голосовая выходная модальность: <loud speakers, pseudo natural language>.
Можно перечислить следующие преимущества мультимодального взаимодействия человека с машиной [150]:
− более естественное и выразительное взаимодействие, т. е. позволяет пользователю работать с компьютером аналогично тому,
как люди взаимодействуют друг с другом естественным образом –
с помощью речи, взгляда, мимики, жестов, поз, касаний и т. п.;
− повышение эффективности выполнения задач (время, усилия, обработка ошибок), в том числе повышение точности при решении пространственно-визуальных задач;
− поддержка наиболее предпочитаемого пользователем способа взаимодействия;
− снижение требований к интерфейсным знаниям пользова­
теля.
Тем самым это обеспечивает для сложных человеко-машинных
систем расширение не только доступности, привлечения более
широкой аудитории, но и ситуаций использования.
Основные проблемы при создании мультимодального интерфейса [150]:
− описание решаемых задач в терминах модальностей на основе человекоцентрированого и системоцентрированного под­
ходов;
− анализ модальностей взаимодействия на соответствие сенсомоторным характеристикам пользователя;
− объединение соответствующих входных модальностей;
− разделение выходных модальностей (активизация самого
подходящего канала взаимодействия).
Некоторые психологические проблемы, в частности, параллельность восприятия разных модальностей и избыточность сенсорных воздействий на пользователя, рассмотрены в подразделе 1.5.4.
Рассмотрим обобщенную архитектуру мультимодального интерфейса [168], представленную на рис. 2.35.
1) пользователь – человек, который вводит данные в систему
и получает от нее ответную реакцию;
2) ввод – реализация мультимодального взаимодействия с использованием нескольких режимов ввода, таких как речь, же127
Функции
приложения
Компонент
интеграции
Компонент
интерпретации
Компонент
распознавания
Ввод
Компонент сессии
Менеджер
взаимодействия
Компонент
генерации
Компонент
стиля
Компонент
представления
Вывод
Компонент
системы
и окружающей
среды
Рис. 2.35. Обобщенная архитектура мультимодального интерфейса
сты, рукопись, текст, движения и др. Механизм ввода для мульти­
модального взаимодействия включает три компонента:
− компонент распознавания;
− компонент интерпретации;
− компонент интеграции (слияния);
Компонент распознавания воспринимает естественный ввод
от пользователя и переводит его в форму, пригодную для дальнейшей обработки. Может быть описан с использованием грамматики языка разметки. Примеры:
− Speech – конвертирует произнесенную речь в текст;
− Handwriting – конвертирует рукописные слова и сообщения
в текст;
− Keyboarding – конвертирует нажатые клавиши в текстовые
символы;
− Pointing device – конвертирует кнопки, нажатые в (x, y)позиции, в двумерную поверхность.
Другие компоненты распознавания могут включать зрение,
язык жестов, биометрию, тактильный ввод, идентификацию говорящего, идентификацию почерка и другие режимы ввода.
Компонент интерпретации идентифицирует «значение», или
«семантику», подразумеваемую пользователем. Например, мно128
гие слова, которые используются в значении «да», «конечно»
и «согласен», могут быть представлены как «да».
Компонент интеграции объединяет выходы от нескольких
компонентов интерпретации входов. Иногда используется термин
«мультимодальное слияние» (multimodal fusion).
Некоторые или все возможности этого компонента могут быть
обеспечены как часть компонента распознавания, интерпретации
или взаимодействия. Например, аудиовизуальное распознавание
речи может интегрировать распознавание движения губ и распознавание речи, как часть компонента чтения губ, как часть компонента распознавания речи или объединяться в отдельный компонент интеграции. Другой пример: два режима ввода речи и указания используется в «положить это» (указание на объект), «там»
(указание на место) и могут быть объединены в отдельный компонент интеграции или могут быть объединены в компоненте менеджера взаимодействия.
Выходные данные для каждого компонента интепретации могут быть выражены с использованием EMMA-языка для представления семантики или смысла [123]. Любой пользователь или
система могут создавать информацию, которая может быть напрямую направлена менеджеру взаимодействия, минуя кодирование в EMMA. Например, записанный звук для дальнейшего
повтора или последовательность нажатия клавиш захватывается
во время создания макросом.
Существует три основных подхода для управления вводом
в порядке увеличения сложности [150]:
− последовательный мультимодальный ввод – соответствует
входным данным, полученным от одной модальности, которая
может меняться с течением времени. На данном уровне должно
быть доступно описание, какая модальность или устройство будет использоваться для ввода и указания или осуществления переключения модальностей;
− синхронный мультимодальный ввод – предполагается, что
входные данные от нескольких модальностей интерпретируются
одно за другим в порядке приема, вместо того чтобы комбинироваться перед интерпретацией;
− смешанный мультимодальный ввод – соответствует входным данным, полученным от нескольких модальностей в одно
и то же время и рассмотренных как единый, интегрированный
комплекс введенных данных для последующей обработки;
129
3) вывод – реализация мультимодального взаимодействия, использующая несколько режимов вывода, таких как, речь, текст,
графика, аудиофайлы и анимация.
Механизм вывода для мультимодального взаимодействия
включает три компонента:
− компонент генерации;
− компонент стиля;
− компонент представления (рендеринга).
Компонент генерации – определяет, какой способ (способы)
вывода будут использоваться для представления информации,
поступающей от менеджера взаимодействия пользователю. Иногда используется термин «мультимодальное разделение» (multimodal fission). Информация от менеджера взаимодействия может
быть передана непосредственно на соответствующее устройство
представления, не будучи закодированной на внутреннем языке
представлении. Например, записанное аудио посылают непосредственно в звуковую систему.
Компонент стиля – добавляет информацию о том, как информация должна «выставляться» (представляться). Например, компонент стиля для дисплея описывает, как графические объекты
располагаются на экране, в то время как компонент стиля для
звука может вставлять паузы и интонации голоса в текст, который произносится синтезатором речи.
Компонент представления (рендеринга) – конвертирует информацию из компонента стиля в формат, который легко понять
пользователю. Например, компонент графического представления отобразит вектор точек как кривую линию, а система синтеза
речи конвертирует текст в синтезированную речь;
4) менеджер взаимодействия – это логический компонент, который координирует данные и управляет потоками из различных
входных и выходных модальностей. Он поддерживает состояние
взаимодействия в контексте приложения, отвечает на входы от
составляющих интерфейс объектов и изменения в системе и окружающей среде, управляет этими изменениями и координирует
вход и выход через составляющие интерфейс объекты;
5) компонент сессии – предоставляет интерфейс для менеджера взаимодействия, чтобы поддерживать управление состояниями, а также временными и постоянными сессиями для мультимодальных приложений. Особенно важен для распределенных приложений, включающих более одного устройства и/или пользова130
теля. Он скрывает подробности используемых схем и протоколов
и обеспечивает интерфейс высокого уровня для запроса или освобождения ресурсов внутри сессии;
6) компонент системы и окружающей среды – позволяет менеджеру взаимодействия обнаруживать возможные изменения
устройств, параметров пользователя, состояние окружающей
среды и реагировать на них. Например, какой из доступных режимов предпочитает пользователь, разрешение экрана, возможности поддержки цвета и др.
Рассмотрим основные особенности мультимодальной интеграции и генерации, соответственно, мультимодального слияния
и мультимодального разделения.
Задача мультимодального слияния (multimodal fusion) состоит в том, чтобы объединить все входящие унимодальные события
в единое представление намерения, выраженного пользователем.
При этом необходимо принимать во внимание каждое унимодальное событие, которое потенциально может способствовать комплексному пониманию мультимодального взаимодействия.
Теоретически существует три типа слияния: на уровне данных, функциональное и смысловое. Например, для синтеза речи –
соответственно обработка на уровне сигналов, фонем, семантики
сообщений (табл. 2.1).
Сравнение типов слияния
Таблица 2.1
Функциональное
слияние
Смысловое
слияние
Верхний
уровень описания информации
Тесно связанные модальности
Средний
уровень описания информации
Высокая
Средняя
Слабо связанные модальности
Не может
восстановить
предварительно
потерянную
информацию
Низкая
Реально не
применяется
Применяется
для слияния
отдельных
способов
Характеристика
На уровне данных
Использование
Данные одного
типа
Уровень представления
информации
Чувствительность к шуму/
ошибкам
Применение для
ММИ
Наиболее
широкое
применение
131
Можно сформулировать некоторые требования к мульти­
модальному слиянию:
1) учет возможности, при которой пользователь может переключаться между различными модальностями для совершения
одной и той же команды. Например, он сначала может использовать жесты для перемещения объекта, а затем использовать голос
для перемещения другого;
2) совершенствование мономодальной обработки и контекстуального предсказания для пользователей, проявляющих шаблонное поведение. Пользователи могут всегда (или очень часто) использовать одну модальность для данной команды. Например,
они могут всегда использовать модальность жестов для открытия
двери и практически никогда не использовать речь;
3) учет индивидуальных различий на уровне как предпочтений пользователя, например, одни пользователи предпочитают
жесты, другие – речь, так и насыщенности использования пользователем модальности, например, дети чаще, чем взрослые, используют жесты;
4) возможность взаимного устранения противоречий между
модальностями из-за того, что пользователь может проявлять неоднозначное поведение в своих жестах и речи. Например, пользователь при работе с мультимодальной картой может указать жестом между объектами вместо точного указания конкретного
объекта или при речевом взаимодействии указывать на объект
с различным уровнем точности (может указывать на «Музей Эрмитаж», произнося: «Этот», «Это здание», «Этот музей» или «Музей Эрмитаж»). Другой пример – порождение в результате этого
различных мультимодальных структур:
– синтаксически корректное высказывание, требующее слияния событий речи и жестов: «Существуют ли какие-нибудь
изображения в этой книге?» + <указание жестом на красную
книгу>;
– синтаксически некорректное высказывание, требующее слияния взаимодополняющих событий речи и жестов: «Существуют
ли какие-нибудь изображения в…?» + <указание жестом на красную книгу>;
– синтаксически корректное высказывание, требующее слияния избыточных событий речи и жестов: «Существуют ли какиенибудь изображения в красной книге?» + <указание жестом на
красную книгу>;
132
5) учет временной близости используемых модальностей, т. е.
события, происходящие в одном временном окне, как правило, объединяются. Однако при этом необходимо помнить следующее:
– иногда пользователь может жестикулировать и говорить для
двух независимых задач, например: перемещать объект с помощью жестов и одновременно просить удалить другой объект с помощью голоса; пользователь может прогнозировать реакцию системы и производить новую команду перед тем, как предыдущая
команда будет выполнена системой;
– длина временного окна может различаться для различных
групп пользователей или для одиночного пользователя;
– как правило, различное время обработки для разных модальностей, например, распознавания жестов и речи.
Основная задача мультимодального разделения (multimodal
fission) – анализ различий для активации наиболее подходящей
модальности и построение сообщения через их комбинацию. Как
правило, решается в три этапа:
1) выбор и структуризация содержимого сообщения;
2) выбор модальностей;
3) координация выходных параметров на каждом канале
в форме последовательных сообщений.
Классические методы деления – визуализация, синтез речи,
диалоговые агенты и др.
Рассмотрим следующие основные концептуальные модели
мультимодального интерфейса:
− модель TYCOON;
− модель CASE;
− модель CARE и платформа ICARE;
− W3C.
Модель TYCOON
Подход TYCOON framework (TYypes of COOperatioN) позволяет описывать и оценивать различные типы связей между взаимодействующими модальностями [155], [156]. Он основан на представлении типов и целей взаимосвязи между модальностями.
В результате исследований в таких областях, как психология, искусственный интеллект, человеко-машинное взаимодействие,
были выявлены пять типов взаимосвязей между модальностями:
133
1) трансформация: устанавливает, какая часть информации,
порожденная одной модальностью, будет использоваться другой модальностью. Трансформация может происходить как между двумя входными или выходными модальностями, так и между входной и выходной модальностью. Цели такого типа взаимо­
связи:
− перевод – например, в гипермедиаинтерфейсах клик мышью
генерирует отображение рисунка или поиск информации в приложении, пользователь может выразить запрос в одной модальности (например, речь) и получить соответствующую информацию в другой (например, видео);
− улучшение распознавания, например, результат указания
мышью может быть перенесен в модальность речи для облегчения распознавания предсказуемых слов (например, «здесь»,
«тот»);
− возможность быстрого взаимодействия – например, часть
произнесенного высказывания была не распознана, она может
быть отредактирована с помощью клавиатуры, при этом поль­
зователю не нужно вводить/произносить все высказывание сначала;
2) эквивалентность: две модальности считаются эквивалентными, если часть информации может быть обработана как альтернатива любой из модальностей. Цели такого типа взаимо­
связи:
− улучшение распознавания команд – например, когда механизм распознавания речи не работает эффективно (например, наличие шума в окружающей среде), пользователь может выбрать
действие с помощью стилуса;
− адаптация к характеристикам пользователя – пользователь
может выбрать предпочитаемую модальность;
3) специализация: указывает на определенный тип информации, который всегда обрабатывается одной и той же модальностью. Цели такого типа взаимосвязи:
− интерпретация – пользователь помогает интерпретировать
события, порожденные системой;
− улучшение распознавания – облегчает процесс обработки
и улучшает точность распознавания речи из-за уменьшения области поиска;
− ускорение взаимодействия – уменьшает продолжительность
интеграции и процесса выбора модальности;
134
4) избыточность: некоторые модальности взаимодействуют
избыточно, когда они обрабатывают одну и ту же информацию
(например, отображение подтверждающего диалога скрывается
с помощью двух избыточных действий пользователя: вводом
«quit» и произношением «quit», это способствует ускорению
взаимодействия). Наблюдаются некоторые преимущества избыточности:
− поддержка естественных для пользователя действий – исследования показали, что иногда пользователи выбирают некоторые
опции (например, город), одновременно используя речь и прикосновение к сенсорному экрану;
− увеличение обучаемости – избыточный мультимодальный
вывод с одновременным отображением текста и его произношением позволяет ускорить процесс обучения по сравнению с графическим интерфейсом;
5) комплементарность: рассматриваются несколько модальностей, каждая из которых обрабатывает различные части информации, которые впоследствии объединяются. Цели такого типа
взаимосвязи:
− ускорение взаимодействия – две модальности могут использоваться одновременно и передавать короткие сообщения, распознаваемые лучше, чем длинные;
− улучшение интерпретации – для продвинутых пользователей достаточно графического отображения, но для новичков необходимо также отображение текста.
Модель TYCOON лежит в основе инструментария COMIT, который позволяет пользователю мультимодально взаимодействовать
с системой. COMIT определяет командный язык, который используется для описания различных типов взаимоотношений между
модальностями, например, распознаванием речи, клавиатурой
и мышью.
Модель CASE
Модель позволяет классифицировать мультимодальные взаимо­
действия на основе трех критериев [150]: уровень абстракции данных, используемые модальности и виды слияния (рис. 2.36).
Использование модальностей зависит от времени и может быть
параллельным (несколько модальностей работают одновременно)
или последовательным (одна модальность в одно время).
135
Слияние
Комбинированное
Независимое
Использование модальностей
Последовательно
Параллельно
Alternate
Synergistic
Exclusive
Concurrent
Уровень абстракции
Рис. 2.36. Типы мультимодальных взаимодействий
Слияние – это комбинирование различных типов данных, которое может быть независимым (отсутствие слияния) и комбинированным (необходимое слияние).
Уровень абстракции – данные, полученные от устройства, могут быть обработаны на различных уровнях абстракции, например, для анализа речи – уровень сигнала; фонетический уровень;
семантический уровень.
Исходя из этого, можно выделить четыре типа мультимодальных взаимодействий:
1) Concurrent – две различные задачи выполняются параллельно, без обращения друг к другу;
2) Alternate – задачи с временным чередованием модальностей, используется взаимосвязь;
3) Synergistic – параллельные задачи, использующие несколько связанных модальностей;
4) Exclusive – одна задача за другой использует одну модальность в одно и то же время, без обращения друг к другу.
Модель CARE
Модель CARE (Complementarity, Assignment, Redundancy and
Equivalence) предлагает формальный способ описания и оценки
свойств мультимодального взаимодействия. Кроме того, она позволяет описать и свойства модели CASE [118], [170].
Для того чтобы дать формальное определение свойствам CARE,
определим некоторые параметры:
− состояние – набор свойств, которые могут быть измерены
в определенное время для описания ситуации;
− агент – пользователь или система, способные инициировать
выполнение действий;
− цель – состояние, которого намерен достичь агент, выполняя
экспрессию. Входная экспрессия выполняется пользователем,
136
которому необходимо достичь намеченной цели. Затем оно обрабатывается системой, которая, в свою очередь, производит выходную экспрессию;
− модальность – метод взаимодействия, который может использовать агент для достижения своей цели. Представляется парой из физического устройства d и языка взаимодействия L:
<d, L>;
− временное окно (temporal window) – интервал времени, который определяет временные ограничения использования модальностей для генерации входных и выходных экспрессий. Временное отношение (temporal relationship) характеризует использование с течением времени набора модальностей. Использование модальностей может быть последовательным и параллельным
в рамках временного окна;
− функция достижимости Reach (s, m, s′) – моделирует экспрессивную силу модальности m, т. е. ее способность позволить
агенту достичь состояния s′ из состояния s за один шаг. Последовательность шагов (или состояний) называется траекторией взаимодействия;
− модальности набора M используются совместно (или параллельно), если в рамках временного окна они используются в одно
и то же время. Пусть Active (m, t) обозначает используемую в некоторый момент времени t модальность m. Одновременное использование модальностей из набора M над конечным временным
окном tw можно формально определить как
Parallel (M, tw) ⇔ (Card (M) > 1) ∧ (Duration (tw) ≠ ∞) ∧
∧ (∃ t ∈ tw, ∀m ∈ M, Active (m, t)),
где Card (M) – это число модальностей набора M; Duration (tw) –
это длительность временного интервала tw;
− модальности M используются последовательно в рамках временного окна tw, если только одна модальность может быть активна в одно и то же время и все модальности набора используются в рамках tw:
Sequential (M, tw) ⇔ (Card (M) > 1) ∧ (Duration (tw) ≠ ∞) ∧
∧ (∀t ∈ tw, (∀m, m′ ∈ M, Active (m, t) ⇒ ¬ Active (m′, t)) ∧
∧ (∀m ∈ M, ∃t ∈ tw, Active (m, t)).
У временных окон для параллельных и последовательных модальностей нет необходимости в идентичных продолжительно137
стях. Важным моментом является то, что они выражают ограничение на темп взаимодействия. Отсутствие временных ограничений рассматривается в рамках длительности временного окна
как бесконечность.
Теперь мы можем определить ряд свойств модальностей:
1) эквивалентность (E – equivalence) – модальности набора M
эквивалентны для достижения состояния s' из состояния s, если
необходимо и достаточно использовать любую из модальностей. M,
как предполагается, содержит, как минимум, две модальности:
Equivalence (s, M, s′) ⇔ (Card(M) > 1) ∧ (∀ m∈ M, Reach (s, m, s′)).
Например, рассмотрим следующие параметры:
− модальности: m1 = речевой ввод <микрофон; узкий словарь,
ориентированный на естественный язык>; m2 = письменный
естественный язык <клавиатура; язык команд>;
− состояния: s = незаполненное текстовое поле; s′ = заполненное текстовое поле s.
− цель – достичь состояния s′ из состояния s;
− агент – пользователь.
Таким образом, пример эквивалентного использования модальностей: пользователь может заполнить текстовое поле, используя любую из модальностей m1 или m2.
Эквивалентность определяет возможность выбора между модальностями, но не налагает временных ограничений на них;
2) определенность (A – assignment) – модальность m называют
определенной для достижения состояния s′ из состояния s, если
ни одна из других модальностей не может быть использована для
достижения состояния s′ из состояния s:
Assignment (s, m, s′) ⇔ Reach (s, m, s′) ∧
∧ (∀ m′ ∈M, Reach (s, m′, s′) ⇒ m′=m).
Например, рассмотрим следующие параметры:
− модальности: m = письменный естественный язык <клавиатура; язык команд>;
− состояния: s = незаполненное текстовое поле; s′ = заполненное текстовое поле;
− цель – достичь состояния s′ из состояния s;
− агент – пользователь.
Таким образом, пример определенной модальности: пользователь может заполнить текстовое поле, используя только опреде138
ленную модальность m. Другие модальности не могут быть использованы для достижения состояния s′;
3) избыточность (R – redundancy) – модальности из набора M
используются избыточно для достижения состояния s' из состояния s, если они имеют одинаковую выразительную мощь (они эквивалентны) и если все они используются в рамках одного временного окна tw:
Redundancy (s, M, s′, tw) ⇔ Equivalence (s, M, s′) ∧
∧ (Sequential (M, tw) ∨ Parallel (M, tw)).
Например, рассмотрим следующие параметры:
− модальности: m1 = речевой ввод <микрофон; узкий словарь
ориентированный на естественный язык>; m2 = графический
ввод <мышь; прямое манипулирование>;
− состояния: s = незаполненный комбо-бокс; s′ = заполненный
комбо-бокс s;
− цель – достичь состояния s′ из состояния s;
− агент – пользователь.
Избыточность может включать два разных временных отношения – последовательное и параллельное, которые могут быть
различными для юзабилити и реализации программного обеспечения. В частности, параллельность накладывает некоторые
ограничения на тип используемых одновременно модальностей:
модальности, которые конкурируют за одни и те же системные
или человеческие ресурсы, не могут быть активизированы параллельно. В таком случае агент может действовать последовательно, но в рамках одного временного окна (т. е. пользователь должен
произвести действие за очень короткий промежуток времени,
чтобы входные модальности были рассмотрены как параллельные). Для описания этих свойств можно использовать спецификацию модели CASE. В таком случае, когда параллельность возможна, мы имеем «Конкурентность – Избыточность» («Concurrent – Redundancy») и «Исключение – Избыточность» («Exclusive – Redundancy») для последовательного поведения:
Concurrent – Redundancy (s, M, s′, tw) ⇔
⇔ Equivalence (s, M, s′) ∧ Parallel (M, tw);
Exclusive – Redundancy (s, M, s′, tw) ⇔
⇔ Equivalence (s, M, s′) ∧ Sequential (M, tw).
139
Пример избыточного использования модальностей: комбобокс может быть заполнен пользователем, используя модальности m1 и m2 параллельно, или используя их последовательно;
4) комплементарность (C – complementarity) – модальности
из набора M используются комплементарно для достижения состояния s′ из состояния s в рамках одного окна, если все они
должны быть использованы для достижения состояния s′ из состояния s (отдельно ни одна из них не может привести к достижению состояния):
Complementarity (s, M, s′, tw) ⇔ (Card (M) > 1) ∧
(Duration (tw) ≠ ∞) ∧ ((∀M′ ∈ PM, (M′ ≠ M ⇒
⇒ ¬ REACH (s, M′, s′))) ∧ REACH (s, M, s′) ∧
∧ (Sequential (M, tw) ∨ Parallel (M, tw))),
где PM – часть набора М.
Например, рассмотрим следующие параметры:
− модальности: m1 = речевой ввод <микрофон; узкий словарь
ориентированный на естественный язык>; m2 = письменный
естественный язык <клавиатура; язык команд>;
− состояния: s = незаполненное текстовое поле для ввода имени и фамилии; s′ = заполненное текстовое поле;
− цель – достичь состояния s′ из состояния s;
− агент – пользователь.
Пример комплементарного использования модальностей: модальность m1 используется для произнесения имени пользователя, в то время как m2 используется для ввода фамилии. Ни одна
из модальностей, взятая отдельно, не может быть использована
для достижения состояния s′.
Как и избыточность, комплементарность может быть параллельной или последовательной. Учитывая спецификацию CASE,
«Синергический – Комплементарный» («Synergistic – Complementarity») используется при параллельном взаимодействии,
а «Альтернативный – Комплементарный» («Alternate – Complementarity») – при последовательном взаимодействии в рамках
временного окна. Например, при «Alternate – Complementarity»
выражение: «Положи это туда» будет понято системой, если пользователь сначала произнесет: «Положи это», – затем покажет объект, а затем произнесет: «Туда», указывая жестом на новую позицию (все действия должны производиться в рамках одного временного окна).
140
Synergistic – Complementarity (s, M, s′, tw) ⇔ (Card (M) > 1) ∧
∧ (Duration (tw) ≠ ∞) ∧ (∀M′∈PM (M′≠ M ⇒ ¬REACH (s, M′, s′))) ∧
∧ REACH (s, M, s′) ∧ Parallel (M, tw).
Alternate – Complementarity (s, M, s′, tw) ⇔ (Card (M) > 1) ∧
∧ (Duration (tw) ≠ ∞) ∧ (∀M′ ∈ PM (M′ ≠ M ⇒ ¬REACH (s, M′, s′)) ∧
∧ REACH (s, M, s′) ∧ Sequential (M, tw).
Будь то синергетичность или альтернативность, комплементарный ввод требует, чтобы система выполняла при вводе слияние данных (data fusion), а при выводе – деление данных (data
fission).
Платформа ICARE
Платформа ICARE (интерактивная CARE) позволяет дизайнерам (конструкторам) графически манипулировать и собирать
программные компоненты ICARE для описания спецификации
мультимодального взаимодействия в процессе разработки заданной системы. С помощью этой спецификации высокого уровня
в дальнейшем генерируется код мультимодального интерфейса
пользователя [106].
В ICARE определены два типа компонентов: элементарные
компоненты, которые позволяют конструкторам описать «чистые
модальности взаимодействия», и универсальные составные компоненты, которые позволяют конструкторам описать комбинацию модальностей.
T1
T2
T3
Complementarity2
Complementarity1
3d orientation
3d location
(radians)
Magnetometer Localization
sensor
Equivalence
Commands:
Commands: Commands:
Manipulation Manipulation
Exit
of notes (Direct
of notes
Manipulation) (Pseudo NL)
Mouse
Microphone
Keyboard
Рис. 2.37. Структура системы ICARE
141
Модель CARE описывает различные свойства составных модальностей.
На рис. 2.37 представлен пример спецификации ICARE в графическом виде. Для вычисления позиции и ориентации пользователя, запрашиваемых системой, зависимо используются две
пассивные модальности (комплементарность-1).
W3C – мультимодальная архитектура и интерфейсы
Цель подхода W3C – World Wide Web Consortium [167] – предоставить общую и гибкую архитектуру, обеспечивающую взаимодействие между компонентами отдельных модальностей от различных поставщиков, например, распознавания речи от одного
поставщика и распознавания рукописного текста от другого поставщика. Эта архитектура накладывает очень мало ограничений на отдельные компоненты или на взаимодействие с каждым
из них, вместо этого основное внимание уделяет обеспечению общего средства, позволяющего взаимодействовать им друг с другом, а также базовой инфраструктуры для управления приложением и сервисами платформы.
Требования к мультимодальной архитектуре:
1) инкапсуляция: архитектура не должна касаться внутренней реализации компонентов, которые будут рассматриваться
как «черные ящики»;
2) распространение: архитектура должна поддерживать как
распределение, так реализации;
3) расширяемость: архитектура должна облегчить интеграцию новых компонентов модальности. Например, к существующей реализации с голосовым и графическим компонентами можно добавить новый компонент (например, компонент биометрической безопасности) без изменения существующих компонентов;
4) рекурсивность: архитектура должна поддерживать вложение так, чтобы ссылка на некоторые компоненты, присутствующие в структуре, могла быть упакована и представлена в виде отдельного компонента на ссылке более высокого уровня в архитектуре;
5) модульность: архитектура должна предусматривать разделение данных, контроля и оформления.
Основные составляющие архитектуры мультимодального взаи­
модействия (рис. 2.38):
142
Delivery
Context
Component
Interaction
Manager
Data
Component
Runtime Framework
Modality Component API
Modality
Component 1
Modality Component API
Modality
Component 2
Рис. 2.38. Схема мультимодальной архитектуры
− структура рабочего цикла (Runtime Framework) – обеспечивает базовую инфраструктуру и контроль над взаимодействием
среди других составляющих;
− компонент доставки контента (Delivery Context Component) –
содержит информацию о возможностях платформы;
− менеджер взаимодействия (Interaction Manager) – координирует различные модальности;
− компонент данных (Data Component) – обеспечивает общую
модель данных;
− компонент модальности (Modality Components) – обеспечивает механизм взаимодействия отдельных модальностей.
Компоненты модальности взаимодействуют со структурой через асинхронные события. Компоненты должны быть способны
вызывать и обрабатывать асинхронно доставленные события.
В целом ожидается, что компоненты будут вызывать события
как автоматически (например, как часть их реализации), так
и в соответствии с разметкой. Ответственность за распоряжение
событиями ложится на уровень структуры. Это означает, что
компонент, вызвавший событие, не указывает, какому конкретному компоненту или же всем компонентам оно должно быть доставлено.
В данный момент нет спецификации механизма, используемого для доставки событий между компонентами модальности
и структурой. Существуют следующие требования к нему:
1) события должны быть надежно доставлены. В частности,
механизм доставки событий должен вывести сообщение об ошибке, если событие не может быть доставлено, например, если конечная точка недоступна;
143
2) события должны быть доставлены получателю в том порядке, в котором они были порождены источником. Не существует
никакой гарантии соблюдения упорядоченности поставляемых
событий, генерируемых различными источниками. Например,
если компонент модальности M1 генерирует события E1 и E2
в таком порядке, а компонент модальности M2 генерирует E3
и E4, требуется, чтобы E1 было доставлено перед E2, а E3 – перед
E4, но нет гарантии доставки E1 и E2 в сравнении с E3, E4.
Пример событий
Событие
Таблица 2.2
Источник
Получатель
Назначение
Модальность
Runtime
Framework
Runtime
Framework
Модальность
Prepare
Runtime
Framework
Модальность
Prepare­
Response
Модальность
Runtime
Framework
Запрос нового
контекста
Отправка нового
id-контекста
Предварительная загрузка
разметки
Подготовка
распознания
Start
Runtime
Framework
Модальность
Запуск разметки
StartResponse
Модальность
Done
Модальность
Runtime
Framework
Runtime
Framework
Cancel
Runtime
Framework
Модальность
CancelResponse
Модальность
Runtime
Framework
Pause
Runtime
Framework
Модальность
PauseResponse
Модальность
Runtime
Framework
Resume
Runtime
Framework
Модальность
Resume­
Response
Модальность
Runtime
Framework
Data
Любой из двух
Любой из двух
ClearContext
Runtime
Framework
Модальность
Начало распознавания
Окончание
работы
Остановка
обработки
Отмена распознавания
Приостановка
обработки
Приостановка
распознавания
Восстановление
обработки
Восстановление
распознавания
Отправка
значения данных
Деактивация
контекста
NewContext­
Request
NewContext­
Response
144
Мультимодальная архитектура определяет следующие основные события жизненного цикла (табл. 2.2), которые должны
быть поддержаны всеми компонентами модальности. Эти события позволяют структуре вызывать компоненты модальности
и получать от них результаты. Таким образом, они образуют
основу интерфейса между компонентами модальности и структурой.
Пример построения мультимодального интерфейса
Компоненты модальностей могут быть отнесены к одному из
трех типов: простые (simple), сложные (complex) или вложенные
(nested).
Простые компоненты модальности представляют информацию пользователю или принимают информацию от пользователя
по указанию менеджера взаимодействия. Простой компонент модальности – цельный, он не может быть разделен на два и более
простых компонента модальности, которые отправляют события
друг другу. Простой компонент модальности может содержать
функциональность для представления одного из следующих типов информации для пользователя:
− TTS – генерирует синтезируемую речь из текста;
− Audio replay – повторяет аудиофайл пользователю;
− GUI presentation – представляет HTML на мониторе;
− Ink replay – повторяет одну или более рукописную строку;
− Video replay – повторяет один или более видеоролик.
Простой компонент модальности может содержать функциональность для захвата одного из следующих типов информации
от пользователя по указанию сложной модальности или менеджера взаимодействия:
− Audio capture – записывает речь пользователя;
− ASR – захватывает текст от пользователя, используя грамматику преобразования речи в текст;
− DTMF – захватывает числа от пользователя, используя грамматику захвата чисел, представленных звуками, созданными
при нажатии тональной клавиатуры на телефоне;
− Ink capture – захватывает одну или более рукописных
строк;
− Ink recognition – захватывает одну или более рукописных
строк и интерпретирует их в текст, используя грамматику;
145
− Speaker verification – устанавливает пользователя, сравнивая характеристики речи с имеющимися характеристиками, ассоциирующимися с пользователем;
− Speaker identification – устанавливает говорящего, сравнивая голосовые характеристики с набором предыдущих голосовых
характеристик некоторых особенностей;
− Face verification – устанавливает пользователя, сравнивая
черты лица с имеющимися характеристиками, ассоциирующимися с пользователем;
− Face identification – устанавливает говорящего, сравнивая
черты лица с набором предыдущих характеристик некоторых индивидуальностей;
− GPS – захватывает текущую GPS-позицию от устройства;
− Keyboard or mouse – захватывает информацию, введенную
пользователем через клавиатуру или мышь.
На рис. 2.39 изображены два простых компонента модальности: ASR – модальность для захвата ввода пользователя, TTS –
для представления выходных данных пользователю. Заметим,
что вся информация, которой обмениваются два компонента модальности, должна отправляться как события жизненного цикла менеджеру взаимодействия, который направляет их другим
компонентам модальностей.
Сложные компоненты модальности
могут
содержать функциональность двух
Interaction Manager
или более простых компонентов модальности, например:
Life
Life
Cycle
Cycle
− GUI – представляет информацию
Events
Events
пользователю и захватывает данные
с клавиатуры и мыши;
ASR
TTS
modality
modality
− VXML – представляет VoiceXMLдиалог пользователю как одновременное
представление речи пользователю и захват пользовательской речи;
− GUI/VUI – дают возможность пользователю одновременно говорить и слушать и читать и писать (набирать).
На рис. 2.40 изображен сложный комРис. 2.39. Система
понент модальности, содержащий две
с двумя простыми
функции – ASR и TTS. ASR и TTS в состакомпонентами
ве сложного компонента модальности момодальности
146
Interaction Manager
Life
Cycle
Events
Interaction Manager
Life
Cycle
Events
Capture modality
(Both ASR and TTS)
Рис. 2.40. Система со сложным
компонентом модальности
Script
Life Cycle
Events
ASR
modality
Life Cycle
Events
TTS
modality
Рис. 2.41. Система со вложенным компонентом модальности
гут взаимодействовать между собой, а также получать и отправлять события жизненного цикла менеджеру взаимодействия.
Вложенные компоненты модальности – это набор компонентов
модальности и скрипт (возможно, написанный на SCXML), который управляет ими. Скрипт взаимодействует с дочерними компонентами модальности через события жизненного цикла. Дочерние компоненты модальности не могут напрямую взаимодействовать друг с другом.
На рис. 2.41 представлен вложенный компонент модальности
с двумя дочерними компонентами модальности ASR и TTS.
В действительности скрипт во вложенном компоненте модальности можно рассматривать как менеджер взаимодействия, который управляет дочерними компонентами модальности. По сути,
вложенные компоненты модальности – это вложенные менеджеры взаимодействия, что напоминает «матрешку» из вложенных
менеджеров взаимодействия.
Правила для компонентов модальности
Правила, представленные ниже, гарантируют, что модальности будут доступны для взаимодействия с менеджером взаимодействия.
147
Правило 1: каждый компонент модальности должен поддерживать все события жизненного цикла ММИ. События жизненного цикла ММИ – это механизм, с помощью которого компоненты модальности взаимодействуют с менеджером взаимодействия.
Автор компонентов модальности должен описать, как компоненты модальности будут реагировать на каждое событие жизненного цикла. Компоненты модальности должны реагировать на
каждое событие жизненного цикла, поступившее от менеджера
взаимодействия, в случае если требуется ответ, описанный архитектурой MMИ. Например, если компонент модальности представляет статический дисплей, он должен реагировать на событие <pause> событием <pauseResponse>, даже если компонент
модальности статического дисплея ничего не делает в ответ на событие <pause>.
Для каждого события жизненного цикла описаны параметры
и синтаксис «data» элемента, соответствующие событию жизненного цикла, которые будут использованы для выполнения функции. Например, событие <startRequest> для компонента модальности распознавания речи может включать такие параметры, как
время отключения, порог доверия и грамматика.
Правило 2: идентификация дополнительных функций компонентов модальности, которые имеют отношение к менеджеру взаи­
модействия. Определить событие <extensionNotification> для
взаимодействия с этой функцией менеджера взаимодействия как
на входе, так и на выходе.
Правило 3: установить спецификацию формата медиа, если
оно используется. Например, аудиоформат для распознавания
речи или InkML для распознавания рукописи.
Правило 4: установить спецификацию используемых протоколов между компонентами и устройствами (например, SIP или
HTTP).
Правило 5: установить спецификацию национальных языков,
например, английский, немецкий, русский, и местонахождение,
если это необходимо.
Правило 6: установить спецификацию поддерживаемых языков, необходимых компоненту, если их несколько.
Например:
SSML – для простого компонента модальности синтеза речи;
SRGS и SISR – для простого компонента модальности распознавания речи;
148
VoiceXML 2.1, SSML, SRGS и SISR – для сложного компонента
модальности.
Правило 7: отправляемые компонентом модальности данные
менеджеру взаимодействия должны использовать EMMA там, где
это возможно. Если компонент модальности захватывает или генерирует информацию, он должен представить ее в формате
EMMA и использовать дополнительные события, чтобы передать
ее менеджеру взаимодействия.
Правило 8: установить спецификацию кодов ошибок и их описания, чтобы вернуть менеджеру взаимодействия.
2.5. Адаптивные гипермедиа и виртуальные миры
Гипермедиа – среда, в которой сочетаются различные способы
представления информации (текст, статическая графика, анимационные элементы, видео, звук) с возможностью нелинейного просмотра материала (через гиперссылки). Систему гипермедиа можно представить набором узлов (страниц), связанных ссылками.
Каждая страница содержит некоторую локальную информацию
и несколько ссылок на релевантные страницы, а в более сложном
случае – индексную структуру и глобальную карту, которые обеспечивают доступ по ссылкам ко всем возможным страницам.
Рассмотрим основные понятия адаптивных гипермедиасистем, приведенные в работах P. Brusilovsky [110].
Системами адаптивной гипермедиа (АГ) называются все гипертекстовые и гипермедийные системы, которые отражают некоторые характеристики пользователя в модели пользователя
и применяют эту модель для адаптации различных визуальных
аспектов системы к нуждам пользователя.
Основные направления классификации методов адаптивной
гипермедиа (табл. 2.3):
– где адаптивные гипермедиасистемы могут быть полезны –
прикладные области и проблемы, которые могут быть частично
решены с помощью методов адаптивной гипермедиа;
– какие характеристики пользователя и пользовательской
среды используются в качестве ресурса адаптации, т. е. к каким
особенностям пользователя и пользовательской среды система
может адаптировать свое поведение;
– что может быть адаптировано с помощью конкретного метода адаптации, какие особенности системы могут быть различны
для различных пользователей;
149
Таблица 2.3
Цели, методы и технологии адаптивной гипермедиа
Цели, методы
Характеристика
Обучающие системы; онлайновые информационные сиГде
стемы; системы оперативной помощи; поисковые си(прикладные
стемы; корпоративные системы; системы индивидуалиобласти)
зации информации
Почему
(цели
адаптации)
Представление страницы в соответствии со знаниями
пользователя, навигационная помощь в соответствии
с целями пользователя и др.
К чему
(ресурсы
адаптации)
Данные о пользователе: цели/задачи; знания; уровень
подготовки; опыт по работе в среде; предпочтения;
интересы; индивидуальные черты.
Интерфейсные данные: данные о взаимодействии
пользователя с системой, которые нельзя отнести
к модели пользователя, но которые используются для
принятия решений по адаптации.
Данные о среде: аппаратная часть; программное
обеспечение; каналы передачи информации; типы
и форматы передаваемой информации
Что
(может
адаптироваться)
Содержание и ссылки.
Соответственно различают:
1) адаптивное представление:
– текста;
– мультимедиа;
– модальностей;
2) адаптивная поддержка навигации:
– непосредственное руководство;
– сортировка;
– сокрытие;
– аннотация;
– генерация карты
Как
(методы)
Адаптивного представления: дополнительных объяснений; объяснений причин; сравнительных объяснений;
вариантов объяснений; сортировки.
Адаптивной поддержки навигации: глобальное руководство; локальное руководство; локальная ориентация
(знания); локальная ориентация (цель); глобальная
ориентация
150
– цели адаптации, достигаемые с помощью различных методов: почему применяются те или иные методы и какие проблемы
пользователей они могут решить. Цели адаптации зависят от областей применения.
В адаптивной гипермедиа может быть адаптировано как содержание очередной страницы (адаптивное представление), так
и ссылки с очередной страницы, индексных страниц и страниц
карт (адаптивная поддержка навигации).
Основная идея адаптивного представления состоит в том,
чтобы адаптировать содержание страницы, к которой обращается пользователь, к его текущему уровню знаний, целям и другим
характеристикам. Например, квалифицированный пользователь
может быть обеспечен более детальной и полной информацией,
в то время как новичок может получать дополнительные объяснения.
Основная идея адаптивной поддержки навигации заключается в том, чтобы помочь пользователям найти свой путь в гиперпространстве. Эта помощь реализуется через адаптацию процесса представления ссылок к целям, уровню знаний и другим характеристикам пользователя.
Для электронного образования адаптация исключительно
важна, по меньшей мере, по двум причинам [109]:
1) большинство приложений используются множеством различных пользователей, что не учитывается при разработке локальных приложений. Приложения, разработанные для одной
группы пользователей, не будут подходить другим;
2) во многих случаях, в частности, при дистанционном обучении, пользователь работает один с курсом, поэтому помощь, адаптивно предоставляемая коллегами и учителями в классе, недоступна.
Классификация технологий адаптации в электронных обучающих системах приведена в табл. 2.4.
В основе адаптивных гипермедиа лежит модель пользователя,
которая представляет собой совокупность характеристик пользователя, оказывающих наибольшее влияние на его взаимодействие с системой.
Модель пользователя – основной элемент в процессе адаптации информационного содержания гипермедиа. Следуя заданным правилам и основываясь на параметрах модели пользователя, система, например, изменяет последовательность обучения
151
Таблица 2.4
Технологии адаптации в электронных образовательных системах
Технология
адаптации
Цель
Особенности
Планирование
Предоставить обучаемому индивидуально
спланированную последовательность модулей
знаний для обучения
и работы с определенным порядком следования обучающих заданий
(примеров, вопросов,
задач и т. п.)
Реализуется с помощью
двух техник: упорядочение знаний и упорядочение заданий
Интеллектуальный анализ
решений обучаемого
Предоставить обучаемому обратную связь об
ошибках и скорректировать модель обучаемого
Производится интеллектуальный анализ на основе окончательных ответов
пользователя
Поддержка
интерактивного решения
задач
Предоставить обучаемому интеллектуальную
помощь на каждом шаге
решения – от намеков до
исполнения следующего
шага за обучаемого
Современные серверы
приложения не достаточно «интерактивны» для
поддержки наблюдения за
обучаемым и предоставления ему помощи, что
приводит к временным
задержкам
Поддержка
решения задач
на примерах
Предоставить обучаемому в качестве помощи
примеры из его ранее
полученного опыта при
решении новых задач
Решение задач на примерах не требует интенсивного взаимодействия «клиент – сервер» и может использоваться при дистанционном образовании
Представление Адаптировать содержание гипермедиастраницы под задачи пользователя
Знания хранятся в модели
пользователя. Страницы
не статичны – адаптивно
генерируются для каждого пользователя
Поддержка
совместной
работы
Может быть реализована
в двух направлениях:
формирование групп для
совместного решения
задач или нахождение
самого компетентного
обучаемого для ответа на
вопрос по теме
152
Использование знаний
системы о различных
пользователях для
формирования сбалансированной группы для
совместной работы
Окончание табл. 2.4
Технология
адаптации
Поддержка
навигации
Цель
Особенности
Оказать помощь обучаемому в ориентации
и навигации в гиперпространстве, изменяя
появление видимых
ссылок
Направляет обучаемого
косвенным образом,
разрешая выбрать следующий фрагмент или задачу
заданий для изучения
и набор присутствующих в сцене объектов. В электронных обучающих средах модель пользователя традиционно включает
в себя группы значений, характеризующих цели и задачи, которые пользователь ставит перед работой с программой, а также
значения параметров, описывающих процесс человеко-машин­
ного взаимодействия (число ошибок, количество обращений
к тому или иному разделу и др.).
Существует два основных способа построения модели пользователя в интеллектуальных системах – в процессе наблюдений за
взаимодействием пользователя с системой или в процессе тестирования пользователя.
На рис. 2.42 представлены различные типы моделей пользователя, а в табл. 2.5 – их характеристики.
Исходя из анализа виртуальных и смешанных миров, можно
сделать вывод о существенном их отличии от классических сиМП
Фиксирующая
Оверлейная
Генетический
граф
Векторная
Сетевая
Имитационная
Модификационная
Модель
ошибок
Выводимая
Модель
фальшправил
Модель
ограничений
Рис. 2.42. Классификация моделей обучаемого
153
Характеристика моделей обучаемого
Модель
Таблица 2.5
Характеристика
Фиксирующая
Набор величин, характеризующих состояние
знаний и умений обучающегося
Векторная
Набор значений элементов вектора. Каждому
изучаемому понятию/умению ставится в соответствие элемент со значением «знает/не знает» (0/1)
Сетевая
Граф, узлы которого соответствуют понятиям
и умениям, дуги – отношениям между ними
Генетический граф
Граф, узлы – факты, правила или процедуры,
описывающие возможные умения обучаемого,
дуги – отношения
Имитационная
Знания обучаемого представлены в виде структур данных, а его умения – в виде процедур
и механизма их интерпретации
Модель ошибок
Моделирование ошибочного поведения обучаемого путем замены в алгоритме одной операции на другую
Моделирование ошибочного поведения обучаемого путем замены некоторых операций из
Модель фальшправил
множества навыков на операции из множества
ошибочных операций
Модель ограничений
Множество нижних и верхних ограничений
для изучаемых понятий/умений
стем гипермедиа (табл. 2.6), что требует разработки новых методов и технологий адаптации [115].
Применительно к ВМ задача адаптивного представления состоит в том, чтобы адаптировать содержание ВМ к особенностям
пользователя (сенсорика, моторика, знания, умения, цели и др.),
а также данным об интерфейсе и вычислительной среде.
Рассмотрим подробнее адаптивную навигацию в виртуальных
мирах.
Первоначально задача навигации определялась как процесс
перемещения через виртуальную среду. В дальнейшем в это опре154
Сравнение гипермедиа и виртуальных миров
Таблица 2.6
Характеристика
Гипермедиа
Виртуальные миры
Презентационный контейнер
Страница
Трехмерное пространство
Медиаконтент
В основном текст,
а также изображения,
видео и др.
В основном 3D-модели,
а также текст, видео,
изображения и др.
Структура
Граф страниц
Граф 3D-пространства
Навигация
Посредством
гиперсвязей
Перемещение в 3Dпространстве (прогулки,
полеты) и телепортации
посредством гиперсвязей
Другие общие
пользовательские активности
Чтение страниц,
заполнение форм и др.
Манипуляции 3Dобъектами (выделение,
перемещение и др.)
деление включили процесс нахождения пути перемещения. Наконец, его расширили еще и средствами и указателями для
успешной навигации. Таким образом, навигация – процесс, при
котором люди управляют своим движением, используя окружающие указатели и искусственные средства типа карт, так, чтобы
они могли достигать своих целей без возможности потеряться
[107], [197].
Незнакомые среды, виртуальные или реальные, всегда трудны для навигации. Однако навигация в ВМ вызывает дополнительные трудности, что обусловлено:
– проблемами, связанными с определением пути в ВМ, которые могут встречаться, прежде всего, потому, что виртуальные
среды вообще представляют менее сенсорные (визуальный, слуховой, локомоторный) подробности, чем среды реального мира.
Как следствие, виртуальные среды содержат меньшее количество
пространственных указателей и сигналов перемещения, чем реальные среды;
– сложностями в определении пути в ВМ и тем, что виртуальные среды имеют тенденцию изменяться быстрее, чем среды реального мира, следовательно, для пользователей будет труднее
узнавать такие среды;
155
– концепцией навигации в ВМ, которая может иметь полностью различную физику, чем навигация в физическом мире: движения могут быть такие, которые не имеют никакого дубликата в
реальном мире. Ввод клавиатурой и мышью разрешает пользователю перемещаться и вращаться, переходить от одного местоположения к другому, взаимодействовать с объектами и вызывать
их. Пользователь также имеет возможность просмотреть мир из
различных перспектив. Как следствие, посетители виртуального
мира будут сталкиваться с ситуациями, где они не будут способны положиться на умения навигации, приобретенные в реальном
мире, поскольку знакомые виды сигналов неэффективны или несоответствующие;
– проблемами навигации, например, дезориентацией, краткой
потерей обзора, трудностями возврата к месту, посещенному ранее, или повторно находить объект, найденный прежде, которые
могут вести к неудовлетворенности, расстройству и, в конечном
счете, прерванному использованию среды.
Выделяют следующие типы навигации в зависимости от определенности и видимости цели (табл. 2.7).
Таким образом, задача адаптивной поддержки навигации
в ВМ заключается в том, чтобы помочь пользователям найти свой
путь в ВМ, в частности – в трехмерной среде с шестью степенями
свободы. Эта помощь реализуется через адаптацию процесса пеТипы навигации
Таблица 2.7
Тип навигации
Цель изначально
видима?
Цель определена?
Маневр
Да
Да
Поиск
Нет
Да
Исследование
Нет
Нет
Примечание: маневр – характеризуется перемещением в среде с удержанием
в поле зрения цели; поиск – перемещение к цели, положение которой известно,
или чтобы найти цель, положение которой не известно, в процессе движения
можно формировать знание о местоположении; исследование – перемещение,
которое не имеет никакой определенной цели, в процессе перемещения формируется знание об окружающей среде.
156
ремещения пользователя в ВМ к характеристикам пользователя (сенсорика, моторика, цели, знания, умения, положение
и ориентация в пространстве, направление и скорость перемещения и др.), а также к данным об интерфейсе и вычислительной
среде.
2.6. Виртуальные миры как системы
со структурированной неопределенностью
Создание систем автоматики и различных роботов – это
в основном эмпирика [28]. Но эмпиризм всегда определялся философией – от Платона до Гуссерля – в качестве не-философии – философской претензии не-философии, неспособности себя оправдать, оказать себе помощь в виде речи. Но эта неспособность, когда она принимается со всей решительностью, в корне оспаривает
решительность и связность логоса (философию), вместо того чтобы подчиниться его вопрошанию. Но эмпиризм «питается» воображением – сначала человек осуществляет мысленный эксперимент, потом строит машину или робота. Далее следует важная
фаза осмысления содеянного, и вот тут роль философии важна.
Философия направлена на выработку обобщенной системы взглядов на мир и на место в нем человека. Мы можем добавить – и на
выработку взглядов на место роботов в мире. В этой связи интересно рассмотреть монадологию Лейбница. Реальный мир, по
Лейбницу, состоит из психических деятельных субстанций, неделимых первоэлементов бытия – монад, которые находятся
между собой в отношении предустановленной гармонии. В силу
этой гармонии развитие каждой из них находится в соответствии
с развитием других монад и всего мира в целом. Деятельность монад состоит в смене восприятий (перцепций) и определяется индивидуальным стремлением (аппетицией) монады к новым восприятиям. Хотя вся деятельность монады исходит имманентно
из самой монады, она в то же время есть развертывание изначально заложенной в монаде индивидуальной программы. Монады
образуют восходящую иерархию сообразно тому, насколько ясно
они представляют мир. В этой иерархии особое место занимают
монады, которые способны не только к восприятию (перцепции),
но и к самосознанию, апперципции и к которым Лейбниц относил души людей. Мир физический, как считал Лейбниц, существует только как несовершенное, чувственное выражение ис157
тинного мира монад, как феномен познающего мир человека. Как
очевидно, монадология сильно перекликается с современной теорией агентов и роботов. Интересным является пересечение с философией персонализма, где на первый план выдвигается человеческая личность во всей полноте ее конкретных проявлений, в ее
неповторимой индивидуальности. Личность превращается в фундаментальную онтологическую категорию, становится основным
проявлением бытия, в котором волевая активность, деятельность
сочетается с непрерывностью существования.
Интересен факт существования первого симфонического ансамбля Моссовета, симфонического оркестра без дирижера.
Основной принцип – творческая активность каждого артиста ансамбля.
Важен введенный философом постмодернизма Жаком Деррида термин «деконструктивизм» (разбор, разнесение некой конструкции). Основная идея заключается в том, что мы имеем дело
не с реальностью, а с реальностями, которые описываются разными языками. Есть политическая реальность, экономическая
реальность, символическая, сновиденческая… И возникает такой
момент, когда языки, описывающие реальность, начинают отставать от реальности, которую представляют, скрывают, уводят от
нее. Тогда и требуется аппарат деконструкции, освобождение реальности из-под гнета ложных презентаций. Поэтому творчество
Деррида вызывало гнев у консервативной части философского истеблишмента, ведь он подрывал основы профессиональной философии. История его работ, его опытов деконструкции – череда
скандалов. Политики и масс-медия создают язык, который описывает политическую действительность. И то, что не вписывается в этот языковый мейнстрим, отвергается. Главным тезисом
становится: «Этого не надо говорить, потому что мы знаем, что
нужно говорить».
В главе 1 мы уже рассматривали лингво-комбинаторное моделирование плохо формализованных систем, для которых существует лишь описание на естественном языке и которое базируется на использовании ключевых слов, основных понятий, сложившихся в предметной области. Модель состоит из трех групп переменных – характеристик основных понятий, изменения этих
характеристик и структурированной неопределенности в эквивалентных уравнениях, которая может быть использована для
адаптации и управления. В качестве примеров рассматриваются
158
модели – виртуальные миры – атомов, города, организма и атмо­
сферы.
Число произвольных коэффициентов в структуре эквивалентных уравнений является мерой неопределенности и адаптивности. Лингво-комбинаторное моделирование заключается в том,
что в конкретной предметной области выделяются ключевые слова, которые объединяются во фразы типа (1.1), на основе которых
строятся эквивалентные системы уравнений с произвольными
коэффициентами. В частном случае они могут быть дифференциальными уравнениями, и при их исследовании может быть использован хорошо разработанный математический аппарат.
Лингво-комбинаторное моделирование включает все комбинации
и все варианты решений и является полезным эвристическим
приемом при изучении плохо формализованных систем [26]–[28].
Ниже в качестве примеров рассматриваются модели с произвольными коэффициентами.
В структуре эквивалентных уравнений систем со структурированной неопределенностью есть произвольные коэффициенты,
которые можно использовать для приспособления системы к различным изменениям, чтобы повысить точность и надежность
функционирования систем, их живучесть в потоке перемен. В качестве простого примера рассмотрим систему с коррекцией аргумента для генератора, переменные которого удовлетворяют уравнению окружности
(x)2 + (y)2 = R2.
(2.1)
После дифференцирования получим
(x)dx/dt + (y)dy/dt = 0,
(2.2)
и уравнения произвольными коэффициентами будут иметь вид
dx/dt = U1y,
(2.3.1)
dx/dt = –U1x.
(2.3.2)
Произвольный коэффициент U1 может быть использован для
коррекции генератора (1), как показано на рис. 2.43, где мы имеем два сервомеханизма и где f1 и f2 – помехи, Dx и Dy – ошибки
сервомеханизмов. Блок (2) вычисляет сигнал коррекции
159
Блок 2
U1
x
Блок 1
∆x
f1
y
f2
∆y
Рис. 2.43. Система с коррекцией аргумента
D = (y)2 – (Dх)2 – (Dу)2.
Человека, который крутит педали на кибернетическом велосипеде, можно рассматривать как генератор с коррекцией аргумента, что открывает дополнительные возможности для тестирования сенсорно-моторной системы человека. Дальнейшее развитие этого направления – тест на перемещение в виртуальном пространстве по кругу и по другим, более сложным, кривым в разном
темпе (рис. 2.44; 2.45).
В качестве другого примера рассмотрим ультраустойчивую систему.
Для уменьшения ошибок генератора мы введем новую переменную x3:
(x1)2 + (x2)2 – R2 = x3.
(2.4)
После дифференцирования мы будем иметь уравнения, где
A1 = 2.x1, A2 = 2.x2, A3 = –1, и
dx1/dt = U1.2.x2 – U2;
dx2/dt = –U1.2.x1 – U3;
(2.5)
dx3/dt = –U2.2.x1 – U3.2.x2.
Если назначить U2 = x3. x1.a, U3 = x3. x2.a, где a – коэффициент усиления, мы получим
dx1/dt = U1.x2 – x3.a.x1;
160
dx2/dt = –U1.x1 – x3.a.x2;
(2.6)
x
∆y
1
∆
ω
y
∆x
x
∆y
2
∆
∆x
y
ω
x
∆y
3
∆
y
∆x
ω
x
∆y ∆x
4
ω
∆
y
x
∆y ∆x
5
∆
ω
y
Рис. 2.44. Осциллограммы – результат моделирования системы
с коррекцией аргумента в случае одинаковых сервомеханизмов для
различных скоростей в пропорции 1:2:3:4:5, где ω – эквивалент U1
dx3/dt = –х3.a [(x1)2 + (x2)2],
где переменная х3 устойчиво будет стремиться к нулю.
Для построения трехмерного ультраустойчивого генератора
мы введем новую переменную x4:
(x1)2 + (x2)2 + (x3)2 – R2 = x4,
(2.7)
и система эквивалентных уравнений будет
161
x
∆
1
ω
y
x
∆
2
∆
ω
y
x
3
∆
ω
y
x
y
4
∆
ω
Рис. 2.45. Осциллограммы 2–4 – результат моделирования системы
с коррекцией аргумента при неодинаковых характеристиках
сервомеханизмов. Осциллограммы 1–3 – результат моделирования
системы без коррекции аргумента
dx1/dt = U1.2x2 + U2.2x3 – U3;
dx2/dt = –U1.2x1 + U4.2x3 – U5;
dx3/dt = –U2.2x1 – U4.2x2 –U6; (2.8)
dx4/dt = –U3.2x1 – U5.2x2 – U6.2x3.
Если мы назначим U3 = x4.x1.a, U5 = x4. x2.a, U6 = x4. x3.a, то
получим
dx1/dt = U1.2 x2 + U2.2 x3 – x4. x1.a;
dx2/dt = –U1.2 x1 + U4.2 x3 – x4. x2.a;
162
dx3/dt = –U2.2 x1 – U4.2 x2 – x4. x3.a;
(2.9)
dx4/dt = –x4.a.2[(x1)2 + (x2)2 + (x3)2],
где x4 будет устойчиво стремиться к нулю при различных возмущениях.
Таким образом, мы построили генератор с большими адаптационными возможностями при различных возмущениях, в том
числе и при вычислительных ошибках (рис. 2.46).
Теперь рассмотрим феномен адаптационного максимума
в жизненном цикле сложных развивающихся систем.
Биологические системы – от живой клетки до многоклеточных организмов – проходят свой цикл развития от рождения до
смерти. Социально-экономические системы – семья, предприятия, банки, города, села, регионы, страны – проходят сложный
путь развития, находясь под воздействием различных внутренних и внешних факторов. Одни предприятия и банки процветают, другие терпят крах и банкротятся, одни города и страны стабильно развиваются, другие переживают стагнацию, о чем свидетельствует мировая статистика. Все эти системы являются сложными развивающимися системами, и в жизненном цикле этих
систем проявляются закономерности, свойственные многомерным системам.
U1 U2 U4
Важной закономерностью, оказывающей большое влияние на
X1
социально-экономические систе­
мы, является феномен наличия
X2
Блок 1
адаптационного максимума, который заключается в том, что при
X3
наложении ограничений на сиX4
стему из n переменных (n > 6) число произвольных коэффициентов
в структуре эквивалентных уравБлок 2
нений, описывающих поведение
системы, сначала возрастает, доРис. 2.46. Ультраустойчивый гестигает максимума, а потом начи- нератор, где блок (1) решает пернает убывать, и соответственно вые три уравнения (2.8), блок (2)
изменяются адаптационные воз- решает уравнение (2.6), и произможности системы – сначала они вольные коэффициенты U1, U2,
U4 могут быть использованы для
растут, достигают максимума, решения других задач на многоа потом начинают убывать. Если образии, на поверхности сферы
163
наложение ограничений продолжается, то система делается
жесткой и погибает в потоке перемен окружающей среды, откуда
вытекает стратегия управления различными сложными системами – они должны управляться так, чтобы удержать их в зоне
адаптационного максимума, если мы хотим обеспечить их живучесть в потоке перемен.
Система – целостная совокупность элементов, в которой все
элементы настолько тесно связаны между собой, что она выступает по отношению к другим системам и окружающей среде как
нечто единое. Система взаимодействует со средой и использует
два механизма адаптации – настройка или самонастройка системы с помощью произвольных коэффициентов в структуре эквивалентных уравнений системы; обучение или самообучение
системы, которое заключается в наложении новых ограничений
на систему. Кроме этих механизмов адаптации, возможны и другие, такие как рост числа переменных системы, размножение,
эффективное забывание, ограничение контактов со средой, объединение систем в коллектив и др. В общем случае число произвольных коэффициентов S в структуре эквивалентных уравнений системы определяется как число сочетаний из n по m+1
и определяется формулой (1.7).
Сложная система – это система, в которой проявляется феномен адаптационного максимума, т. е. система с числом переменных больше шести. Число произвольных коэффициентов изменяется в соответствии с формулой (1.6), и это приводит к появлению
циклов в развитии систем, что иллюстрируется на рис. 1.7, где
цикл развития системы начинается в точке 1, проходит через
максимум в числе произвольных коэффициентов и заканчивается в точке 2, где должна наступить трансформация, сброс ранее
накопленных ограничений, далее начинается в точке 3 новый
цикл, опять система проходит через максимум адаптационных
возможностей, достигает точки 4, где опять происходит трансформация, и система начинает новый цикл в точке 5, и т. д. Эта
модель позволяет объяснить наличие циклов в развитии сложных биологических, социально-экономических и технических
систем.
Предложенная модель процессов самоорганизации сложных
развивающихся систем реализует закономерность наличия адаптационного максимума в жизненном цикле систем в потоке
перемен. Жизненный цикл – совокупность фаз развития, пройдя
164
через которые, система достигает зрелости и становится спо­
собной эффективно функционировать и дать начало новому поколению.
Структурная стабильность, совокупность устойчивых связей
объекта, обеспечивающих его целостность и тождественность самому себе, т. е. сохранение основных свойств при различных
внешних и внутренних воздействиях, обеспечивается адаптационными возможностями. В представленных лингво-комбинатор­
ных моделях адаптационные возможности систем определяются
числом произвольных коэффициентов в структуре эквивалентных уравнений, и наибольшая структурная стабильность достигается в зоне адаптационного максимума, который обнаруживается у различных систем с числом переменных больше шести.
Для удержания систем в зоне адаптационного максимума можно
использовать различные методы – рост числа переменных, наложение и снятие ограничений, объединение систем в коллективы.
Наличие неопределенности в структуре системы, произвольных
коэффициентов, позволяет реализовать различные механизмы
самоорганизации.
Наличие феномена адаптационного максимума в жизненном
цикле различных сложных развивающихся систем позволяет
объяснить эволюцию систем в условиях изменяющейся среды.
Феномен адаптационного максимума является основой само­
организации в природе и обществе. Структура неопределенных
коэффициентов задает матрицу картины мира, в рамках которой и разыгрываются различные события. Произвольные коэффициенты в структуре эквивалентных уравнений могут быть
и волновыми функциями, а различные системы могут рассматриваться как квантовые макрообъекты. Лингво-комбинаторное
моделирование существенно пополняет арсенал средств моделирования.
В качестве другого примера рассмотрим проблему моделирования города.
Если в качестве ключевых слов взять «население», «пассионарность», «территория», «производство», «экология и безопасность», «финансы», «внешние связи», то, в соответствии с вышеизложенной методикой, уравнение города будет
А1*Е1 + А2*Е2 + … + А7*Е7 = 0,
(2.10)
а эквивалентные уравнения будут иметь вид
165
E1 = U1*А2 + U2*А3 + U3*А4 + U4*А5 + U5*А6 + U6*А7;
E2 = –U1*А1 + U7*А3 + U8*А4 + U9*А5 + U10*А6 + U11*А7;
E3 = –U2*А1 – U7*А2 + U12*А4 + U13*А5 + U14*А6 + U15*А7;
E4 = –U3*А1 – U8*А2 – U12*А3 + U16*А5 + U17*А6 + U18*А7; (2.11)
E5 = –U4*А1 – U9*А2 – U13*А3 – U16*А4 + U19*А6 + U20*А7;
E6 = –U5*А1 – U10*А2 – U14*А3 – U17*А4 – U19*А5 + U21*А7;
E7 = –U6*A1 – U11*A2 – U15*A3 – U18*A4 – U20*A5 – U21*A6,
где А1 – характеристика населения, которая включает в себя характеристики здоровья, образования, занятости; Е1 – изменение
этой характеристики; А2 – характеристика пассионарности,
устремлений групп населения; люди обладают свободой выбора
при принятии решений, и этот выбор является важным, что оценивается путем социологического анализа; Е2 – изменение этой
характеристики; А3 – характеристика территории, включая наземные и подземные постройки, этот блок может быть геоинформационной системой; Е3 – изменение этой характеристики; А4 –
характеристика производства, включая оценку различных видов
деятельности – научной, производственной, транспортной, торговой и др.; Е4 – изменение этой характеристики; А5 – характеристика экологии и безопасности; Е5 – изменение этой характеристики; А6 – характеристика финансов, финансовых потоков
и запасов в городе; Е6 – изменение этой характеристики; А7 – характеристика внешних связей города, включая оценку входящих и выходящих потоков людей, энергии, материалов, информации, финансов; Е7 – изменение этой характеристики; U1,
U2, …, U21 – произвольные коэффициенты, которые могут быть
использованы для управления и решения различных задач на
многообразии (2.10). Эта модель используется в системах для
поддержки принятия решений городскими властями [29]. Семиблочная вербальная модель города должна быть дополнена невербальными компонентами – трехмерными изображениями города, населенного аватарами и агентами. Вербальная и невербальная части и составляют виртуальный мир города. Виртуальный мир города является основой для построения различных
других человеко-размерных миров.
166
В качестве следующего примера рассмотрим модель ментальных процессов. Обычно ментальные процессы характеризуются
ключевыми словами «восприятие», «внимание», «память», «мышление», «язык», «эмоции», «управление движениями», и тогда
структура эквивалентных уравнений будет иметь вид (2.11), где
А1 – характеристика восприятия; Е1 – изменение этой характеристики; А2 – характеристика внимания; Е2 – изменение этой характеристики; А3 – характеристика памяти; Е3 – изменение этой характеристики; А4 – характеристика мышления; Е4 – изменение
этой характеристики; А5 – характеристика языка; Е5 – изменение
этой характеристики; А6 – характеристика эмоций; Е6 – изменение этой характеристики; А7 – характеристика управления движениями; Е7 – изменение этой характеристики. Уравнения (2.11)
определяют взаимодействие между различными составляющими
ментальных процессов в рамках нашей модели. Из этой модели
вытекает необходимость в блоке управления для манипуляции
произвольными коэффициентами. Этот блок управления можно
считать аналогом высшей психической структуры – личности.
Ментальные процессы являются частью целостного организма
и основой виртуального мира каждого человека. В качестве других
ключевых слов для характеристики ментального мира человека
можно взять «зрительный анализатор», «слуховой анализатор»,
«тактильные системы», «вестибулярные системы», «воображение», «движение», «речь», «погружение» и тем самым установить
взаимодействие между этими компонентами, имея в виду характеристики этих систем при взаимодействии с окружающей средой.
В качестве следующего примера рассмотрим моделирование
организма. Организм человека – очень сложная система, которую
можно рассматривать на уровне молекул, клеток, органов. Для
лечащего врача важно рассмотрение организма, прежде всего, на
уровне органов, и при построении лингво-комбинаторной модели
мы будем исходить из общепринятого набора органов: «органы
движения», «органы пищеварения», «органы дыхания», «мочеполовые органы», «кроветворная и лимфатическая системы», «центральная нервная система», «периферийная нервная система»,
«железы внутренней секреции», «кожа и сенсорные системы»,
уравнение организма будет содержать девять переменных:
A1*E1 + A2*E2 + ... + A9*E9 = 0,
(2.12)
а структура эквивалентных уравнений будет иметь вид
167
Е1 = U1*A2 + U2*A3 + U3*A4 + U4*A5 +
+ U5*A6 + U6*A7 + U7*A8 + U8*A9;
Е2= –U1*A1 + U9*A3 + U10*A4 + U11*A5 +
+ U12*A6 + U13*A7 + U14*A8 + U15*A9;
Е3= –U2*A1 – U9*A2 + U16*A4 + U17*A5 +
+ U18*A6 + U19*A7 + U20*A8 + U21*A9;
Е4 = –U3*A1 – U10*A2 – U16*A3 + U22*A5 +
+ U23*A6 + U24*A7 + U25*A8 + U26*A9;
Е5 = –U4*A1 – U11*A2 – U17*A3 – U22*A4 +
+ U27*A6 + U28*A7 + U29*A8 + U30*A9;
Е6 = –U5*A1 – U12*A2 – U18*A3 – U23*A4 –
– U27*A5 + U31*A7 + U32*A8 + U33*A9;
Е7 = –U6*A1 – U13*A2 – U19*A3 – U24*A4 –
– U28*A5 – U31*A6 + U34*A8 + U35*A9;
Е8 = –U7*A1 – U14*A2 – U20*A3 – U25*A4 –
– U29*A5 – U32*A6 – U34*A7 + U36*A9;
Е9 = –U8*A1 – U15*A2 – U21*A3 – U26*A4 –
– U30*A5 – U33*A6 – U35*A7 – U36*A8,
где U1, U2, ..., U36 – произвольные коэффициенты, которые могут быть использованы для настройки модели; А1 – характеристика органов движения; Е1 – изменение этой характеристики
и т. д. Эта модель используется в страховой медицине. В настоящее время формируются виртуальные миры здравоохранения,
которые охватывают профилактику здоровья и многочисленные
поликлиники и больницы.
Лингво-комбинаторный подход можно использовать и при моделировании игр, таких как шахматы и футбол. Рассмотрим простую футбольную ситуацию – два игрока и мяч, что можно описать как
игрок 1 + игрок 2 + мяч.
Моделью этого выражения будет уравнение (1.3), где А1 – характеристика игрока 1; Е1 – изменение этой характеристики;
А2 – характеристика игрока 2; Е2 – изменение этой характеристики; А3 – характеристика мяча; Е3 – изменение этой характе168
ристики. Соответствующая эквивалентная система уравнений
будет иметь вид (1.4), где, манипулируя произвольными коэффициентами, можно управлять поведением игроков и мяча. Если
ввести новые переменные – А4 – характеристику расстояния
между игроком 1 и мячом, А5 – характеристику расстояния между игроком 2 и мячом и их изменения соответственно, то тогда
вместо уравнения (1.4) получим уравнение
А1*Е1 + А2*Е2 + А3*Е3 + А4*Е4 + А5*Е5 = 0,
разрешив которое относительно изменений Е, получим систему
уравнений
Е1 = U1*A2 + U2*A3 + U3*A4 + U4*A5;
Е2 = – U1*A1 + U5*A3 + U6*A4 + U7*A5;
Е3 = – U2*A1 – U5*A2 + U8*A4 + U9*A5;
Е4 = – U3*A1 – U6*A2 – U8*A3 + U10*A5;
Е5 = – U4*A1 – U7*A2 – U9*A3 – U10*A4,
где U1, …, U10 – произвольные коэффициенты, манипулируя которыми, можно обеспечить сближение игроков с мячом. Аналогичным образом моделируется поведение двух команд по 11
игроков в каждой. Этот подход был использован при моделировании поведения игроков-роботов [28]. Вербальная модель игры
в футбол должна быть дополнена невербальной частью на основе
трехмерного интерактивного изображения поля с игроками и соответствующим звуковым оформлением для того, чтобы сформировать полноценный виртуальный мир футбола.
Лингво-комбинаторное моделирование – это универсальный
метод моделирования плохо формализованных систем в самых
различных областях науки, техники, в различных областях человеческой деятельности. В каждом конкретном применении этого метода необходимо осуществлять верификацию модели, проверять ее на соответствие поведению реального объекта. Наличие
произвольных коэффициентов и возможность расширения модели, возможность включения новых переменных, новых ключевых слов позволяют настраивать модель для моделирования
сложных реальных объектов.
На рис. 1.1 было показано взаимодействие трех миров – физического мира, ментального мира и платоновского математическо169
го мира. Компьютерные виртуальные миры – это часть платоновского математического мира, они могут существовать в физическом компьютере при условии, что отражают особенности физического мира. Компьютерные виртуальные миры строятся
человеком и отражают часть ментального мира человека. Все три
мира – это реальность, которая существует на различных уровнях с разной степенью неопределенности.
Выделение виртуальных миров в качестве отдельного объекта
для изучения, что сделано в настоящей монографии, свидетельствует о новом уровне развития информационных технологий.
Важная задача – создание самоорганизующихся виртуальных
миров.
170
ГЛАВА 3. ВОПРОСЫ РЕАЛИЗАЦИИ
И ПРИМЕНЕНИЯ ВИРТУАЛЬНЫХ МИРОВ
3.1. Авторские платформы
Рассмотрим платформы для создания и поддержки виртуальных миров, которые используются в лаборатории компьютерной
графики и виртуальной реальности Санкт-Петербургского государственного университета аэрокосмического приборостроения,
созданной на базе кафедры вычислительных систем и сетей
и научно-исследовательских отделов университета – Института
компьютерного интерактивного моделирования и Международного института кибернетики и артоники [25].
К особенностям программно-аппаратных средств, составляющих платформу ВМ, можно отнести поддержку следующих характеристик:
1) базового и продвинутого интерфейса пользователя. Исходя
из концепции поэтапного внедрения технологии ВМ в научнообразовательную деятельность, опираясь на сложившуюся
программно-аппаратную инфраструктуру и финансовые ресурсы, определен следующий базовый интерфейс ВМ:
– уровень погружения – трехмерный аудиовизуальный мир
с шестью степенями свободы через экран стандартного монитора
(или проектора);
– вид интерактивности – передвижение в трехмерном мире,
взаимодействие с объектами, реагирование на воздействия посредством клавиатуры и мыши.
«Неестественность» подобных средств взаимодействия с ВМ
очевидна. Однако такой подход позволяет начать работу с ВМ,
приобрести опыт их разработки и применения, а в перспективе,
с учетом достигнутого уровня технологии и имеющихся ресурсов, постепенно перейти к «продвинутому» интерфейсу, позволяющему увеличить уровни погружения и интерактивности (без изменения внутренних форматов) за счет усовершенствования моделей и подключения устройств типа персонального дисплея,
сенсорных перчаток, генерации запахов и вкуса, создания кинестетических ощущений, активно использующих сенсорику и моторику человека симуляторов (авто-, авиа-, вело- и др.) и т. п.;
2) распределенных вычислений на кластерах персональных
компьютеров (ПК-кластеры); каждый ПК в кластере обеспечива171
ет представление (рендеринг) одной из камер сцены, а необходимые для синхронизации параметры определяются разработчиком приложения, что дает большую гибкость и уменьшает стоимость с использованием стандартных аппаратных компонентов
ПК, обеспечивает высокое качество представления;
3) режима программной симуляции при отсутствии ПКкластера, что позволяет существенно снизить стоимость разработки;
4) стандарта VRPN для быстрого подключения VR-перифе­
рийных устройств;
5) многоэкранных конфигураций на основе нескольких методов синхронизации для соединенных экранов;
6) различных средств доставки материала пользователю –
компакт-диски, Internet и смешанное;
7) прямого манипулирования данными;
8) работы в реальном времени;
9) объектов и автономных персонажей с интеллектуальным
поведением;
10) моделирования поведения с учетом физических законов
реального мира;
11) однопользовательского, группового (один экран – не­
сколько пользователей), многопользовательского (географически распределенные пользователи) и совместного режимов
работы. Каждый пользователь в ВМ, как правило, представля­
ется персонажем (аватаром). В многопользовательских ВМ
его видят другие пользователи. Приложение может включать также автономных аватаров с заданным поведением, на­
пример, экскурсовод по приложению с речевыми возможностями распознавания, которые будут использоваться при ответе
на произнесенные посетителями ключевые слова. Взаимодействия «пользователь – пользователь», «пользователь – автономный аватар» и «автономный аватар – автономный аватар» про­
исходят на основе визуальной (пользователи видят аватаров, которые представляют других пользователей), голосовой (поль­
зователи могут переговариваться друг с другом), текстовой
(поддерживается ввод текста, который отображается над головой аватара и виден всем участникам) и невербальной (пользо­
ватель управляет ходьбой, бегом, различными телодвижениями, жестами и мимикой представляющего его аватара) коммуникации.
172
В лаборатории используется следующее специализированное оборудование: шлем I-Visor DH-4400VPD (Stereo) с наушниками, трекер Intersense InertiaCube2, перчатка данных 5DT Data
Glove 5, беспроводные активные стереоочки, кибернетический
велосипед.
На рис. 3.1–3.8 приведены фотографии используемых
устройств.
В качестве основных инструментальных средств создания виртуальных миров используются:
1) Virtools (инструментарий Dev, Behavioral Server, Multiuser
Pack, VR Pack, Physics Pack, Artifical Intelligence Pack), MS Voice
Рис. 3.1. Общий вид кибервело без
силовой обратной связи
Рис. 3.2. Общий вид кибервело
Рис. 3.3. Общий вид конструкции
кибервело
Рис. 3.4. Элемент силовой
обратной связи
173
Рис. 3.5. Кибервело и вид сцены
Рис. 3.6. Многоэкранная система
Рис. 3.7. Кибернетическая
перчатка
Рис. 3.8. Стереоочки
Communication (для MU) для высокореалистичных приложений
реального времени;
2) VRML/X3D (инструментарий ParallelGraphics – ISB, ISA,
ICA, VrmlPad, Cortona SDK) для Internet-приложений;
3) SecondLife.
Программная платформа Virtools
Программное обеспечение компании Virtools является инструментарием для создания интерактивных виртуальных сред для
различных задач [49], [50].
Virtools – это инструмент нового поколения, с помощью которого можно создавать сложные 3D-приложения в короткие сроки
без глубоких познаний в программировании.
Функциональность Virtools:
− поддержка практически всех возможностей DX9/GL2;
− мультиплатформенность (Windows, Mac, Xbox, PSP);
− реалистичная физика HAVOK;
− спецэффекты (шейдеры, частицы и т. д.);
174
− многофункциональный сетевой модуль;
− модуль искусственного интеллекта;
− широкие возможности в области виртуальной реальности;
− 3D-звук;
− экспортеры для популярных программ 3D-моделирования
и проектирования;
− Virtools 3d Life Player – web-проигрыватель нового поко­
ления.
В распоряжении разработчиков имеется множество инструментов Virtools, значительно сокращающих сроки разработки:
− визуальный редактор скриптов – позволяет создавать программы не с помощью текста, а с помощью специальных блоков,
что значительно упрощает и ускоряет процесс программирования;
− редактор VSL-скриптов – по синтаксису и простоте является
аналогом C#. Может использоваться совместно с визуальными
скриптами;
− просмотр и отладка приложений в реальном времени – любое изменение можно сразу увидеть на экране, без надобности
компилировать программу каждый раз;
− редактор уровней – позволяет изменять параметры 3Dобъектов в реальном времени с помощью мышки;
− менеджер объектов, который упорядочивает существующие
объекты, сцены, скрипты и уровни. Представляет собой иерархию различных объектов, разделенных на группы;
− редактор материалов;
− менеджер иерархий – позволяет установить зависимости
объектов друг от друга;
− редактор шейдеров (HLSL/CG);
− менеджер атрибутов – позволяет назначить те или иные
атрибуты объектам (отображение теней, столкновения, различные эффекты и т. д.);
− контент-менеджер – объединяет ресурсы, используемые
в приложении, в единый пакет и распределяет их по группам.
Программный пакет Virtools Software Suite имеет следующий
состав:
1) Virtools Capture – представляет собой набор модулей и функций для конвертации различные форматов представления 3D
(CAD, 3D MAX и т. д.) в формат Virtools, что позволяет импортировать данные из различных пакетов разработки, таких как 3D
MAX и т. д.;
175
2) Virtools Create (Give Life):
– Virtools 4.0 (Dev) – модуль создания и управления 3Dвиртуальными средами, является основным программным модулем Virtools Software Suite. В состав модуля входит Virtools
Behavioral Engine и графический интерфейс пользователя для
программирования и проектирования виртуальных сред;
– Virtools Physics Library – модуль библиотеки физических
эффектов. Позволяет разработчику легко и быстро использовать
различные физические законы для виртуальных объектов при
их взаимодействии в виртуальной среде. Например, это такие эффекты, как гравитация, масса, движение, эластичность, столкновения объектов, движение в жидких средах, электромагнитные
поля, движение автомобилей и т. д.;
– Virtools AI Library – является модулем искусственного интеллекта, который позволяет наделять объекты виртуальной среды качествами самостоятельного выбора и действий на основе
автономного принятия решения (искусственный интеллект), создавать поведенческие модели объектов и т. д.;
– Virtools VR Library – модуль специально предназначен для
использования виртуальных сред, созданных в среде разработки
Virtools Dev версии 4.0 в системах виртуальной реальности. Модуль позволяет работать с различными устройствами VR, такими
как шлемы виртуальной реальности, перчатки VR и другие
устройств обратной связи, трекеры и т. д.;
– Virtools Multiuser Server – модуль для разработки и поддержки многопользовательских приложений;
3) Deploy/Experience (Publish) – развертывание/опыт (публикация):
– Virtools Multiuser Publishing Server – модуль публикации
виртуальных сред в Internet. Позволяет публиковать в Web все
интерактивные миры, созданные с помощью Virtools Software
Suite, что обеспечивает большую аудиторию охвата. Для просмот­
ра в Web требуется наличие Virtools Life Player (бесплатно скачиваемый модуль);
– Virtools Web (Life) Player – бесплатно скачиваемый модульклиент, который позволяет использовать стандартные Internetбраузеры для просмотра 3D-виртуальных сред;
– VR Publisher – модуль, позволяющий осуществлять работу
виртуальных сред в кластерных и многоканальных системах
виртуальной реальности. Поддерживает работу большого коли176
чества кластеров и управляющей станции (master host), позволяет осуществлять синхронный вывод 3D на большое количество
различных экранов;
– 3D Office Player/3D XE Player – модули, позволяющие использовать 3D-виртуальные среды для корпоративных целей,
удаленного присутствия, создания 3D-киосков и т. д.;
– Offline/CD/SKU – модуль создания лицензионных приложений, игр и т. д. для платформ PC, MAC и игровой консоли
Xbox™.
Программное обеспечение Virtools занимает одно из лидирующих мест в области создания виртуальных сред для широкого
круга задач: симуляторы продуктов и товаров, эргономическое
тестирование и виртуальное прототипирование, сценарное моделирование и планирование, маркетинг и реклама, научные и образовательные приложения и т. д. Среди клиентов компании, такие лидеры своих сегментов, как France Telecom, l’Oréal, Matsushita, Procter & Gamble, PSA Peugeot Citroen, Renault, Sony Computer Entertainment, Ubisoft and Warner Bros Online.
Программная платформа VRML
VRML (Virtual Reality Modeling Language – язык моделирования виртуальной реальности) – стандартный формат файлов для
демонстрации трехмерной интерактивной векторной графики,
используемой в Internet. VRML-файлы обычно называются мирами [9], [217]. Большинство программ трехмерного моделирования могут сохранять объекты и сцены в формате VRML.
Первая версия VRML была выпущена в ноябре 1994 г. Эта версия была основана на API и файловом формате программной компоненты Open Inventor, изначально разработанной в SGI. Текущая и функционально завершенная версия – VRML97 (ISO/IEC
14772-1:1997).
Хотя VRML еще продолжает использоваться в некоторых областях, особенно в образовательной и исследовательской среде, а также в качестве файлового формата для обмена 3D-моделями, можно сказать, что он вытеснен форматом X3D – Extensible 3D [217].
X3D является свободно распространяемым открытым форматом файлов для представления и обмена 3D-сценами и объектами
с использованием XML. Этот ратифицированный ISO стандарт
(ISO/IEC 19775-1) представляет собой систему хранения, поиска
177
и воспроизведения графики реального времени, встроенной
в приложения, для поддержки широкого круга пользователей
и областей применения.
Возможности X3D:
− 3D-графика и программируемые шейдеры – полигональная
геометрия, параметрическая геометрия, иерархические преобразования, освещение, материалы, картирование текстур, пиксельные и вершинные шейдеры, аппаратное ускорение;
− 2D-графика – поверхностный текст, двумерная векторная
графика, 2D/3D-композиции;
− данные САПР – перевод данных из САПР в открытый формат для публикации и интерактивных приложений;
− анимация – таймеры и интерполяторы для управления непрерывной анимацией, анимация гуманоидов, морфинг;
− пространственное аудио и видео – источники звука и видео
наносятся на карту геометрии в сцене;
− взаимодействие с пользователем – захват и перетаскивание
при помощи мыши, клавиатурный ввод;
− навигация – камеры, перемещение пользователя по 3Dсцене, определение столкновений, близости и видимости;
− объекты, определяемые пользователем, – возможность расширять встроенную в браузер функциональность путем создания
пользовательских типов данных;
− сценарии – возможность динамически изменять сцену при
помощи языков программирования и сценариев;
− работа в сети – возможность составлять X3D-сцену из расположенных в сети частей, а также связывать гиперссылками
объекты из разных сцен или частей, расположенных WWW;
− физическая симуляция и коммуникация в реальном времени: анимация гуманоидов, геопространственные наборы данных,
интеграция с протоколами распределенной интерактивной симуляции.
Программная платформа SecondLife
SecondLife – это многопользовательский виртуальный мир,
разработанный и запущенный в 2003 г. компанией Linden
Lab [10].
«Мир» SecondLife поддерживается сеткой серверов. Владельцы аккаунтов получают возможность выбрать наиболее приемле178
мый для них способ виртуального существования – строительство, покупка и продажа виртуальной земли, создание виртуальных предметов искусства, создание виртуальных товаров, общение в чате или голосом, путешествия по многочисленным
примечательным местам виртуального мира и т. п.
В SecondLife сами жители создают окружающий их контент:
одежду, дома, автомобили и многое другое. Жители (резиденты)
сами выбирают и модифицируют (или покупают готовый у других
резидентов) свой внешний вид в SecondLife – вид своего аватара.
В SecondLife есть внутренняя валюта под названием Linden
Dollar, которую можно получить, обменяв на настоящие деньги;
предусмотрена также обратная конвертация, что создает возможность организации в SecondLife вполне реальных бизнес-схем.
Внести деньги в SL можно с помощью кредитной карты, PayPal,
WebMoney, Яндекс-Денег.
Число зарегистрированных пользователей по состоянию на
октябрь 2008 г. достигло 15 миллионов и продолжает расти. Одновременно в мире SecondLife находятся в среднем около 47 тысяч
резидентов.
Многие университеты и компании используют SecondLife для
представления своих образовательных программ и обучения,
включая Гарвардский и Оксфордский университеты. Например,
SecondLife используется как место для обучения иностранным
языкам (SecondLife для тинейджеров).
Основные этапы создания виртуальных миров
Создание ВМ включает следующие основные этапы:
1) замысел;
2) создание цифровых объектов;
3) создание цифровых персонажей;
4) создание (сборка) интерактивной иммерсивной виртуальной
среды;
5) публикация ВМ для расширенного развертывания;
6) доставка контента конечному пользователю.
Рассмотрим основные особенности каждого этапа.
1. Замысел ВМ – что предлагается, что это даст, чем отличается, как реализуется?
2. Создание цифровых объектов – текст, фото, видео, речь, музыка, MIDI-музыка, 2/3D-графика и анимация.
179
3. На этапе создания цифровых персонажей разрабатываются,
как правило, персонажи (аватары) двух типов:
− представляющие пользователей,
− автономные, в том числе с интеллектуальным поведением.
4. Этап создания интерактивной иммерсивной виртуальной
среды включает:
− сборку цифровых объектов и персонажей;
− добавление интерактивности и реалистичности (физические
законы, спецэффекты, искусственный интеллект);
− создание иммерсивных представлений;
− создание многопользовательских приложений;
− разработку доступа к базам данных, в том числе к распределенным в случае необходимости.
5. Этап публикации ВМ для расширенного развертывания
включает:
− разработку приложения для распределения контента на кластерах ПК, например, для многоэкранных систем отображения;
СОЗДАНИЕ
Авторские средства
для создания
виртуальных миров
Авторские средства
– �создание компози
ции;
–�добавление спецэф
фектов;
–�интегрирование
автономных персона
жей;
–�создание иммерсив
ных представлений;
–�создание многополь
зовательских приложе
ний;
–�реализация доступа
к базам данных;
ПУБЛИКАЦИЯ
Средства публикации
миров расширенного
развертывания
(с использованием
спецоборудования)
Приложение для
распределения кон
тента на кластерах
ПК и для управления
VRустройствами
Многопользователь
ский сервер,
представляющий:
– компоненты для
создания общедо
ступных приложе
ний;
– компоненты для
Web Player;
– полноценную пу
бликаци. (неограни
ченное число соеди
нений, Internet, LAN)
ДОСТАВКА
Доставка
контента конечному
пользователю
Стандартная
доставка
–�Web Player;
–�Immersive Player;
–�Xbox Player
Заказная доставка
– расширенный Web
Player;
– заказной Player
Рис. 3.9. Взаимосвязь этапов разработки приложения
180
181
Используемое
оборудование
Грани
Вершины
Текстуры
(кол-во)
Текстуры
(объем видеопамяти, Мб)
Multiuser
Язык (рус./
англ.)
Компакт-диск
Сайт (рус./
англ.)
Платформа
Характе­
ристика
62
+ + / + + –
–
+ / + + virtual.
aanet.ru
–
323
279
Пер­
чатка
–
132913
294171
Virtools
РКИ
VRML/
X3D
3420
42158
ВМУ
+ + / + + 45
221
108183
169899
Virtools
–/ + –
64
118
80203
146031
Virtools
Площадь
Европы
Приложения
Пано­
рама
Дельфы
Св.
Земля
+ /–
–
79
25
219882
137718
+ /–
–
162Мб
182
87988
106573
+ /–
–
128Мб
345
71152
116073
Эл.
киоск
–
+ + /–
–
215Мб
225
171140
188082
Virtools Virtools Virtools Virtools
Лечение
фобий
Таблица 3.1
+ –
+ + europesquare.
–
–
–
–
–
spb.ru
Настольные, носимые (шлем + трекер) и многоэкранные монои стереовидеосистемы
Вело
с силоЭл.
вой
–
–
–
киоск
обратной
связью
+ + / + + 67
204
25551
31949
Virtools
Кибер­
вело
Битва за
Ленинград
Характеристики некоторых разработанных приложений
−  управление специализированными устройствами ввода/вывода – шлемы, перчатки и т. п.;
− создание общедоступных (многопользовательских) приложений с использованием многопользовательского сервера.
6. Доставка контента конечному пользователю:
− стандартная – осуществляется при помощи базовых или продвинутых средств пользовательского интерфейса;
− специализированная – по индивидуальному заказу пользователя.
Взаимосвязь этапов разработки приложения на платформе
Virtools показана на рис. 3.9.
Рассмотрим некоторые приложения, разработанные на основе
технологии виртуальных миров, основные характеристики которых приведены в табл. 3.1.
3.2. Электронное образование
3.2.1. Виртуальный мир университетов Санкт-Петербурга
Цели проекта – представление высших учебных заведений
Санкт-Петербурга и их образовательных и научных ресурсов с использованием технологии виртуальных миров на платформе
vrml/x3d [25].
Начало реализации проекта было приурочено к празднованию
300-летнего юбилея города, она осуществлялась ГУАП в кооперации с рядом ведущих университетов Санкт-Петербурга – ГУ,
ГИТМО, ГЭТУ, ГУТД, ГПУ, РГГМУ, при участии Совета ректоров
и Комитета по науке и высшей школе Санкт-Петербурга. Финансовую поддержку оказал Комитет по подготовке и проведению
празднования 300-летия Санкт-Петербурга.
Проект носит открытый и некоммерческий характер, является экспериментальной площадкой для освоения и использования
интерактивных виртуальных сред с погружением для науки
и образования. Такой подход позволяет заинтересованным университетам с минимальной начальной квалификацией сотрудников участвовать в проекте, одновременно обучаться и строить
свое представительство при помощи продвинутых участников
с постепенным самостоятельным доведением его до требуемого
качества.
182
Текущие результаты:
1) интерактивная карта Санкт-Петербурга с обозначением местоположения университетов-участников, обеспечивающая доступ к ресурсам университетов;
2) виртуальные представительства университетов – здания
с прилегающей территорией и значимые помещения;
3) исторические справки об университетах, зданиях, помещениях и ректорах;
4) историко-тематические приложения:
– «Выдающиеся ученые Санкт-Петербурга» – картинная галерея в коридоре Петровских Коллегий (СПГУ);
– «Зенитно-ракетный комплекс С-300, беспилотные летательные аппараты» (ГУАП);
– «М. Кошкин – конструктор танка Т-34» (СПГПУ);
– выставка военной формы времен Великой Отечественной вой­
ны (СПГУТД);
– модель разработанного ЛОМО большого телескопа, Федеральная университетская компьютерная сеть России RUNNet
(СПГУИТМО);
5) примеры электронных образовательных ресурсов:
– электронный справочник «Основы VRML» (ГУАП);
– демонстрационная версия электронного учебника по начертательной геометрии (СПГУИТМО);
Рис. 3.10. Условная карта Санкт-Петербурга
183
а
б
Рис. 3.11. Виды СПГУ: а – фасад; б – картинная галерея
а
б
Рис. 3.12. Виды ГУАП: а – фасад; б – интерьер
– виртуальная лабораторная установка по исследованию закона Малюса и прохождению поляризованного света через фазовую
пластинку (СПГУИТМО);
6) примеры студенческих работ.
Режим работы – свободный доступ к элементам приложений
с получением необходимой информации.
Результаты представлены на сайте virtual.aanet.ru. Характеристика приложения представлена в табл. 3.1. Примеры скриншотов приведены на рис. 3.10–3.12.
Перспективы:
− включение в виртуальную среду новых университетов;
− наращивание образовательных и научных электронных ресурсов для индивидуальной и групповой работы участниками сообщества;
− расширение виртуального представительства сообщества
в международных виртуальных мирах (технологических, научных и образовательных).
184
3.2.2. Инновационные технологии образования
на примере преподавания русского языка как иностранного
По мере развития наших знаний об окружающем мире, в процессе познания меняются наши взгляды и на обучение в условиях новой мировой экономики.
Нужен переход от традиционного преподавания, в центре которого находится преподаватель, к модели учебного процесса,
ориентированной на активную роль учащегося, для более эффективного приобретения учащимися необходимых новых знаний
и умений. В табл. 3.2 показана трансформация свойств учебной
среды в процессе такого перехода.
Смена ориентиров позволит создавать учебные среды, более
насыщенные мотивационными факторами. При этом предполагается изменение ролей преподавателей и учащихся в учебном
процессе, что показано в табл. 3.3.
Изменение свойств учебной среды [33]
Показатель
Работа в классе
Роль преподавателя
Деятельность,
которой уделяется
особое внимание
Представление
о процессе познания
Процедуры контроля
успешности обучения
Аттестация
Технологии
Учебная среда,
ориентированная на
преподавателя
Доминирует преподаватель, применяющий дидактические
модели
Преподаватель
сообщает факты: он
всегда все знает
Заучивание фактов
Таблица 3.2
Учебная среда, ориентированная на учащегося
Учащиеся активно
работают в рамках
интерактивных моделей
Накопление фактов
Преподаватель помогает
учиться: иногда учится
вместе с классом
Формирование смысловых связей, эвристическая деятельность
Трансформация фактов
Сравнение
с эталонами
Повышение качества
понимания
С помощью тестов
С помощью критериев
компетентности, по
схеме «портфолио»
Служат для общения,
доступа к информации,
совместной работы,
презентаций
Используются для
закрепления знаний
и умений
185
Таблица 3.3
Изменение ролей учащегося и преподавателя в системе обучения,
ориентированной на учащегося [33]
Прежние роль и функции
Новые роль и функции
Преподаватель
Ретранслятор знаний, владелец источников информации,
эксперт в изучаемой области
и человек, знающий ответы на
все вопросы
Контроль всех аспектов учебного процесса
«Мастер», работающий с «подмастерьями», инструктор, наставник, помогающий ориентироваться в знаниях
и получающий новые знания вместе
с учащимися
Предоставление учащимся разно­
образных возможностей учиться с одновременным повышением их ответственности за результаты учебы
Учащийся
Пассивный получатель инфор- Активный участник учебного процесса
мации
В учебной среде, которую можно построить исходя из таких
предпосылок, учащийся взаимодействует с другими учащимися,
преподавателем, информационными ресурсами и технологиями.
Он занимается выполнением аутентичных заданий в аутентичных условиях с помощью аутентичных инструментов; аттестация
происходит на основе аутентичных результатов его работы. Эта
среда позволяет учащемуся работать с учителем по моделям наставничества. В ней создается благоприятная обстановка для сотрудничества учащихся, для обсуждения ими различных точек
зрения на исследуемую проблему. Учащийся получает возможность размышлять о том, как он учится (рефлексия).
Новые взгляды на процесс обучения, обуславливающие переход к модели учебного процесса, ориентированной на учащегося,
возникли на основе исследований в области когнитивного обучения и под влиянием некоторых теорий, которые определили наши
представления о характере и содержании обучения (социокультурная теория развития Выготского, теория конструктивистских
моделей учебного процесса, ситуативные модели процессов познания, модель учебного процесса «мастер – подмастерье», рефлексивное обучение и др.). Все эти теории строятся на одних и тех
же исходных предпосылках: учащиеся являются активными
субъектами процессов целенаправленного поиска и создания знаний в рамках значимого для них контекста [33].
186
Одна из наиболее распространенных теоретических схем –
конструктивистские модели обучения, которые основаны на
предположении о том, что учащиеся являются активными субъектами деятельности, формирующими собственные системы знания путем внесения в них новой информации. В рамках данного
подхода учащиеся создают свои знания, проверяя различные
идеи и подходы; при этом они опираются на ранее полученные
знания и опыт, которые применяют к новым задачам и новым ситуациям. Такой подход предполагает развитие учебных сообществ, состоящих из учащихся, преподавателей и экспертов, занятых решением аутентичных задач, тесно связанных с деятельностью в реальном мире. Эти модели предоставляют учащимся
возможности анализировать различные точки зрения на исследуемую проблему в ходе дискуссий и споров, обсудить смысл тех
или иных вопросов и вместе с другими выработать общее понимание проблемы.
Одним из примеров использования новых образовательных
концепций является экспериментальный виртуальный мир
для преподавания русского языка как иностранного, разработанный специалистами ГУАП и СПГУ (Филологический факультет) [25].
Приложение предназначено для повышения языковой ком­
петентности обучаемых за счет участия их в ориентированных на изучение языка игровых ситуациях, представленных
в форме виртуальных миров на платформе Virtools, а также
для демонстрации возможностей альтернативных систем обра­
зования и развития новых форм сетевого общения, обучения
и работы.
В основу положен подготовленный группой филологов СПГУ
под руководством Е. Е. Юркова материал, представляющий собой
ряд уроков, каждый из которых включает несколько учебных ситуаций.
Текущая реализация подсистемы моделирования включает
следующий набор интерактивных трехмерных моделей и персонажей:
− СПГУ «Здание Двенадцати коллегий» – здания Двенадцати
коллегий, Ректорского флигеля и Филологического факультета;
прилегающая территория, включая двор; помещения (связанные) – входная дверь + лестница (включая вестибюль и холлы на
2-м и 3-м этажах) + коридор + библиотека + музей;
187
− СПГУ «Спецфакультет» – здание; прилегающая территория;
помещения (несвязанные) – (входная дверь + вестибюль) + деканат + центр тестирования с учебной аудиторий;
− аватары с анимациями (ходьба, бег, жесты руками, мимика
лица и др.) – Русик, Паша, Даша, которые могут представлять
пользователя и управляться им или быть автономными с заданным поведением.
На базе каждой модели реализованы следующие ситуации:
− СПГУ «Здание Двенадцати коллегий» – «На экскурсии по
университету», «В библиотеке», «В музее университета»;
− СПГУ «Спецфакультет» – «В деканате», «В аудитории».
Режимы работы:
1) off-line – каждая ситуация представлена следующими частями:
− информационной – в виде аудиовизуального ролика, демонстрирующего, как правило, диалог персонажей на заданную тему
внутри модели университета;
− практической – свободное перемещение по модели;
− контролирующей – пользователь, управляя аватаром, отвечает на контрольные вопросы;
2) on-line – предлагаются следующие сервисы, дополняющие
off-line-часть курса:
− многопользовательский форум – пользователям представляется возможность принять участие в обсуждении заданной темы.
Каждому пользователю предлагается выбрать аватара, который
будет представлять его в заданной модели университета и обсуждать предложенную тему с другими аватарами, представляющими других пользователей, в реальном времени с использованием
визуальной, текстовой, голосовой и невербальной коммуникаций. Среди пользователей могут быть как преподаватели, так
и студенты;
− многопользовательские игры, ориентированные на изучение
языка – пользователи, выбрав одного из аватаров (Русик, Паша,
Даша), могут принять участие в различных соревнованиях
и играх, например, соревнования по бегу, игра в прятки, соревнования велосипедистов и др.;
− многопользовательская встреча на произвольную тему – выбирается модель университета, которая используется как место
встречи пользователей для обсуждения произвольных тем и организации различных игр.
188
Характеристика приложения представлена в табл. 3.1. Некоторые скриншоты приложения показаны на рис. 3.13–3.19.
Использование современных информационных и коммуникационных технологий (в частности, виртуальных миров) в обучении
русскому языку как иностранному ведет к становлению новейшей
Рис. 3.13. «У памятника»
Рис. 3.14. «У главного входа»
Рис. 3.15. «В вестибюле»
Рис. 3.16. «В библиотеке»
Рис. 3.17. «В деканате»
Рис. 3.18. «В деканате»
с контролем знаний
189
образовательной системы по русскому языку, требующей выработки новой методологической
базы, в том числе создания webметодик с учетом социокультурной, профессиональной, возрастной, психологической специфики
пользователей.
Методическое обоснование
использования технологий вирРис. 3.19.
Многопользовательский режим туальных миров [85]. Данные
технологии способны создавать
ощущение присутствия человека в определенной среде. Адекватная виртуальная среда обучения позволяет исключить из когнитивного процесса стадию мысленного достраивания воспринимаемой картины, что приводит к ускорению процесса восприятия
материала, в том числе и невербальной коммуникации. Электронная виртуальная среда обучения отвечает основным требованиям
к современному учебному процессу, а именно: позволяет реализовывать коммуникативное поведение преподавателю, максимально приближает учебную ситуацию к реальной коммуникации,
позволяет вести учет индивидуальных особенностей учащихся,
обеспечивает ситуативность процесса обучения, которая рассматривается и как способ стимулирования речевой деятельности,
и как условие развития умений.
Виртуальный мир дает возможность вести обучение не только
репродуктивным, но и продуктивным видам речевой деятельности посредством сети Internet с индивидуальным и групповым
погружением, при этом у пользователей возникает возможность
взаимодействовать с объектами виртуального мира: предметами
и персонажами, осуществлять общение между собой. При использовании технологии виртуальных миров принцип наглядности как один из основных в методике преподавания реализован
с максимальным приближением к действительности. Свобода
передвижения и общения в виртуальном мире создает эффект погружения в языковую среду, что позволяет вести полноценный
процесс обучения.
В процессе обучения возможно активное использование сенсорики и моторики человека, целостное сенсорное восприятие материала, непосредственное формирование опыта, в том числе при
190
совместной работе, что позволит обучаемым практически полностью погрузиться в языковую среду и создаст эффект физического присутствия в мире, населенном персонажами – носителями
русского языка.
Использование виртуального пространства приемлемо как
при обычном обучении в аудитории, так и при дистанционном
обучении. Следует отметить, что при этом меняются формы и способы получения образовательной информации, а также соотношение функций учащегося и преподавателя. При дистанционном
обучении осуществляется переход от традиционной схемы «преподаватель – студент – учебник» к новой схеме «студент – учебник – преподаватель». Преподаватель, ведущий обучение посредством электронной обучающей среды (виртуального многопользовательского мира), должен активно использовать основные
принципы коммуникативного метода обучения речевой деятельности: принцип речемыслительной активности, индивидуализации обучения, принцип функциональности, принцип ситуативности, принцип новизны; придерживаться их единства и взаимо­
обусловленности.
Внедрение технологии виртуальных миров в обучение русскому языку как иностранному (РКИ) позволяет создать высокотехнологичную систему, которая основывается на следующих принципах:
− принцип свободного выбора места, времени, темпов обучения РКИ;
− принцип личностной направленности обучения, основанный
на взаимодействии с учащимся как с субъектом, инициирующим
и планирующим собственный процесс обучения РКИ;
− принцип развивающего обучения, связанный со сменой типа
учения и новой ролью преподавателя РКИ – переход с инфор­
мационно-репродуктивного на активно-творческий, продуктивный, диалогичный процесс обучения РКИ;
− принцип эффективного обучения, обусловленный высокой
эффективностью технологий, увеличением объема учебного материала, усваиваемого обучаемым в единицу времени;
− принцип равных возможностей, который позволит включиться в учебный процесс (в том числе с применением дистанционных технологий) разным категориям обучаемых – детям, молодежи, взрослым, как в системе формального образования, так
и вне ее.
191
Методическое преимущество использования виртуальных
миров: учащиеся могут зримо представить ситуацию, в пределах
и на основе которой происходит обучение, при возможности многостороннего подхода к этой ситуации, а также при возможности
вернуться, остановиться, подкорректировать процесс обучения.
У преподавателя появляется возможность не просто индивидуализировать, а супериндивидуализировать обучающий процесс,
т. е. учесть не только типы обучающихся, но и особенности конкретной языковой личности.
С помощью виртуальных миров обучающийся сможет погрузиться в моделируемую в соответствии с учебными целями ситуацию, которая адекватно отражает реальную действительность,
и решать коммуникативные задачи, стоящие перед ним как
участником этой ситуации.
При использовании виртуальной среды преподаватель может
контролировать в режиме реального времени методический
и когнитивный процессы обучения конкретного учащегося,
а также корректировать учебный процесс в зависимости от целей
и задач обучения.
Преподавателям русского языка как иностранного может быть
предложена новая обучающая модель для формирования коммуникативной компетенции, основанная на использовании технологии многопользовательских виртуальных миров. Модель характеризуется новизной и максимальной приближенностью к реальной действительности. Использование модели в обучении позволяет говорить об интенсификации обучения.
Описание модели обучения. Общение между преподавателем
и студентом проходит в многопользовательском виртуальном
мире. У каждого участника (преподаватель, студент) в виртуальном мире есть свой представитель (аватар), через которого он действует в смоделированных ситуациях общения. Использование
в учебном процессе наглядно представленной ситуации и воз­
можность действовать в этой ситуации с определенной степенью свободы посредством аватара позволяет максимально приблизить процесс обучения к реальной коммуникации. Ситуати­
вно-тематическая организация не только материала, но и самого учебного процесса реализует принцип ситуативности в полной мере.
Студенты работают на компьютерах, объединенных в единую
локальную сеть, с возможностью выхода в Internet и подключе192
ния к серверу виртуальных миров. Преподаватель может находиться в изолированном помещении, оснащенном необходимым
для обучающей деятельности компьютерным и программным
обеспечением, с возможностью подключения к Internet.
Каждый персональный компьютер должен быть оборудован
средствами приема/передачи голосовых сообщений – микрофон + головные телефоны (наушники). Для более полного погружения в виртуальную реальность возможно подключение виртуального шлема.
В предлагаемой модели можно выделить несколько этапов:
1) обучение учащихся работе на персональном компьютере
в обучающей среде. На этом этапе формируются умения общения
с компьютером, новой обучающей средой. Как показали эксперименты, на обучение как преподавателя, так и учащихся в виртуальном мире уходит не более 1 академического часа (45 минут);
2) пассивный просмотр обучающего ролика (трехмерная графика) имеет целью ввести в ситуацию и сообщить мотивационный импульс для дальнейшей работы над сюжетом (текстом). На
этом этапе студенты сидят за персональными компьютерами
и наблюдают на экранах мониторов учебную видеофонограмму –
аудиовидеосредство, похожее на мультипликационный фильм,
который был специально смоделирован для учебных целей в той
виртуальной среде, в которой разворачивается дальнейшее
ситуативно-тематическое обучение. Этап характеризуется второй
позицией восприятия – пользователь видит своего аватара как бы
со стороны, с точки зрения другого человека, т. е. выступает как
сторонний наблюдатель, который не может вмешаться в процесс
развертывания событий.
После просмотра ролика учащиеся и преподаватель переходят в on-line-часть урока – в смоделированную трехмерную виртуальную ситуацию. Каждый студент выбирает себе персонажа
(аватара) и набирает свое имя на клавиатуре. Имя появляется
над головой персонажа. Преподаватель также должен выбрать
себе аватара.
Передвижение по миру осуществляется посредством кнопок
управления (но существует возможность подключения джойстика и других навигационных устройств);
3) активное участие пользователей в виртуальном мире (действие, передвижение, аудирование, чтение, ответная реакция на
вопросы), за которым следует выполнение заданий (с активным
193
использованием виртуальной среды), с переходом к самостоятельной работе и работе в группе (учащийся может выступать в различной роли, работа в парах и др.). Данный этап характеризуется
тем, что пользователь (преподаватель, учащийся) от пассивного
восприятия переходит к активным действиям в многопользовательском виртуальном мире. Позиция восприятия может быть
выбрана самим пользователем в зависимости от стоящих перед
ним задач, либо от склонности к той или иной позиции.
Что касается собственно информационной стороны, то методические приемы в этой области наиболее разработаны. Здесь технология виртуальных миров выполняет роль, близкую той, которая присуща видеофонограммам, т. е. техническим средствам,
рассчитанным на зрительное и слуховое восприятие учебного материала, что особенно эффективно при семантизации языковых
единиц как реализации принципа наглядности.
Однако следует отметить и то, что отличает технологию виртуальных миров от картинки или даже видеозаписи (в качестве иллюстрации). Она может представить в динамике некую гиперситуацию, целое, подчиненное определенной стратегической задаче, которое состоит из цепи микроситуаций. Для этого целого
важны не только номинации предметного мира (семантизация
отдельного слова), но и обозначения предметов с их качественными и квалификационными характеристиками. А это значит, что
единицей обучения может стать коммуникативный фрагмент,
т. е. единица, лежащая в основании мнемонического владения
языком.
Изобразительная сторона технологии виртуальных миров позволяет работать над языковой и речевой компетенцией обучаемых, сложноструктурность и динамические возможности, в свою
очередь, способствуют развитию дискурсивной компетенции учащихся.
Именно на этапе активного участия пользователей происходит
формирование навыков понимания коммуникативных намерений участников общения. Следует заметить, что при использовании современных технологий мультимедиа становится возможным введение в ситуацию общения различных междометных речений, реплик, произносимых с разного типа интонацией (иронии, сарказма, сомнения и т. п.), слов, функционирующих для
поддержания речевого контакта, в том числе и некоторых жестовых реакций.
194
В процессе работы должны быть реализованы все перечисленные этапы. Последовательность этапов обусловлена не только методическими принципами построения учебного материала,
но и степенью погружения в виртуальный мир (вначале только
аудиовизуальное погружение, затем добавляется сенсорика
и моторика): шириной (количество используемых одновременно
каналов восприятия) и глубиной (объем передаваемой каналом
восприятия информации). На этой стадии добавляется такая характеристика виртуального мира, как интерактивность. Интерактивность проявляется в форме собственного движения в мире,
взаимодействия с объектами мира, реакции объектов на уча­
стника.
В системе упражнений, направленных на формирование коммуникативной компетенции, в значительной мере могут использоваться традиционные типы заданий, которые, однако, должны
иметь коррекцию на соприсутствие виртуальных пространств
(табл. 3.4).
Таблица 3.4
Типы упражнений,
используемые посредством электронной обучающей среды
Тип
упражнений
Языковые
Пример задания
Работа пользователя
Вместо точек
вставить правильную форму (например, глаголов
движения или
выбрать правильный предлог)
Пользователь выбирает мышкой соответствующий глагол, появляется его
форма, в случае неправильного ответа
есть возможность повторить попытку
еще раз или обратиться к грамматическому комментарию. Работа с языковыми упражнениями идентична как
в off-line-, так и в on-line-версии курса
Условно- Работа по модели. Если пользователь находится в offречевые Задается вопрос.
line-части курса, то во время паузы
Дана пауза для
учащийся произносит ответ, который
ответа. После этого записывается в электронном виде и позвучит правильтом может быть отослан преподаватеный ответ
лю по электронной почте (передан на
компакт-диске, дискете и прочих носителях информации). Если пользователь действует в on-line-части курса, то
его ответы контролирует преподаватель. В случае сбоя или неудачи преподаватель имеет возможность проиграть
ситуацию заново
195
Окончание табл. 3.4
Тип
упражнений
Речевые
Пример задания
Работа пользователя
Задана конкретная
ситуация, звучат
вопросные реплики. Дается пауза
для ответа, после
этого звучит
правильная
реплика
У пользователя существует возможность увидеть эту реплику на экране,
посмотреть ее перевод, продолжить
диалог. Если обучение ведется по offline-части курса, то ответы могут записываться в электронном виде, а затем
использоваться в качестве материала
для проверки с «образцом», а также
для передачи преподавателю в случае
прохождения контроля. В on-lineверсии курса все действия контролирует преподаватель
Комму- Вопросно-ответные На экране появляется трехмерный
никатив- упражнения,
мир, например, в виде Университета,
ные
устное выступлес помощью мыши можно выбрать сление, импровизация дующие места: деканат, аудитория, библиотека и т. д. После выбора появляется соответствующая смоделированная в виртуальном пространстве ситуация, звучат вопросные реплики
диалога, даны паузы для ответа. После
окончания всего диалога есть возможность прослушать «образец», увидеть
его текст на экране, посмотреть его перевод. Коммуникативные упражнения
целесообразно использовать в on-lineверсии курса, так как формирование
речевых умений аудирования и говорения в монологической и диалогической
речи возможно лишь при непосредственном участии и контроле преподавателя
Результаты экспериментов, проведенных на базе Лаборатории дистанционного обучения РКИ СПГУ, доказывают, что при
использовании предложенной модели обучения освоение одинакового количества материала и формирование новых речевых
умений в сравнении с традиционными формами обучения происходит быстрее. Это обусловлено тем, что:
– замечено повышение мотивировки обучения. Студенты вовлечены в ролевую игру, заметно повышена заинтересованность
в ролевом обучении;
196
– выполнение и контроль заданий происходит у всех участников эксперимента параллельно, в то время как в группе, работающей по традиционной методике, необходимо последовательно выслушать каждого студента;
– есть возможность работы в парах (тройках, четверках и т. д.).
Студенты отрабатывают речевые, учебно-речевые, коммуникативные упражнения, не мешая другим студентам. Контроль преподавателя может осуществляться селективно, т. е. преподаватель может выбрать, какую пару (тройку, четверку и т. д.) студентов он хочет проконтролировать;
– учебная ситуация максимально приближена к реальной действительности. Отпадает необходимость детально описывать объекты, участвующие в ситуации, сокращается время на представление тех коммуникативных задач, которые должны решить студенты в рамках ситуации.
Использование виртуальных миров в качестве среды обучения
(погружение в смоделированную ситуацию общения) позволяет
учащимся сконцентрироваться на процессах производства и восприятия речи, самих речевых операциях, а также дает возможность перераспределить внимание с мысленной достройки ситуации (в случае условно-речевой коммуникации, когда ситуация
задается условно) на неречевую деятельность (невербальное общение, знакомство с объектами ситуации и пр.).
Разработанная модель обучения дает возможность вести образовательную деятельность не только посредством глобальной сети
Internet, но и использовать технологию виртуальных миров в традиционной форме обучения, в результате чего появятся новые
возможности интенсификации обучения и наглядности представляемого материала.
3.3. Тренажеры (на примере кибернетического велосипеда)
Одна из проблем нового уровня взаимодействия тела пользователя и приложения в виде ВМ обусловлена «привязкой» пользователя (или членов малой группы) к симулирующему оборудованию. Решение этой проблемы в значительной степени обеспечивается благодаря применению в качестве взаимодействия с ВМ
комплекса устройств, в которых активно используются сенсомоторные нагрузки, например, велосипед, беговая дорожка, гребной тренажер, инвалидная коляска и т. п. Такие устройства игра197
ют роль посредника между пользователем и ВМ. Физические усилия, затрачиваемые при работе на них в реальном мире, транспонируются в мир виртуальный, знаменуя соединение активного
тела с виртуальным пространством.
В качестве оригинального устройства прямого доступа к ВМ
предлагается устройство «Кибернетический велосипед», которое представляет собой программно-аппаратный комплекс, позволяющий велосипедисту перемещаться в виртуальном мире
и взаимодействовать с его объектами [25].
Комплекс состоит из закрепленного в станине велосипеда (дорожного, горного и т. п.) с установленными на нем трекболом
и датчиками угла поворота руля и скорости вращения колеса,
а также системы имитации нагрузок, универсального контроллера для передачи данных между велосипедом и персональным
компьютером и велобраузера для взаимодействия пользователя
с ВМ. Сигналы от датчиков передаются в компьютер, специальное программное обеспечение которого позволяет перестраивать
визуальную картину перед велосипедистом в зависимости от ситуации (например, объезд препятствия) и изменять звуковое сопровождение и силовую нагрузку (например, нагрузка на педали
и руль при подъеме/спуске с горы). Велосипед с велосипедистом
в ВМ представляются соответствующими моделями. Модель велосипеда в ВМ передает вращение педали и колес, а также руля
реального велосипеда. Велосипедист в ВМ представляется как
сидящий на модели велосипеда персонаж, который повторяет
движения его ног и рук, а также головы в случае использования
шлема с трекером для отображения ВМ. Это позволяет создавать
у велосипедиста иллюзию перемещения в виртуальном мире
и обеспечивает возможность «взаимодействия» с его объектами
и персонажами.
Велосипед как интерфейс функционально интуитивен и дает
возможность простого управления перемещением в терминах
скорости и маневренности, что дает пользователю полную физическую и визуальную экспозицию виртуальной среды. Этот интерфейс также требует реального телесного усилия от пользователя, порождающего кинестетические ощущения как соединение
его физического и виртуального опыта.
За рубежом одно из первых систематических исследований
подключения велосипеда к виртуальной среде было проведено
в 2000–2001 гг. в Bell Labs (система Peloton).
198
В настоящее время имеется ряд зарубежных производителей,
предлагающих различные продукты (оборудование + программное обеспечение + видео/мультимедиакурсы) и услуги в данной
области, например, Velodynesports (США), Racermate (США), Exerscape (США), Cyberbikes (Германия), Tacx (Нидерланды), Elite
(Италия), Minoura (Япония). Некоторые производители специализируются только на разработке программного обеспечения, например, Fitcentric (США). Продукция этих фирм ориентирована
в основном на три сектора: дом, фитнес и профессиональный
спорт. Имеются примеры использования велосипеда в области
культуры (электронный туризм) и современного искусства, например, соответственно France Telecom «Прогулка по Парижу»
и ZKM (Карлсруэ, Германия) – интерактивные компьютерные
инсталляции (The Legible City и др.).
Рассмотрим основные компоненты программного обеспечения
разработанного программно-аппаратного комплекса.
Основная задача программного обеспечения комплекса –
­предоставить пользователю возможность погружения в трех­
мерный аудиовизуальный мир с шестью степенями свободы и кинестетическими ощущениями, а также взаимодействия с объектами виртуального мира посредством кибернетического вело­
сипеда.
Для достижения указанной цели были решены следующие задачи:
− разработан велобраузер;
− разработана трехмерная модель виртуальной среды на примере ГУАП;
− интеграция велобраузера и трехмерной модели ГУАП в единый ВМ.
Разработанный велобраузер удовлетворяет следующим требованиям:
1) представляет собой информационно-программный модуль,
встраиваемый в виртуальную среду, разработанную на платформе Virtools;
2) включает информационную часть – трехмерную модель велосипедиста с анимациями вращения руля и рук велосипедиста,
вращения педалей и ног велосипедиста, вращения колес;
3) включает программную часть, которая:
– осуществляет прием и передачу данных с контроллера велосипеда, подключенного через USB-интерфейс;
199
– управляет анимациями трехмерной модели велосипедиста,
а также движением модели в виртуальной среде с шестью степенями свободы, учитывая принятые с контроллера велосипеда
данные об угле поворота руля и скорости вращения колеса велосипеда;
– обнаруживает столкновения с препятствиями и изменяет положение модели велосипедиста в связи с ними в виртуальном
мире;
– управляет силовой обратной связью в зависимости от положения модели велосипедиста в сцене (передается усилие на педали, например, при езде велосипедиста по наклонной поверхности
в виртуальном мире).
Трехмерная модель ГУАП удовлетворяет следующим требованиям:
− состоит из модели главного здания ГУАП (фасад), включая
дворы и прилегающие территории, в том числе виртуальный
велодром, привязанный к местоположению воинской части;
− включает модели автомобилей, двигающихся по дороге вокруг здания ГУАП, останавливающихся и подающих звуковые
сигналы при попадании велосипедиста в опасную зону, а также
анимированных автономных персонажей, перемещающихся по
тротуарам и переходящих по сигналам светофора дорогу;
− свободно импортируется в среду разработки виртуальных
приложений Virtools.
Разработанный виртуальный мир удовлетворяет следующим
требованиям:
− представляет собой законченный программный продукт, выполняемый c помощью Virtools Web Player;
− реализован в среде разработки виртуальных приложений
Virtools Dev;
− включает в себя информационно-программный модуль велобраузер;
− включает в себя трехмерную модель ГУАП;
− предоставляет велобраузеру данные об объектах столкновения и объектах поверхности трехмерной модели ГУАП.
Комплекс может работать в двух режимах:
1) off-line (однопользовательский) – пользователь, сидящий на
кибернетическом велосипеде, управляет перемещением аватаравелосипедиста в сцене, в которой присутствуют перемещающиеся
автономные аватары-пешеходы и автомобили;
200
2) on-line (многопользовательский) – каждый удаленный пользователь на велосипеде управляет перемещением по территории
ГУАП своего аватара – велосипедиста, которого видят другие
пользователи; поддерживается визуальная, голосовая, текстовая
и невербальная коммуникация.
Структурная схема кибернетического велосипеда представлена на рис. 3.20.
На рис. 3.21 показаны основные этапы реализации программного комплекса. В качестве инструментария для создания трехмерных моделей использовался 3D Studio Max от компании Discreet. Компоновка виртуального мира проведена с помощью авторского средства Virtools Dev.
Структура программного комплекса показана на рис. 3.22.
В результате компоновки велобраузера и трехмерной модели
ГУАП на платформе Virtools реализован ВМ, обладающий описанными в табл. 3.5 характеристиками, что позволило обеспечить
высокую степень интерактивности и аудиовизуальное погружение с силовой обратной связью (более 60 fps). Некоторые скриншоты ВМ приведены на рис. 3.23–3.26.
Состав, режимы работы и варианты комплектации кибернетического велосипеда приведены в табл. 3.5, конструкция – на рис. 3.27.
Рассмотрим некоторые примеры использования кибернетического велосипеда.
1. В научно-образовательном процессе (в том числе дистанционном) при подготовке бакалавров, специалистов и магистров:
− как объект изучения нового человеко-машинного интерфейса типа «виртуальный мир» (аппаратно-программные средства
доступа к одно- и многопользовательским виртуальным мирам);
− как средство обучения-развлечения (велосипед как посредник между контентом в форме виртуального мира и пользователем – познавательные поездки, индивидуальные и групповые соревнования и т. п.).
Применительно к дисциплинам «Компьютерная графика»
и «Системы виртуальной реальности» разработан цикл лабораторных работ, включающий:
− ознакомление с установкой «Кибернетический велосипед»
как средством доступа к виртуальным мирам (состав, режимы
работы);
− работа установки в однопользовательском режиме;
− работа установки в многопользовательском режиме.
201
Z
Группирование
элементов
виртуального
велосипеда
0
Y
X
Управление силовой
обратной связью
Обнаружение препят
ствий и изменение
положения виртуально
го велосипеда в связи
с ними
Коэффициент нагрузки
Установка виртуаль
ного велосипеда
в заданную позицию
Определение положения
виртуального велосипеда в сцене
Вращение колес
виртуального велосипеда
Вращение педалей
виртуального велосипеда
Поворот руля и рук
виртуального велосипедиста
Подключение
к контроллеру велосипеда
Велобраузер
Датчик поворота
руля
Трехмерная
модель
(ГУАП)
Виртуальный мир
ГУАП
Рис. 3.20. Структурная схема аппаратно-программного комплекса «Кибернетический велосипед»
Коэффициент нагрузки
Контроллер велосипеда
USB 2.0
Угол поворота руля
Силовая
обратная связь
Датчик вращения
заднего колеса
Скорость вращения колеса
202
ЭСКИЗ
План ГУАП
3D Studio Max
3D Studio Max
Модель
велосипедиста
velo.max
Плагин для экспорта 3D
моделей
Модель ГУАП
guap.max
Модель
велосипедиста
Base.nmo
Rude.nmo
Legs.nmo
Wheel1.nmo
Wheel2.nmo
Плагин для экспорта 3D
моделей
Virtools Dev
Велобраузер
velobrowser.nmo
Virtools Dev
Модель ГУАП
GUAP.nmo
ВИРТУАЛЬНЫЙ
МИР
VirtualVelo.vmo
Рис. 3.21. Основные этапы реализации программного комплекса
203
Коэффициент нагрузки
Цифровые объекты
Пользователь
Virtools
Web Player
Скорость вращения колеса
Поведение
Угол поворота руля
Виртуальный мир
(virtualvelo.vmo)
Драйвер
контроллера
велосипеда
USB 2.0
Рис. 3.22. Структура программного комплекса
Таблица 3.5
Состав, режимы работы и варианты комплектации кибервело
Состав и режимы работы
Варианты на платформах
VRML/X3D
Virtools
Аппаратные средства
Персональный компьютер стандартной
конфигурации с графической картой
Видеосистема (моно + стерео/очки):
настольная:
– монитор
– многоэкранная
интерактивные поверхности:
– одноэкранная
– многоэкранная
носимая:
– шлем
– наушники
– головной трекер
– микрофон
Аудиосистема
204
+ + + –
+ + + –
+ + –
–
–
–
+ + + + + + Окончание табл. 3.5
Варианты на платформах
VRML/X3D
Virtools
Состав и режимы работы
Кибервелосипед:
велосипед – дорожный и др.
станина
датчик поворота руля
датчик оборотов колеса
имитатор нагрузок
Интерфейс «велосипед – ПК»
+ + + + + USB
Гарнитура (наушники + микрофон)
–
+ Trackball
+ + Перчатка данных
–
+ Программное обеспечение
Windows XP/Vista, DirectX9
+ Эмулятор вело
Велобраузер – на основе
ВМ-приложения:
любые on- и off-line в формате
модели велосипедистов на велосипедах
среды для перемещения (ландшафты,
дороги, здания, авто, персонажи и т. п.)
Многопользовательский сервер
+ + + Cortona
VR Player
vrml/x3d
–
virtools
+ ГУАП
–
Сервер – текстовый чат
–
ГУАП + авто
Multiuser
Pack
+ Сервер – Voice Communication
–
+ Однопользовательский
+ + Многопользовательский
–
+ Режимы работы
Рис. 3.23. «На велодроме»
Рис. 3.24. «На улице»
205
Рис. 3.25. Многопользовательский Рис. 3.26. Многопользовательский
режим (участники поездки)
режим (персонажи)
2. Электронные путешествия и соревнования с использованием кибернетического велосипеда совместно с Zentrum für Kunst
und Medientechnologie Карлсруэ, Германия, и Centre for Interactive Cinema Research, University of New South Wales, Сидней, Австралия.
3. Для исследования нейрофизиологии и психологии человека
(совместно со специалистами факультета психологии МГУ), в том
числе с целью медицинского обоснования человеко-машинного
интерфейса типа «виртуальный мир», направленного на:
− исследование пользователя на различные входные и выходные модальности и их комбинации – вербальные, световые, звуковые и тактильные сигналы с формированием библиотеки моделей сенсорно-моторных связей;
− улучшение понимания воздействия виртуальных миров и их
компонентов на человека и членов малой группы как биологическую систему, их комфорт, здоровье, безопасность, а также улучшение психофизиологической и социальной адаптации;
− разработку метрик для описания и измерения эффективности виртуальных миров, пользовательского удовлетворения,
влияния сенсоров и обмена;
− исследование поведения человека в малых мобильных группах.
4. Для исследования мультимодального интерфейса (п. 2.4).
5. В качестве спортивного тренажера при подготовке велосипедистов высшей квалификации (индивидуальный и групповой
тренаж, соревнования на одной трассе между велосипедистами,
находящимися в разных городах мира и др.). Общий вид конструкции приведен на рис. 3.28.
206
Платформа крепления велосипеда для имитации движения
в виртуальной интерактивной среде
Платформа в собранном
виде с установленным
комплектом электрон
ных устройств
Стойка крепления
переднего
поворотного
колеса велосипеда
Опорная
передняя
рама
Опорная промежуточная рама
(под размер базы) велосипеда
Узел механического преобразования
эллипсоидной траектории движения вилки
переднего колеса в траекторию движения по
окружности, конструктивно совмещенный
с цифровым датчиком угла поворота
Рама в комплекте
со складывающейся
стойкой крепления
заднего ведущего
колеса велосипеда
Имитатор
нагрузки
движения
велосипеда
Блок электронного
управления системой
по интерфейсу USB 2.0
Комплект устройства
для имитации
движения в виртуальной
интерактивной среде
Соединение
USB 2.0
Рис. 3.27. Конструкция кибернетического велосипеда
207
6. Другие апробированные области применения – образование (освоение правил дорожного движения и др.), медицина (реабилитация, лечение зависимостей – наркотики, алкоголь, курение и др.), фитнес нового поколения, развлечения (виртуальные
Платформа крепления велосипеда для имитации движения
в виртуальной интерактивной среде
Регулятор с фиксирующей
функцией установки базы
велосипеда
Шкив передачи
вращения на ролик
привода переднего
колеса
Блок электронного
управления системой
по интерфейсу USB 2.0
Платформа
в собранном виде
с установленным
комплектом
электронных
устройств
Ролик со встроенным
во внутреннюю
полость имитатором
нагрузок
Демпфер – фиксатор
Ось привода
Корпус ведомого
ролика
Вывод обмоток
управления имитатора
Встроенный во
внутреннюю полость
ролика имитатор
нагрузок, совме
щающий функ
ции генератора
и двигателя
Устройство для спортивных тренировок в виртуальной среде
Дисплей ПК
Соединение
USB 2.0
Рис. 3.28. Конструкция кибервело для спортсменов
208
путешествия с приключениями), культура и искусство – как
средство для электронного туризма, различных инсталляций
и т. п.
3.4. Культурное наследие
3.4.1. Интерактивная трехмерная реконструкция
«Святилище Аполлона в Дельфах»
Одной из областей применения технологии виртуальных миров
является реконструкция исторических сооружений и событий.
Примером такого приложения является совместная разработка специалистов Государственного музея истории религии
(ГМИР) и ГУАП – интерактивная трехмерная визуализация Святилища Аполлона в Дельфах для ее просмотра в сенсорном киоске в ГМИР (раздел постоянной экспозиции «Религия Древней
Греции») и распространения на компакт-дисках [32].
Традиция сооружения оракулов (лат. oraculum – «священное
слово» от лат. oro – «говорю, прошу»), т. е. сакральных мест, где
жрецами от имени божества провозглашались предсказания,
была широко распространена в Древней Греции. Своими оракулами могли «похвастаться» многие боги Олимпа, но больше всего
их было у Аполлона – бога солнечного света, покровителя искусств, науки, врачевания, предводителя муз и предсказателя
будущего. Оракулы Аполлона были на Делосе, в Дидимах, Кларосе, Абах. Среди них наибольшим уважением пользовался Дельфийский оракул. Он считался самым авторитетным, особенно
в вопросах, касающихся «большой политики». На протяжении
тысячи лет люди приходили сюда со всех концов Греции, чтобы
получить ответ на волнующие их вопросы. Они задавали их от
своего имени или имени общины. Жрецы оракула тщательно
фиксировали ответы прорицательницы – пифии – и тем самым
сохранили их для истории. Считалось, что восседающая на треножнике Пифия передавала людям слова Аполлона, который,
в свою очередь, выражал волю Зевса.
Расположенное в одном из самых сейсмически опасных регионов Греции, на склоне горы Парнас в Фокиде, Дельфийское святилище бога Аполлона сильно пострадало от времени. Неоднократные разрушения, причиной которых были главным образом
землетрясения, привели к тому, что теперь мы можем видеть
209
лишь останки былого величия – живописные руины. Однако и сегодня на фоне равнин, ущельев, высоких горных вершин и отвесных скал они производят неизгладимое впечатление. Популярность Дельф в древности легко объяснима: они были расположены в самом сердце центральной области Греции, на пересечении
путей, ведущих с севера на юг (из гористой Дориды и равнинной
Фессалии к порту Крисы на берегу Коринфского залива) и с запада на восток (из Локриды в Беотию).
Таинственность, которой это место было окружено еще в древности, вызывала большой интерес к Дельфам исследователей.
С конца XIX в. здесь проводились активные изыскания французскими археологами. С результатами их раскопок можно ознакомиться, посетив располагающийся на территории святилища
Музей Дельф. Несмотря на скромные размеры, Музей Дельф относится к числу наиболее значимых музеев Греции. В нем экспонируются произведения скульптуры и архитектурные фрагменты сооружений Дельфийского святилища, а также сохранившиеся посвятительные статуи и надписи.
Разработанное приложение позволяет совершить увлекательное путешествие по святилищу в Дельфах и увидеть его максимально приближенным к тому облику, какой оно имело более
двух тысяч лет назад.
Состав модели:
− внешний и внутренний вид Храма Аполлона;
− внешние виды строений, постаментов, скульптур, колонн и др.;
− ландшафт, включая растительность, забор, лестницы;
− персонаж Пифия;
− купол неба и горизонт;
− информационные ресурсы (текст, графика, музыка, голос) –
общая информация о Святилище и о каждом его объекте.
Реализованы следующие режимы работы:
− экскурсия – обход объектов модели по заданному сценарию
с получением необходимой информации в виде текста, изображений и голоса;
− прогулка – свободное посещение модели с получением информации о названиях объектов;
− викторина – для попадания в Храм Аполлона и получения
прорицания Пифии необходимо пройти четыре испытания в виде
правильных ответов на вопросы по материалам экскурсии;
− словарь терминов и имен.
210
Рис. 3.29. Общий вид заставки
Рис. 3.30. Сокровищница сикианцев
211
Рис. 3.31. Дорога к храму
Рис. 3.32. Колесница Гелиоса
212
Рис. 3.33. В храме Аполлона
Рис. 3.34. Заставка викторины
213
Рис. 3.35. Один из вопросов викторины
Основные характеристики модели приведены в табл. 3.1. Некоторые скриншоты интерактивной трехмерной реконструкции
представлены на рис. 3.29–3.35.
3.4.2. Интерактивная экспозиция
«Христианские святыни на Святой Земле»
Еще одной областью применения технологии виртуальных
миров является интерактивное моделирование существующих
культовых сооружений и связанных с ними исторических со­
бытий.
В качестве примера рассмотрим совместную разработку специалистов Государственного музея истории религии (ГМИР)
и ГУАП – интерактивную экспозицию «Христианские святыни
на Святой Земле» (далее – приложение), которая просматрива­
ется в сенсорном киоске в ГМИР (раздел постоянной экспозиции «Раннее христианство») и распространяется на компактдисках [31].
С помощью созданного приложения можно отправиться в виртуальное паломничество на Святую землю, в частности:
− прослушать исторический очерк о раннем христианстве
в иконе «Святой град Иерусалим»;
− ознакомиться с сюжетами в иконе «Святой град Иерусалим»,
связанными с историей раннего христианства, ветхозаветными
214
событиями, новозаветными событиями и апокрифическими сказаниями;
− узнать о местах паломничества, отмеченных на карте Палестины;
− пройти по остановкам Дороги Страданий и окрестностям Иерусалима, представленным на схеме города;
− рассмотреть план расположения помещений Храма Гроба
Господня – главной христианской святыни мира;
− совершить уникальную интерактивную трехмерную экскурсию (прогулку) по основным помещениям Храма Гроба Господня.
Виртуальное путешествие сопровождается духовной музыкой,
поясняющими текстами, произведениями мастеров иконописи
и живописи, а также фотографиями старых и современных видов
мест и объектов паломничества.
На рис. 3.36 представлена заставка приложения.
Рассмотрим основные композиционные и технологические решения, положенные в основу реализации приложения.
Икона XIX столетия «Святой Град Иерусалим» из собрания
ГМИР представляет собой яркий образец того типа икон, которые
получили широкое распространение в России в период расцвета
Рис. 3.36. Заставка приложения
215
паломничества в Святую Землю (середина XIX – первая треть
XX вв.). Такие иконы писались не на дереве, а на холсте, что было
связано с заботой об удобстве перевозки их паломниками. Свернутые в трубочку, они занимали совсем немного места и в таком виде
привозились в самые отдаленные уголки православного мира.
Другое название таких икон – «Топография Палестины». Они
представляли собой своеобразные путеводители (гр. «проскринитарии») по Святой Земле. На них были изображены события из Ветхого и Нового заветов, действия которых разворачивалось на Палестинской земле, а также сцены из жизни связанных с ней христианских святых. В процессе работы над ней художник старался придерживаться топографии Палестины – сюжеты группируются,
в первую очередь, по территориальному признаку: сцена ареста
Иисуса и Успение Богоматери, имевшие место в Гефсимании, располагаются в одной области (в правом верхнем углу), а рядом
с Силоамским источником находится гробница пророка Иеремии.
Композиционным центром иконы является Храм Гроба Господня, в котором произошло важнейшее событие христианской
истории – смерть на кресте и последующее воскресение Иисуса
Христа. Распятие и воскресение являются не только отправной
хронологической точкой для линейного развертывания мировой
истории в христианстве, но и «Центром мира» – рядом с Кувуклией можно рассмотреть изображение «Пупа Земли», он находится
в кафоликоне иерусалимского Храма в виде мраморной вазы.
Икона реализована в виде интерактивного изображения с соответствующими сюжетам активными зонами, при взаимодействии с которыми можно получить информацию в мультимедийной форме как о каждом сюжете, так и их группах, связанных
с историей раннего христианства, ветхозаветными событиями,
новозаветными событиями и апокрифическими сказаниями.
На рис. 3.37 приведен скриншот интерактивной иконы, а на
рис. 3.38 – пример сюжета «Воскресение Христово» из группы
«Евангельские сюжеты и апокрифические сказания».
Палестина. История массового паломничества в Святую Землю начинается в IV в., когда в Палестину прибыла мать императора Константина царица Елена со своим окружением. Главной
целью ее путешествия было поклонение христианским святыням, а также строительство на Святой Земле первых христианских храмов. Вскоре в Палестину начали стекаться паломники
из самых отдаленных уголков христианского мира.
216
Рис. 3.37. Интерактивная икона
Рис. 3.38. Сюжет «Воскресение Христово»
217
Традиции русского православного паломничества имеют менее длинную историю. Известно, что жители Киевской Руси посещали Иерусалим с середины X в., т. е. с первых веков распространения христианства на Руси.
Для паломника поездка в Святую Землю была не обычным путешествием. Долгий и тяжелый путь в Палестину, заканчивающийся у места Распятия и Воскресения Иисуса Христа, превращался в путь духовного совершенствования, приобщения к Священной истории и внутреннего преображения.
Приложение представлено в виде интерактивной карты Палестины, на которой отмечены основные места и объекты паломничества – Вифания, Вифлеем, Назарет, Самария, Тивериадское
озеро, гора Фавор, река Иордан, Сорокодневная гора, Монастырь
Св. Саввы, Дуб Маврийский.
Карта реализована в виде интерактивного изображения с соответствующими местам и объектам паломничества активными
зонами, при взаимодействии с которыми можно получить информацию о них в мультимедийной форме.
На рис. 3.39 приведен вид карты Палестины с выбранным объектом паломничества «Сорокадневная гора».
Рис. 3.39. Карта Палестины
218
Иерусалим. История присутствия Российского государства
в Палестине начинается в 1846 г., когда была учреждена Русская
Духовная Миссия в Иерусалиме, главной функцией которой была
помощь паломникам из России. Для них в 1860-х годах в Иерусалиме было построено Русское подворье, состоящее из четырех
больших корпусов. С этого момента начинается организованное
паломничество, в которое были вовлечены тысячи людей из разных сословий – от крестьян до высшей знати.
Приложение представлено в виде интерактивной карты Иерусалима и его окрестностей, на которой отмечены основные места
и объекты паломничества – Христианский квартал, Дорога Страданий, Храм Гроба Господня, Монастырь Св. Онуфрия, Село Крови, Монастырь Св. Креста, Сион, Силоамский источник, Церковь
Гробницы Богородицы, Гефсиманский сад, Елеонская гора.
Карта реализована в виде интерактивного изображения с соответствующими местам и объектам паломничества активными
зонами, при взаимодействии с которыми можно получить информацию о них в мультимедийной форме (рис. 3.40).
Дорога Страданий (Via Dolorosa), или Скорбный путь Христа,
в своем современном виде оформился во времена крестоносцев
Рис. 3.40. Карта Иерусалима
219
и насчитывает 14 остановок, 9 из них отмечены особыми и легко
узнаваемыми знаками на улицах старого города Иерусалима, 5
включены в архитектурно-пространственную композицию храма
Гроба Господня.
Приложение представлено в виде интерактивной карты Дороги Страданий, на которой отмечены 14 остановок.
Карта реализована в виде интерактивного изображения с соответствующими остановкам активными зонами, при взаимодействии с которыми можно получить информацию о них в мультимедийной форме (рис. 3.41).
Храм Гроба Господня является главной святыней Иерусалима, к которой устремляются все паломники. Принято считать,
что Храм построен на Голгофе (от арамейского «череп»), месте
распятия Иисуса Христа.
В IV в. территория Палестины находилась под властью императора Константина, который положил начало превращению христианства в официальную религию Римской империи. В 325 г.,
во время проведения Первого Вселенского собора, Константин
объявил Палестину Святой Землей и издал указ о строительстве
христианских храмов, в том числе над Гробом Господним. Сле-
Рис. 3.41. Карта Дороги Страданий
220
дить за исполнением указа в Иерусалим отправилась мать Константина, царица Елена. Существует предание, которое объясняет выбор места для строительства Храма: Иуда Кириак, еврей из
Иерусалима, указал Елене старую каменоломню, куда римляне
в день казни бросили три креста. Истинный крест был узнан по
его чудотворным свойствам: от прикосновения к нему воскрес
мертвый.
В последующие века Храм несколько раз разрушался и отстраивался заново, кроме того, он перенес множество мелких ремонтов. Одну из самых значительных реконструкций Храма Гроба Господня осуществили в XIII в. крестоносцы. Именно тогда он
приобрел тот облик, который сохраняет и сейчас. Последние
крупные ремонтные работы были начаты в 1961 г. и длились почти двадцать лет.
С течением времени в Храме появлялись новые места паломничества. Так, крестоносцы «нашли» на территории Храма Камень Помазания, который стал 13-й остановкой Дороги Страданий. Еще раньше, при перестройке Храма в XI в., к прежним объектам поклонения добавились «Пуп Земли» и «Столб бичевания»,
у которого, как принято считать, унижали и оскорбляли одетого
в багряницу и терновый венец Иисуса.
Ежегодно накануне Пасхи в Храме Гроба Господня совершается Чудо схождения Благодатного Огня. Обряд начинается с Крестного хода, затем Иерусалимский патриарх входит в Кувуклию
и выносит оттуда Благодатный Огонь. По убеждению многих верующих, он обладает чудесными свойствами: его возгорание происходит самопроизвольно, в первые несколько минут горения
Огонь не обжигает.
Приложение представлено в виде интерактивного плана расположения основных помещений Храма Гроба Господня, на котором отмечены Ротонда, Кувуклия, Капелла жен мироносиц, Камень помазания, Голгофа, Капелла пригвождения к кресту, Часовня Адама, Часовня Бичевания, Часовня Св. Елены, Часовня
деления одежд, Часовня Лонгина, Темница Христа, Кафоликон,
Часовня Марии Магдалины.
План реализован в виде интерактивного изображения с соответствующими помещениям Храма активными зонами (рис. 3.42),
при взаимодействии с которыми можно перейти к интерактивной
трехмерной модели выбранного помещения и получить информацию о нем в мультимедийной форме, что позволяет организовать
221
Рис. 3.42. План Храма Гроба Господня
Рис. 3.43. Кафоликон
222
Рис. 3.44. Примеры моделей помещений Храма
уникальную интерактивную трехмерную прогулку по основным
помещениям Храма Гроба Господня.
На рис. 3.43 приведен пример трехмерной модели Кафоликона
с сопутствующей мультимедийной информацией, а на рис. 3.44 –
примеры трехмерных моделей различных помещений Храма.
Характеристика интерактивной модели Храма приведена
в табл. 3.1.
3.5. Тематические комплексы (на примере
«Панорамы битвы за Ленинград»)
Битва за Ленинград в 1941–1944 гг. была величайшим событием Второй мировой войны. В 1946 г. был открыт Музей обороны
Ленинграда, но в 1949 г. он был разгромлен в связи с так называемым «Ленинградским делом». Построенные с тех пор мемориалы
лишь в небольшой степени отражают героические события битвы
за Ленинград. Поэтому общественность предлагает создать Пано223
раму битвы за Ленинград для сохранения памяти о героическом
прошлом и патриотического воспитания молодежи. Панораму
предлагается создать на основе новых информационных и коммуникационных технологий, в том числе на основе ВМ.
Предполагается, что посетителями Панорамы будут дети, молодежь, взрослые, семьи, сообщества по интересам, корпоративные работники и т. д. При этом они могут быть в роли зрителя,
участника событий (индивидуально или в группе), а также создателя контента.
В состав Панорамы должны входить здание (экстерьер и интерьер) и прилегающая территория, которые с функциональной
точки зрения делятся на тематические комплексы/зоны/модули/
компоненты.
Будут использоваться следующие способы доставки контента
пользователям: локальная (комплекс/зона/модуль или CD/DVD),
сетевая (сайт), комбинированная.
Планируемые формы организации посещений Панорамы и использования оборудования приведены на рис. 3.45.
Предлагаются следующие тематические зоны:
1) прилегающая территория:
– зона для военно-патриотических игр;
– выставка оружия;
– мобильный тематический модуль;
– аэростат;
2) экстерьер здания – интерактивная архитектура;
3) интерьер здания:
– Лестница памяти;
– музейные экспозиции – постоянные и временные;
– библиотека;
– сенсорные киоски;
– 2/3/4D-кинотеатр:
• 2D для воспроизведения «старых» фильмов;
• зона эффектов;
Организация посещений
− Комплекс:
• свободное;
• экскурсии;
• представления (спектакли);
− Internet
Использование оборудования
− Индивидуальный;
− групповой;
− многопользовательский:
• свободный;
• совместный
Рис. 3.45. Режимы обслуживания Панорамы
224
• зона движения;
• симуляторы;
– зоны интерактивного погружения (отдельные или совмещенные) с тематическими модулями.
Основные планируемые тематические модули приведены на
рис. 3.46.
Кроме того, необходимо предусмотреть и вспомогательную
инфраструктуру – музейные фонды, центр телекоммуникации,
студия, конференц-зал, административно-хозяйственные помещения, инженерно-технические помещения, кассы, раздевалки,
зоны питания, магазины, киоски (сувениры и другая продукция), гараж, лифты, гостиница, помещения для охраны, туалеты и др.
Некоторые скриншоты интерактивной трехмерной модели Панорамы приведены на рис. 3.47–3.56.
Для представления в Панораме предварительно определены
следующие основные темы по истории Великой Отечественной
войны и битвы за Ленинград:
1) План Барбаросса и наступление немецко-фашистских войск.
Лужский рубеж. Захватить Ленинград с ходу не удалось. План
Барбароссы был сорван упорным сопротивлением советских войск. Эпизод танкового боя;
2) Балтийский флот в начальный период войны. Переход из
Таллина в Ленинград. Отражение «звездного» налета немецкой
авиации на Кронштадт. Роль флота в обороне города;
Тематические модули (стационарные и мобильные)
Функциональность
Панорамный зал;
купольный зал;
ситуационная комната;
боевой модуль;
смотровая площадка
Основные компоненты
Проекционные:
– стена;
– цилиндр;
– купол;
– 3/4/5 CAVE;
подвижная платформа;
подзорная труба;
тренажеры:
– самолет;
– танк;
– корабль;
– автомобиль;
– артиллерийское орудие
Рис. 3.46. Основные виды тематических модулей
225
Рис. 3.47. Общий вид заставки
Рис. 3.48. Зал круговой панорамы
226
Рис. 3.49. Купольный зал
Рис. 3.50. 2/3/4D-кинотеатр
227
Рис. 3.51. Базовый модуль на основе CAVE-системы
Рис. 3.52. Капсульный симулятор
228
Рис. 3.53. Электронный киоск
Рис. 3.54. Ситуационная комната
229
Рис. 3.55. Подзорная труба на основе системы РР
Рис. 3.56. Фрагмент Зала музейных тематических экспозиций
230
3) ситуация на фронтах Великой Отечественной войны (ВОВ)
осенью 1941 г. Героическая оборона полуострова Ханко с начала
ВОВ по декабрь 1941 г. – 165 дней. Боевые эпизоды этой обороны;
4) бои за Тихвин. Тихвинская наступательная операция 12 ноября – 30 декабря 1941 г. Срыв возможности замкнуть второе
кольцо с финнами. Перевод промышленности на режим работы
в военных условиях;
5) Битва за Москву. Отражение воздушных налетов на Ленинград. Быт блокадного города. Преодоление тягот блокады;
6) зимнее наступление советских войск. Ледовая Дорога жизни через Ладогу;
7) Ораниенбаумский приморский пацдарм и его роль в обороне города. Культура в блокированном городе. «А музы не молчали…». Дети города-героя. Юные защитники Ленинграда;
8) ситуация на фронтах ВОВ летом 1942 г. Героическая оборона Севастополя. Артиллерийская дуэль между немцами, которые
обстреливали город, и нашей артиллерией;
9) героическая оборона Сталинграда. Бои за остров Сухо
22 октября 1942 г.;
10) подготовка и прорыв блокады в январе 1943 г. Маршал Говоров;
11) победа в Сталинградской битве. Курская битва. Окончательное снятие блокады в январе 1944 г. Взятие Нарвы и срыв
возможности обстрела Москвы и Ленинграда снарядами FAU. Работы по восстановлению города;
12) второй прорыв линии Маннергейма летом 1944 г. 19 сентября 1944 г. – перемирие с Финляндией. Взятие Берлина. Капитуляция немецких войск, которые осаждали Ленинград, в Курляндии в мае 1945 г. Победа.
Предполагается следующий сценарий реализации тем. Метафора реализации приложения – виртуальная выставка, состоящая из взаимосвязанных экспозиций, каждая из которых соответствует определенному разделу рассматриваемой темы и построена как набор взаимосвязанных мультимедийных (текст,
графика, звук, видео) интерактивных 3D-сцен.
В качестве виртуальных пространств для выставки могут выбираться объекты, связанные с Великой Отечественной войной
и битвой за Ленинград – экстерьеры и интерьеры мемориальных
комплексов и музеев, памятников и т. п., как существующих, так
и разрушенных, или нереализованных проектов.
231
Таким образом, созданное виртуальное пространство будет использоваться как для представления и подачи информации пользователю, так и для общения пользователей при многопользовательском доступе.
Материал может быть структурирован по уровням, например:
уровень 1 – перечень тем с общими сведениями;
уровень 2 – раскрытие выбранной темы;
уровень 3 – интерактивная 3D-модель события.
На каждом уровне пользователя в среде может представлять
аватар, управляя которым, можно перемещаться внутри среды
и взаимодействовать с ее элементами.
Будут реализованы следующие режимы работы с приложением:
− экскурсия – обход объектов модели по заданному сценарию
с получением необходимой информации;
− свободное перемещение – свободное посещение модели с получением необходимой информации и участием в военном эпизоде;
− викторина – ответы на вопросы по материалам экскурсии.
Указанные режимы работы будут доступны как при индивидуальном (однопользовательский доступ), так и при групповом
взаимодействии на основе многопользовательского доступа –
каждому пользователю предлагается выбрать аватара, который
будет представлять его в заданной модели мемориала и обсуждать предложенную тему с другими аватарами, представляющими других пользователей, в реальном времени с использованием
визуальной, текстовой, голосовой и невербальной коммуникаций. При многопользовательском доступе будет возможно также
организовать форумы, игры, соревнования и т. п. по рассматриваемой исторической теме.
Пример реализации тематического приложения
Рассмотрим пример реализации интерактивного тематического приложения. Он включает 3 уровня. На каждом уровне пользователя в среде представляет аватар, управляя которым, он может перемещаться внутри среды и получать информацию в виде
комбинаций текста, видео, схем, карт, фотографий, анимаций,
звуковых фрагментов и т. п.
Первый уровень: пользователь попадает внутрь виртуального
пространства, представляющего интерактивную 3D-модель монументального комплекса в честь героических защитников Ле232
нинграда, на стенах которого приведена интерактивная карта
и информация о различных тематических подборках по теме.
При выборе одной из них, например, бомбежки города, происходит переход на второй уровень.
Второй уровень: представлена общая информация о бомбежках города до уровня отдельных районов, при выборе одного из
которых, например, Васильевского острова, происходит переход
на третий уровень.
Третий уровень: дается подробная информация о бомбежках
выбранного района. Здесь же пользователю предлагается стать
участником какого-либо важного для района события, например,
поучаствовать в отражении налета немецкой авиации над Невой
осенью 1941 г., которое реализовано в виде интерактивной 3Dмодели.
Подсистема моделирования включает следующий набор интерактивных трехмерных моделей и персонажей:
− монументальный комплекс в честь героических защитников
Ленинграда – внутренний и внешний вид, прилегающая терри­
тория;
− СПГУ, Здание Двенадцати коллегий – здания (Двенадцати
коллегий, Ректорского флигеля и Филологического факультета);
прилегающая территория (набережная Невы, Менделеевская линия, двор Университета и др.);
− анимированные интерактивные объекты – автомобиль с прожектором, зенитка и немецкий самолет;
− аватары с анимациями (ходьба, бег, жесты руками и др.),
представляющие пользователя и управляемые им.
Режимы работы:
1) off-line:
– просмотр исторической информации внутри виртуального
мемориала;
− участие в игре, представляющей фрагмент исторического события;
2) on-line:
− многопользовательский форум – пользователям представляется возможность принять участие в обсуждении заданной исторической темы. Каждому пользователю предлагается выбрать
аватара, который будет представлять его в заданной модели мемориала и обсуждать предложенную тему с другими аватарами,
представляющими других пользователей, в реальном времени
233
Рис. 3.57. Интерьер монументального комплекса
Рис. 3.58. Многопользовательский режим
234
Рис. 3.59. «Ночной бой»
с использованием визуальной, текстовой, голосовой и невербальной коммуникаций;
− многопользовательские игры, ориентированные на исторический материал – пользователи, выбрав одного из аватаров, могут принять участие в различных соревнованиях и играх, например, в отражении воздушного налета на Ленинград, военноспортивных соревнованиях и др.;
− многопользовательская встреча на произвольную тему – выбирается модель, которая используется как место встречи пользователей для обсуждения произвольных тем и организации различных игр.
Основные характеристики приложений приведены в табл. 3.1.
Некоторые скриншоты показаны на рис. 3.57–3.59.
3.6. Психология и психотерапевтическая практика
3.6.1. Применение систем виртуальной реальности
в психологии
Виртуальная реальность – продукт не только информационных технологий, но и в такой же или даже большей степени –
продукт психологических технологий. Дело в том, что самые
сложные компьютерные модели и самые миниатюрные мониторы
должны быть наилучшим образом адаптированы к особенностям
человеческого восприятия и сознательного поведения. Неудиви235
тельно, что психологическая наука в настоящее время представляет собой одну из ведущих областей применения интенсивно
развивающихся и совершенствующихся систем виртуальной реальности. Относится это не только, как можно было бы ожидать,
к когнитивной психологии, а едва ли не ко всем разделам психологии. Попробуем обосновать данный тезис конкретными примерами, не останавливаясь на психотерапевтических применениях
ВР, о которых речь пойдет ниже.
К числу основных областей применения ВР в когнитивной
психологии могут быть отнесены исследовательские применения,
в частности, испытание новых ВР-систем с точки зрения особенностей человеческого восприятия. В первую очередь, исследователей привлекают зрительное, слуховое и гаптическое (тактильное), в несколько меньшей мере – олфакторное восприятие, именуемое также иногда «телеолфакторным», или «вдыханием смеси
одорантов, состав которой соответствует смеси, представленной
в ином месте, сколь угодно далеком»1.
Не меньшее значение имеют проектно-исследовательские применения систем ВР для организации 3D-среды, в которую по­
гружен человек, и эффективности продуктивной, к примеру,
конструкторской деятельности в этой среде. Конструированием
прототипов и экспериментированием с применением подобных
трехмерных моделей активно занимаются промышленные корпорации, в особенности в области проектирования транспортных
средств (автомобилей или самолетов), или архитектурные бюро.
Более того, именно для нужд проектных и архитектурностроительных организаций созданы едва ли не наиболее мощные
из известных на сегодняшний день средств, языков и моделей
трехмерного моделирования.
Представляют интерес и более простые уровни обеспечения
жизнедеятельности в ВР-среде: к примеру, изучение роли кинестетических ощущений в условиях движения при запаздывании
зрительного подкрепления. Среди относительно новых областей
применения – разработка продвинутых систем «управления
взглядом», полезных, например, как дополнительный канал
взаимодействия с интерфейсом при ручном управлении объектами в условиях зашумленности. Во многом аналогичные системы
1 См.: Riva G. Virtual Reality // Wiley Encyclopedia of Biomedical Engineering.
N.-Y., 2006. P. 5.
236
применяются при эффективной организации компьютерных
видеоконференций: для эксплицирования направленности внимания участников таких конференций используются, к примеру,
датчики поворотов головы [6]. Это пример так называемых «внимательных к вниманию» технологий фиксации и передачи на
расстояние направления взора партнеров по обсуждению – технологий, которые разрабатываются для «координации ресурсов
внимания» [6], [7].
Легко заметить, что в данном примере когнитивные применения ВР тесно соседствуют с коммуникативными применениями –
невербальное общение, включающее «контакт глаз» и синхронизацию микродвижений говорящих, сигналы «передачи очереди»
говорения, а также проксемику, или особенности нарушений
и отстаивания «личного пространства», взаимодействующими
субъектами представляет собой существенный раздел психологии общения. Остановимся на применениях ВР в психологии общения. Наибольшее количество работ в этой области посвящено
исследованиям особенностей взаимодействий в виртуальном
пространстве с трехмерными экранными представителями – человекообразными «аватарами» или компьютерными «агентами»
[94], [149]. При этом определенное значение для допуска в «личное пространство» имеют, как показано в этих работах, пол испытуемых и воспринимаемый пол аватаров, а также направление их взгляда – такого рода особенности близки к специфике
обычного общения вне виртуальной среды.
Виртуальные среды разрабатываются и применяются также
для диагностики коммуникативных расстройств и тренинга речевых умений. Такой проект описан, к примеру, в работе
S. Williams [221]. Тренинг состоит в первоначальном наблюдении
специалистом по речевой патологии особенностей взаимодействия испытуемого с компьютерным «агентом» в рамках заданного сценария бытового характера, анализе психофизиологических параметров (частота сердечных сокращений, электрическое
сопротивление кожи и др.) и отборе сценариев последующих взаи­
модействий из создаваемой в настоящее время библиотеки таких
сценариев.
Разрабатываются и испытываются также принципиально новые виртуальные орудия, предназначенные для невербального
общения, – к примеру, орудия «виртуального прикосновения»
[130]. Известно, что в общении «лицом к лицу», как в деловом,
237
так и в интимно-личностном общении, прикосновения играют немалую роль – к примеру, роль одобрения и подбадривания, убеждающую роль или роль утверждения и поддержания статуса (достаточно припомнить, к примеру, ритуал рукопожатия). Прикосновения опираются на тактильные и кинестетические ощущения,
за которые отвечают соответствующие рецепторы. На последние
можно воздействовать с помощью механических, электрических,
термо- или виброактиваторов. Посредством кросс-модального переноса и иных психофизиологических механизмов виртуальные
прикосновения значительно усиливают ощущение присутствия
(Presence) в виртуальной среде, а также чувство «общности»
(togetherness). В работе [130] подробно анализируются разработанные к настоящему времени и перспективные модели опосредствованных прикосновений с помощью устройств, которые можно держать в руке и которые передают на расстояние (посредством, к примеру, мобильных телефонов) на другое устройство
силу нажатия и нагревания сжимаемого в руке устройства. Такие устройства с разной степенью достоверности могут считаться
орудиями «виртуального прикосновения».
Психология общения включает и психологию манипулятивного воздействия. Немало примеров такого рода собрано в книге
B. J. Fogg [126] и в последующих трудах по так называемой «каптологии» (captology – это продленная до наименования научного
направления аббревиатура от «computer as persuading technology»), понимаемой как организация нацеленных и запланированных попыток воздействия на поведение в целом или на отношения (аттитюды) пользователей компьютерных систем, причем
такое воздействие не должно быть основано на лжи или недобросовестности [126]. Каптология, однако, до сих пор по большей части не связана с применением виртуальных реальностей. Одно из
немногих исключений составляет статья испанских специалистов [95]. В ней сделана попытка разработать виртуальную среду,
способствующую индуцированию у человека конкретных эмоциональных состояний, или настроений (moods): грусти, счастья,
тревоги или релаксации. Для этого испытуемым (110 студентов
в возрасте от 18 до 49 лет) предлагалось самостоятельно передвигаться по виртуальному парку и обследовать виртуальные объекты в нем – деревья, беседки и скамейки. Пространственная структура виртуального парка была общей для всех испытуемых. Переменные, призванные индуцировать конкретные настроения,
238
включали яркость и направленность освещения в виртуальном
парке; музыкальное сопровождение и короткий эмоционально
окрашенный текст (озвученный женским голосом) в наушниках;
задание каждому испытуемому выбрать одну из четырех картинок на стенке виртуальной беседки; задание каждому испытуемому упорядочить пять помещенных там же эмоциогенных высказываний, выбранных из психологической опросной методики.
В предварительных исследованиях были подобраны соответствующие каждому эмоциональному состоянию задания и сопровож­
дающие «виртуальный тур» условия.
Испытуемые заполняли психологические шкалы, призванные
диагностировать эмоциональные состояния до и после применения ими системы виртуальной реальности. Итоги исследования
показали с высокой степенью достоверности, что их настроение
действительно изменялось соответственно индуцируемым им
эмоциональным состояниям: грустным или счастливым. Делается вывод о пользе данного виртуального инструментария для
клинических применений [95].
Несмотря на общую заинтересованность исследователей в области виртуальной реальности в измерении и диагностике сопутствующих практике применения таких систем эмоциональных
состояний [189], развернутых исследований такого рода пока немного. Отметим выполненное с применением той же методики более обширное исследование с участием испанских и итальянских
авторов [188]. В нем также продемонстрирована возможность индуцирования психологических состояний тревожности или расслабленности (релаксации), причем дополнительно к ранее полученным результатам отмечается существенное обстоятельство:
возникновение отмеченного и подробно проанализированного
нами ранее эффекта присутствия (Presence) в большей степени
опосредствуется эмоциональным отношением испытуемого к ситуации эксперимента, нежели технологическими параметрами,
например, степенью реализма визуальных образов. В свою очередь, как это также отмечено в работе [188], эмоциональные состояния испытуемых проявляют определенную зависимость от
глубины и устойчивости Presence.
Поскольку эмпирических исследований такого рода пока немного, обратимся к современной художественной литературе,
в которой также разрабатывается тематика индуцирования виртуальных состояний и которая при этом позволяет себе двигаться
239
в данном направлении значительно дальше, чем ученыеэкспериментаторы. Одним из таких сочинений является книга
В. Пелевина «Шлем ужаса» [54]. В ней описываются возможные
методы оказания манипулятивного воздействия на человека,
снаряженного оборудованием виртуальной реальности.
Допустим, предполагает автор, в виртуальной реальности имеется площадка с тремя одинаковыми мраморными вазами, и задача состоит в том, чтобы подвести человека только к одной из
них. Доступным или только воображаемым методам В. Пелевин
дает следующие яркие наименования:
− «Липкий Глаз» – при поворотах головы одна из ваз как бы
«залипает» в поле зрения и находится там дольше, чем это было
бы вне виртуальной реальности;
− «Гиря» (математическая гиря) – когда человек пытается
уйти от этой вазы, программа замедляет его движение, а когда
приближается к ней, она его ускоряет;
− «Павловская Сука» – при взгляде на «ненужные» вазы начинает рябить в глазах, возникает неприятный гул в ушах, бьет
током или действует инфразвук, и человек начинает испытывать
мрачный мистический ужас перед всеми вазами, кроме нужной.
Реверсивным методом Пелевин полагает стимуляцию центра удовольствия в головном мозгу при выборе «нужной» вазы;
− «Солнечный Поцелуй» – на «нужную» вазу падает солнечный
луч или раздается трогающая сердце мелодия, когда она попадает
в поле зрения. При взгляде же на другие вазы солнце уходит за
тучи, спускается серый туман, раздаются неприятные звуки. Реверсивному методу автор дает наименование «Туман и Мрак»;
− «Седьмая Печать» – ваза, которую следует выбрать, выделяется с помощью таинственных знаков, будящих воображение или
интерес (годится, к примеру, отпечаток руки на ее поверхности,
указывающие на нее стрелки на земле, сидящий на ее краю белый голубь, таинственное граффити и пр.). Реверсивный метод
именуется «Ле Пен Клуб»: те вазы, которые требуется исключить,
оказываются исписаны грязными выражениями.
Как легко видеть, художественное воображение способно подсказать специалистам перспективные направления работы в области применения систем ВР для организации манипулятивного
воздействия; при этом надо признать, что разница между воображаемыми и реальными системами такого рода начала сокращаться.
240
К психологии общения и психологии манипулятивного воздействия достаточно близко примыкает социальная психология. Так,
социально-психологическая проблематика включает изучение особенностей командной работы и/или игры в виртуальной среде, что
часто характеризуется как «co-presence», или «со-присутствие»
[175], [225]. Другое значительное направление работы в области социальной психологии связано с анализом взаимодействий, опосредствованных экранными представителями – аватарами (или похожими на аватары объектами) [96]. Например, в работе [224] рассматривается взаимодействие испытуемых (им предлагается «роль»
учителя иностранного языка) с виртуальной – представленной на
мониторе компьютера – студенческой группой. Члены виртуальной
студенческой группы демонстрируют разную степень заинтересованности и познаний в иностранном языке (различия заранее запрограммированы). Испытуемые, в свою очередь, с легкостью начинают относиться к членам виртуальной группы как к живым
людям, тем более что, наряду с вербальными воздействиями, они
могут перемещать виртуальные неодушевленные объекты, испытывать «контакт глаз» с членами виртуальной группы, демонстрировать им указательные жесты, причем все это – в достаточно реалистичной манере. Задача исследования [224] – выявить, какие невербальные, просодические, кинесические сигналы применяют
испытуемые при взаимодействиях с виртуальными субъектами.
Наконец, еще одно ярко проявившее себя направление
социально-психологических исследований в виртуальных средах – это работа M. Slater и соавторов [205] по моделированию
широко известного социально-психологического эксперимента,
проведенного в 1960-х годах S. Milgram. В этом исследовании, замысел которого был навеян событиями времен Второй мировой
войны, было показано, что испытуемые способны предпринимать
действия, граничащие с жестокостью и беспощадностью, если ответственность за это с них снимается. Исследование Milgram невозможно повторить в силу многих причин: оно широко известно,
так что было бы непросто отыскать «наивных» испытуемых; теперь уже оно не соответствует этическим нормам психологического исследования, которые значительно ужесточились по сравнению с теми временами, когда оно было проведено. Между тем
повтор классических исследований – один из распространенных
методов организации психологического практикума для сту­
дентов-психологов.
241
Повторить исследование Milgram оказывается возможным исключительно в виртуальной среде, что и было осуществлено командой под руководством M. Slater [205]. В рамках этой методо­
логии испытуемым предлагается «обучать» виртуальный пер­
сонаж, причем о виртуальности и «ненастоящести» этого пер­
сонажа испытуемым с самого начала доподлинно известно.
Испытуемые воспринимали такой персонаж на экране посредством стереоочков. Несмотря на это знание, испытуемые, как
было показано исследователями, в подавляющем большинстве
отнеслись к виртуальному персонажу как к живому существу, сочувствовали ему и одновременно «наказывали» это существо за
недостаточную успеваемость в выполнении предписываемых действий. Отношение как к живому существу было продемонстрировано исследователями на основании вербального опроса, заполнения испытуемыми специальных опросников и наблюдения за
испытуемыми вместе с регистрацией их действий, а также на
основании психофизиологических параметров (электрическое сопротивление кожи и частота сердечных сокращений), которые
регистрировались у испытуемых. Исследователи делают вывод,
что классический эксперимент Milgram, как, вероятно, и другие
эксперименты, которые в силу изменившихся требований к психологическому исследованию не могут более выполняться ни как
источник получения сравнительных данных, ни как профессиональный тренинг студентов, которые можно повторить как исследования, выполняемые в виртуальной среде. Тем самым системы виртуальной реальности способны принести существенную пользу психологическому образованию.
Отметим коротко такие направления работы, которые уже
были рассмотрены выше с той или иной степенью детализации.
Так, для организационной психологии существенны такие применения систем виртуальной реальности, как организация дистантных рабочих совещаний с передачей невербальных сигналов
для аналога «взятия слова» и передачи инициативы в разговоре,
т. е. плавной, без раздражающих перебиваний, сменой говорящих, с «вниманием к вниманию», передачей моментов фиксации
взгляда и др. В рамках организационной психологии начинают
также применяться аватары как посредники в торговой рекламе:
как орудия демонстрации новых товаров, примерки изделий легкой промышленности, способов расстановки мебели в некотором
пространстве и др.
242
Новые задачи ставит виртуальная среда перед психологией
труда. Эти задачи связаны, к примеру, с исследованием и разработкой эргономических норм для систем ВР, предназначенных
для применения их людьми, в том числе людьми с особыми требованиями. Такая задача подробно обсуждается, например, в работе [127]. Отмечается, что проведение подобных исследований
в рамках юзабилити и разработка нормативных методик оценки
качества и безопасности применения человеком систем ВР представляют собой отдельную задачу. К примеру, методы, разработанные для оценки графических интерфейсов, представляются
недостаточными. В этой работе рассматривается множество ВРсистем и анализируются частные и общие подходы к обеспечению
безопасности применения таких систем и эффективного их использования.
Большой объем задач стоит перед психологией обучения, или
педагогической психологией: в настоящее время только «нащупываются» способы организации обучения, в том числе профессионального и группового, в 3D-среде. Кроме того, не вполне
ясно, как следует организовать ориентировочное поведение и изу­
чение виртуальной среды в сложных системах виртуальной реальности [78]. Исследователи выдвигают предложения об организации мультимодальных каналов обратной связи в обучающих
системах виртуальной реальности – например, об объединении
речевого общения между студентами, изучающими физические модели, с гаптической (тактильной) и олфакторной обратной связью [185].
Поскольку системы ВР обладают генетическим родством
с системами-симуляторами и тренажерами, то условия и специфика приобретения и переноса навыков могут быть частично позаимствованы, однако не вполне известно, до какой степени это
возможно и каковы более специальные условия и методы организации обучения в системах ВР. Новые области применения систем
ВР все более связываются с организацией спортивных тренировок, в частности, моделированием и разыгрыванием тактического противоборства в будущих поединках. Так, в университете
штата Мичиган разработана виртуальная CAVE-система1 в помощь тренировкам футболистов: такая система позволяет отрабатывать варианты тактического расположения игроков своей ко1 См.: http://www-vrl.umich.edu/project/football/index.html.
243
манды и команды противника на поле, учиться распознавать
конкретных игроков и подаваемые ими сигналы, а также сигналы, подаваемые находящимся за пределами поля тренером и др.
Другая область применения систем ВР в спортивных целях связана с рекламной и выставочной деятельностью – таковы, к примеру, не имеющие собственно спортивного значения популярные
шоу с участием сильнейших шахматистов, испытывающих оборудование виртуальной реальности и соревнующихся с шахматными программами.
Еще одно значительное применение систем ВР в психологии
связано с психотерапией, оказанием психологической помощи
при страхах, фобиях и посттравматических стрессах.
3.6.2. Применением систем виртуальной реальности
в психотерапевтических целях
В последнее десятилетие системы виртуальной реальности
все шире применяются для целей психологической помощи пациентам, психотерапевтических воздействий, психологической
реабилитации. Начало этому было положено в 1992–1993 гг., согласно свидетельству Макса Норта, именующего себя и свою
команду «пионерами» применения систем виртуальной реальности в психотерапии и действительно выпустившего в 1997 г. посвященную этому книгу [173]. Единичные опыты превратились
если не в массовое, то в достаточно распространенное направление деятельности в области оказания психологической помощи
клиенту [190]: этому направлению практической работы и исследований посвящены специальные издания и отдельные конференции, а кроме того, оно входит составной частью во многие
неспециальные, например, посвященные применению информационных технологий, конференции (в качестве примера могут
быть названы несколько последних международных конференций по взаимодействию человека с компьютером – HCI или CHI).
Мы кратко рассмотрим данное направление, которое в крайне недостаточном объеме представлено в источниках на русском языке
[22], [77], [82].
К преимуществам применения систем виртуальной реальности в психотерапевтических целях можно отнести следующее.
Такие системы позволяют создавать и презентовать человеку
(клиенту или пациенту) специально подготовленные и отобран244
ные стимулы, которые специалисты-терапевты полагают необходимыми и полезными. Естественно, такие стимулы предстают
трехмерными, объемными и при необходимости жизненными,
т. е. мало чем отличающимися от реальных; следует заметить,
что вне ВР иной раз сложно изготовить или подобрать такие стимулы – это относится, к примеру, к некоторым конкретным видам посттравматических стрессов, страхов и фобий. По сути, человек погружается в специально сконструированную среду, в том
числе погружается иммерсивно (п. 1.4). Причем все параметры
такой среды досконально известны и могут быть оценены как количественно, так и качественно, что отличает их от психотерапевтических воздействий без применения ВР, которые по большей
части ограничиваются качественными методами анализа. Более
того, параметры могут быть градуированы соответственно некоторой шкале, и динамика нарастания их интенсивности также
может быть рассчитана с большей точностью, нежели при традиционном подходе, т. е. без применения систем ВР. Привлекательной выглядит перспектива создания виртуальных терапевтических сред, включающих игровые сценарии, которые способствуют возникновению и сохранению позитивной мотивации у клиентов/пациентов. Данное обстоятельство немаловажно, поскольку
значительное число нуждающихся в психологической помощи не
обращаются за ней из-за страха столкнуться с вызывающими
опасение субстанциями, а потому они не получают такую помощь.
Наконец, при ограниченной возможности непосредственного
воздействия на пациента/клиента в ряде случаев практикуется
опосредствованное воздействие: к примеру, ВР-обучение людей
с ограниченными возможностями (заболевания органов движения, аутизм и др.) основам правил дорожного движения иногда
оказывает косвенный позитивный эффект и в дальнейшем может
способствовать успеху других видов терапевтических воздействий или вести, например, к повышению самооценки, субъективного чувства комфорта и т. п. [77]. Системы ВР применяются
и в профилактических целях: в попытках избежать негативных
последствий для интеллектуального развития заболеваний, ведущих к инвалидности [209]. Существенно, что виртуальная реальность все более широко применяется и для облегчения страданий
соматических пациентов – например, для облегчения ощущения
нестерпимой боли при медицинских процедурах, как это бывает
245
при перевязках людей, получивших тяжелые ожоги. Так, созданная в Универистете штата Вашингтон в США программа виртуальной реальности под названием «Мир снега» создает у ожоговых пациентов иллюзию полета над пространством, заполненным снегом и льдом; при этом зафиксировано, что программы
виртуальной реальности во время обработки ран у ожоговых пациентов значительно ослабляют боль. Изображения, полученные
с помощью функциональной магнито-резонансной томографии,
показывают, что виртуальная реальность вызывает снижение
уровня активности головного мозга, связанной с болью [82].
Однако вернемся к психотерапевтическим применениям систем виртуальной реальности. С самого начала основным терапевтическим методом для специалистов стал метод когнитивнобихевиоральной психотерапии [137], [174], [195]. В его основе –
многократный повтор элементов поведения, вызывающих страх
или тревогу у клиента, для их систематической десенситизации, т. е. угасания страха либо замещения его иной, отличной от
страхом, реакцией. Мы не будем подробно останавливаться на
данной специфической психотерапевтической технике, тем более
что основы ее описаны на русском языке в книге [74], а определенное представление можно получить из ряда доступных Internetисточников1. Визуальное представление об этом методе психо­
терапии и о роли систем ВР [114] можно получить, ознакомившись со снятым в 1999 г. видеороликом о помощи при лечении
арахнеофобии, т. е. страха пауков2.
Виртуальной терапии, как это быстро выяснили специалисты
[137], [190], [196], лучше всего поддаются разнообразные страхи,
тревоги и фобии, в том числе социофобии; в недавнее время стали
предприниматься все более многочисленные попытки применить
данный терапевтический метод для оказания психологической
помощи при расстройствах внимания, некоторых формах детского аутизма, а также страдающим от посттравматического стресса.
Наряду с арахнеофобией, специалисты активно занимаются оказанием помощи при боязни высоты, пространственных фобиях
(боязни замкнутых помещений или, наоборот, открытых пространств), страхах перед явлениями природы (ветра или шторма),
1 См., например: http://behavior.romek.ru/autori.htm.
См.: http://vvi.virage.com/cgi-bin/visearch?user=pbs-saf&template=template.
html&query=spider&category=0&viKeyword=spider&submit=Search&page=2.
2 246
зоофобии (боязни животных), страхе полета в самолете или страхе
езды в автомобиле, социальных фобиях и тревогах, расстройствах
приема пищи (анерексия или булимия), страхе публичных выступлений. Все более значительны усилия по применению систем
виртуальной реальности для психологической реабилитации пациентов, перенесших тяжелое заболевание и восстанавливающих
соматическое и психическое здоровье [191], [192], [209], [218].
Нетрудно заметить, что ряд специализированных систем виртуальной реальности имеют значительное сходство с системамиимитаторами, симуляторами и тренажерами: это признается существенным для создания эффекта погружения и усиления эффекта Presence. К примеру, таковы системы для преодоления
страха езды в автомобиле [215]. Впрочем, виртуальные модели,
применяемые для других, в том числе достаточно распространенных видов страхов и фобий, также вполне сложны и технологичны [105], [165], [190].
Отметим, что данное направление работы в области психологии, психотерапии, психиатрии, постклинической реабилитации
представляет собой растущую область исследований и практики.
Для подробного анализа данного направления работы следует обратиться к указанным выше обзорным (в основном) публикациям, а также к относительно недавним изданиям, доступным в Internet. Среди последних могут быть названы, к примеру, специализированный выпуск журнала «PsychNology Journal»1 или ряд
специализированных изданий издательства IOS Press, к примеру, сборник статей «Virtual Environments in Clinical Psychology
and Neuroscience»2.
3.6.3. Адаптация системы виртуальной реальности
для организации психологической помощи 3
Постановка проблемы организации психологической помощи
В настоящее время как фундаментальные исследования, так
и прикладные разработки возможностей применения технологии
1 См.: PsychNology Journal. 2006. Vol. 4. № 2 // URL: http://www.psychnology.
org/359.php.
2 См.: http://www.cybertherapy.info/pages/book2.htm.
3 Авторы благодарны М. А. Селисской, принимавшей участие в данном проекте на этапе его планирования, а также Л. Н. Бабанину и О. В. Юрченко, с кото-
247
виртуальной реальности в психотерапии широко распространены. В недавнем обзоре [135] насчитано свыше 120 работ по этой
теме. Можно считать эмпирически обоснованным положение, что
основанное на ВР-технологиях предъявление (экспозиция) субъектам тревожащих объектов эффективна при терапии фобических расстройств и во многих отношениях удобнее, чем «живая»
или «воображаемая» (фантазируемая) экспозиция. ВР-экспозиция
уже применялась при терапии широкого круга фобий (высоты,
открытого пространства, замкнутого пространства, некоторых
видов животных) и распространенных посттравматических расстройств.
В последнее время с усовершенствованием технологии эмуляции «виртуальных людей» все большее распространение получают работы по ВР-терапии социофобий, в том числе страха публичных выступлений. Боязнь публичных выступлений является
распространенным невротическим явлением, в высокой степени
характерным для современного общества. Применение систем
виртуальной реальности и специальных программ, моделирующих аудиторию (нейтральную, заинтересованную, враждебную
и т. д.), может обеспечить материал для подготовки адаптационного тренинга, имеющего целью снизить интенсивность этого
вида тревоги у отдельного индивида. Поставив индивида в условия присутствия в виртуальном зале и выступления перед виртуальной аудиторией, можно определить, каким образом индивид
воспринимает эту аудиторию: совпадают ли его ощущения с ощущениями во время доклада в реальной аудитории; испытывает ли
он аналогичные проблемы; может ли виртуальное выступление
служить тренировкой перед реальным.
Так, в проведенном в 2001 г. сотрудниками лондонского университета Д.-П. Перто, М. Слейтером и К. Баркером исследовании
[177], как и в их последующих публикациях [205], было показано, что виртуальная (смоделированная) аудитория является существенным фактором для выступающего, почти в такой же
мере, как и реальная аудитория. Оценка испытуемым самоэффективности как публичного оратора в значительной степени зависит от реакции виртуальной аудитории на его выступление.
В процессе эксперимента были исследованы реакции тревоги во
рыми были проведены рабочие консультации, предшествовавшие исследованию.
248
время пятиминутного выступления перед виртуальной аудиторией, состоящей из восьми мужчин. Использовались три варианта
эмоциональной реакции аудитории: нейтральная, позитивная
и негативная. Результаты регистрировались с помощью специально адаптированного теста PRCS (Personal Report of Confidence
as a Public Speaker), а также при помощи анализа соматических
реакций испытуемых. Дополнительным фактором являлась степень погружения испытуемого в виртуальную реальность (с использованием специального оборудования – шлема виртуальной
реальности – или только при помощи компьютера и монитора).
В результате эксперимента было выявлено, что степень тревожности испытуемых при работе в нейтральной или позитивной
аудитории соответствует обычно демонстрируемой при реальных
выступлениях; степень же тревожности при работе с негативно
настроенной аудиторией высока вне зависимости от обычных показателей.
Аналогичные исследования с применением оригинальных
программ были проведены в Технологическом университет штата
Джорджия группой исследователей во главе с М. Нортом [132],
[174]. Они отмечают, что снижение определенных видов тревожности может быть достигнуто за короткий срок, причем вне зависимости от настроения (благожелательнного, нейтрального или
враждебного) виртуальной аудитории; в Университете Хайфы
в Израиле [214] экспериментируют с составом и степенью благожелательности виртуальной аудитории; в Корее [152] специалисты варьируют степень «жизненности» персонажей в аудитории,
широко применяя видеозаписи. Все эти исследования свидетельствуют о возможности добиться существенного снижения тревожности и повышения эффективности речи перед аудиторией
посредством использования систем виртуальной реальности
и специального программного обеспечения. О стандартизации
программного обеспечения и аудиовизуального ряда речи пока не
идет, хотя, к примеру, М. Норт сообщает1, что с самого начала
ставил перед собой и своим коллективом задачу разработки стандартной надежной и недорогой виртуальной системы для терапии
фобий, страхов и стрессов, которую мог бы применять каждый
специалист, у которого может возникнуть такая необходимость –
1 См.: www.cis.cau.edu/~max/VRT1/VRT2002.html.
249
эта перспектива, правда, лишь отчасти относится к тревожности
при публичной речи.
Продолжая эту линию работ, мы поставили перед собой задачу исследовать эффекты долговременной практики выступлений
перед виртуальной аудиторией. План будущего исследования
стал предметом обсуждения, в том числе на конференциях [12],
[69]. Для исследования была разработана виртуальная среда,
представляющая собой аудиторию из двенадцати человек с возможностью запрограммировать поведение каждого из них.
Одной из целей представляемого пилотажного исследования
была апробация этой среды в качестве «виртуальной аудитории».
Кроме того, если в предыдущих исследованиях публичного выступления перед виртуальной аудиторией само выступление
было по содержанию достаточно легким (как правило, испытуемый готовил короткое сообщение на свободную тему), то осо­
бенностью данного исследования является повышенная сложность доклада (пересказ заданного текста по исторической тематике), что должно было обеспечить более серьезное отношение
испытуемого к заданию и большую экологическую валидность
результатов.
В качестве предмета исследования была избрана зависимость
уровня ситуативной тревожности (перед выступлением) от опыта
выступлений перед виртуальной аудиторией. Основной гипотезой была следующая:
гипотеза 1: опыт повторных выступлений перед виртуальной
аудиторией приводит к снижению ситуативной тревожности по
поводу предстоящего выступления. Откуда вытекает:
гипотеза 2 (эмпирическая): при повторных выступлениях перед виртуальной аудиторией будет наблюдаться снижение показателей ситуативной тревожности.
Однако снижение показателей ситуативной тревожности может быть обусловлено не только опытом выступления перед виртуальной аудиторией как таковой, но и опытом выступлений самим
по себе, привыканием к данной конкретной ситуации выступ­
ления и другими факторами. Для контроля этих возможных влияний необходимо сравнить результаты группы, выступающей
перед виртуальной аудиторией, с результатами группы, выступающей в тех же самых условиях, но без виртуальной аудитории.
Таким образом, основная эмпирическая гипотеза настоящего исследования звучит следующим образом:
250
гипотеза 3 (эмпирическая): снижение показателей ситуативной тревожности при повторных выступлениях будет больше
в группе, выступающей перед виртуальной аудиторией, чем
в группе, выступающей в той же ситуации перед нейтральным
объектом (например, выключенным монитором).
Контргипотеза: снижение показателей ситуативной тревожности при повторных выступлениях в группе, выступающей перед виртуальной аудиторией, значимо не отличается от снижения
показателей в группе, выступающей в той же ситуации перед
нейтральным объектом (например, выключенным монитором).
План исследования, описание методики
Исследование было построено по плану с контрольной группой. В каждой группе с каждым испытуемым проводилось три
индивидуальных эксперимента (в дальнейшем индивидуальные
эксперименты мы будем называть «пробами»). Основной задачей
испытуемого в ходе пробы была подготовка и исполнение доклада
на заданную тему; при этом экспериментальной группе во время
доклада предъявлялась «виртуальная аудитория», контрольной – нет. Схема эксперимента для одного испытуемого представлена на рис. 3.60.
Периодичность проведения проб с каждым испытуемым по
техническим причинам не соблюдалась, однако перерыв между
пробами всегда был не менее суток.
В эксперименте нас интересовала динамика показателей ситуативной тревожности от пробы к пробе в контрольной и экспериментальной группах, а также различия между группами по
этому показателю.
Выступление
Заполнение опросников
Подготовка выступления
Третья проба
Выступление
Заполнение опросников
Подготовка выступления
Вторая проба
Выступление
Заполнение опросников
Подготовка выступления
Введение
Первая проба
Рис. 3.60. Схема эксперимента
251
Отдельная проба была организована следующим образом. Испытуемый приглашался в помещение лаборатории. Тем, кто
в первый раз участвовал в эксперименте, сообщалась общая информация об исследовании, а именно, что задачей испытуемого
будет подготовить и прочитать доклад на заданную тему, и сделать это нужно три раза в разные дни. В зависимости от того,
к какой группе принадлежал испытуемый, ему сообщалось, что
он будет выступать либо перед «виртуальной аудиторией», либо
перед выключенным монитором (и в том и в другом случае в присутствии экспериментатора). Кроме того, спрашивалось разрешение на видеосъемку во время выступления (все испытуемые дали
такое разрешение).
Затем испытуемому предлагался текст, чистый лист бумаги
и ручка и давалась следующая инструкция: «Вашей задачей является подготовить короткий доклад (не более пяти минут), основываясь на этом тексте [указывается текст]. Вы можете изложить
основные положения всего текста или выбрать для пересказа
какую-либо его часть. По характеру доклад должен быть примерно таким, какой Вы делали бы на студенческом семинаре, посвященном данной теме. Во время подготовки вы можете делать любые записи [указываются бумага и ручка] или не делать никаких,
как Вам удобнее. После подготовки Вам нужно будет прочитать
этот доклад [только для экспериментальной группы: „Перед виртуальной аудиторией“]. Во время доклада Вы можете пользоваться своими записями, но не текстом. Ваше выступление будет записываться на видеокамеру. Если нет вопросов, пожалуйста,
приступайте. Время подготовки не ограничено». В случае необходимости испытуемым давались разъяснения по инструкции
и процедуре эксперимента, однако от ответов на вопросы о задачах исследования и характере виртуальной аудитории экспериментатор уклонялся. Во второй и третьей пробах испытуемому
говорилось, что его задача – та же самая, что в прошлый раз; повторения инструкции и разъяснений, как правило, не требовалось (большинство испытуемых уточняли только, отводится ли
и на этот раз на доклад «не больше пяти минут»).
После получения инструкции и ответов на вопросы испытуемый приступал к изучению текста и подготовке выступления.
Испытуемые за одним исключением не воспользовались предоставленной инструкцией возможностью ограничиться изучением
только части текста и прорабатывали его целиком, как правило,
252
делая обширные записи. Подготовка занимала от 25 минут до
1 часа 10 минут, в среднем 45 минут. Когда испытуемый сообщал,
что готов к докладу, ему (в первой пробе неожиданно) предлагались для заполнения опросники «Самочувствие, активность, настроение» (САН) и «Шкала самооценки Спилбергера–Ханина»
(первая часть опросника, предназначенная для измерения реактивной тревожности). Давались необходимые разъяснения по
способам заполнения опросников.
После того, как опросники были заполнены, испытуемый приглашался для исполнения доклада в специально подготовленное
место в помещении лаборатории. Испытуемый читал доклад сидя,
перед экраном монитора, на котором в экспериментальной группе
экспонировалась виртуальная аудитория; в контрольной группе
монитор был выключен. Сбоку от монитора на штативе размещалась цифровая видеокамера, с помощью которой производилась
видеозапись, а также место экспериментатора.
Экспериментатор предупреждал испытуемого о начале видеозаписи, затем (в экспериментальной группе) запускал сценарий
виртуальной аудитории; после соответствующего указания экспериментатора испытуемый начинал доклад. В случае, если доклад длился более пяти минут, выступление прерывалось (в экспериментальной группе – аплодисментами виртуальной аудитории, в контрольной – указанием экспериментатора). По завершении доклада с испытуемым проводилось небольшое интервью,
в котором ему задавался вопрос: «Поделитесь, пожалуйста, своими впечатлениями от проделанного доклада, от аудитории [последнее – только в экспериментальной группе]», в зависимости от
ответа испытуемого иногда следовали дополнительные вопросы.
Интервью также записывалось на видеокамеру. На этом эксперимент заканчивался.
Аппаратура. В эксперименте использовался персональный
компьютер на платформе Microsoft Windows XP, оснащенный необходимыми аппаратными средствами для воспроизведения 3Dграфики и звука. Виртуальная аудитория экспонировалась на
стандартном мониторе, звук подавался через два динамика. Для
видеозаписи использовалась домашняя цифровая видеокамера
Sony, укрепленная на штативе.
Программное обеспечение. Программа, выводившая на монитор динамическое изображение виртуальной аудитории и обеспечивавшая его звуковое сопровождение, была разработана в Госу253
дарственном центре компьютерного интерактивного моделирования Министерства образования РФ в Санкт-Петербургском государственном университете аэрокосмического приборостроения.
Она представляет собой интерактивную виртуальную среду с индивидуальным и групповым погружением. Особенностями среды
являются:
– погружение в трехмерный аудиовизуальный мир с шестью
степенями свободы и кинестетическими ощущениями посредством одно- и многоэкранных (моно- и стерео-) настольных, проекционных и носимых устройств, аудиосистем и системы имитации нагрузок;
– передвижение в трехмерном мире и взаимодействие с его
объектами посредством клавиатуры, мыши, трекбола, джойстиков, перчатки, трекеров, микрофона, велосипеда и т. п.;
– представление пользователей персонажами;
– поддержка визуальной, голосовой, текстовой и невербальной коммуникации;
– одно- и многопользовательский доступ.
Техническое описание виртуальной среды, использованной
в данной работе, представлено в п. 3.1.
Стимульный материал. Тексты, предложенные для пересказа, представляли собой отрывки из книги «История России» (автор всех трех отрывков – А. Н. Сахаров)1. Было подобрано три
текста, примерно равные по объему (19–20 тысяч знаков) и сложности материала. По содержанию первый текст был посвящен
предыстории народов России от появления человека на территории Восточной Европы до неолитической революции; второй –
междоусобной войне, разыгравшейся после смерти князя Вла­
димира в начале XI в.; третий – Куликовской битве и некоторым событиям, предшествующим и последовавшим за ней.
Все три текста имели повествовательный характер: при их пересказе было необходимо воспроизвести последовательность событий с учетом их географической локализации. Хотя тексты были
насыщены фактическим материалом, их отличал легкий, «живой» стиль изложения (скорее, художественный, чем академический). Такой материал был подобран исходя из следующих соображений:
1 См.: История России: в 2 т. Т. 1: С древнейших времен до конца XVIII в. /
под ред. А. Н. Сахарова. М., 2006. 943 с.
254
1) он был достаточно удобен для пересказа;
2) не был слишком хорошо знаком испытуемым (большинство – студенты-психологи);
3) требовал определенных усилий для освоения и подготовки
доклада;
4) был понятен всем испытуемым.
Тексты были распечатаны на отдельных листах формата А4
(по 6,5 страницы). Всем испытуемым предъявлялись все тексты
(по очереди), в одном и том же порядке, соответствующем хронологии описываемых в них событий: в первой пробе – «Предыстория народов России», во второй – «Династическая борьба начала
XI в.», в третьей – «Куликовская битва».
Экспозиция виртуальной аудитории обеспечивалась специально разработанной для этого программой.
Экспозиция представляла собой трехмерное (но проецировавшееся на двухмерный экран) динамическое изображение учебной
аудитории, видимое как бы «глазами» испытуемого, «располагавшегося» в виртуальном пространстве на месте преподавателя,
лицом к аудитории. Как видно из рис. 3.61, в аудитории находилось двенадцать парт, за каждой из которых сидел один виртуальный слушатель – молодой человек или девушка (всего по
шесть человек обоего пола).
Рис. 3.61. Общий вид виртуальной аудитории
255
Во время экспозиции виртуальные слушатели могли совершать определенный набор действий. В число предусмотренных
видов анимации входили покашливание, кивок, оперирование
мобильным телефоном (разговор по телефону, игра), поворот
в сторону от докладчика, аплодисменты, сон (персонаж мог «заснуть», положив голову на парту); всего 10 различных действий,
которые сопровождались соответствующими звуками (кашель,
храп, бормотание при разговоре по телефону и т. п.).
Программа не предусматривала возможности обратной связи:
поведение виртуальной аудитории определялось заранее составленным сценарием и в процессе работы программы (т. е. в процессе доклада) не могло быть изменено. Редактор сценариев (программа для разработки сценариев поведения виртуальной аудитории) позволял задать вид и продолжительность анимации для
каждого персонажа в отдельности.
Для данного исследования был составлен сценарий, условно
названный «положительно-нейтральным». В этом сценарии виртуальная аудитория демонстрировала внимание к докладу: персонажи смотрели на докладчика, кивали, если у них звонил мобильный телефон – выключали его; по истечении пяти минут,
отведенных на выступление, виртуальная аудитория начинала
аплодировать докладчику. В то же время полного впечатления
внимания аудитории не создавалось благодаря отчасти невыразительной «положительной» анимации (так, персонажи не улыбались, не записывали выступление – такие виды анимации не
были предусмотрены программой; внимание аудитории передавалось, скорее, за счет отсутствия «отрицательной» анимации),
отчасти введенным в сценарий дистракторам – кашлю и звонкам
телефонов, которые большинством испытуемых расценивались
как признаки невнимания.
В начале экспозиции программа демонстрировала анимацию,
в которой докладчик сначала стоит перед дверью аудитории, подходит к ней, затем дверь открывается, докладчик входит в помещение и поворачивается лицом к аудитории.
Всем испытуемым экспериментальной группы во всех
трех пробах предъявлялся один и тот же описанный выше сце­
нарий.
Выборка. Первоначально в исследовании в качестве испытуемых приняли участие 17 человек – студенты и аспиранты в возрасте от 18 до 34 лет, средний возраст – 23 года; впоследствии 2
256
испытуемых были исключены из выборки, и в результате состав
испытуемых стал следующим:
– экспериментальная группа – 10 человек, из них 9 женщин,
1 мужчина;
– контрольная группа – 5 человек, из них 3 женщины, 2 мужчин.
В ходе эксперимента было проведено в общей сложности
49 проб средней продолжительностью в 45 минут.
Переменные. В качестве независимой переменной выступало
наличие или отсутствие экспозиции виртуальной аудитории (различие между контрольной и экспериментальной группами). Зависимая переменная – ситуативная тревожность – измерялась
с помощью ряда эмпирических показателей:
РТ – реактивная (ситуативная) тревожность – показатель
опросника «Шкала самооценки Спилбергера–Ханина»;
С – самочувствие – шкала «Самочувствие» опросника «Самочувствие, активность, настроение» (САН);
А – активность – шкала «Активность» опросника САН;
Н – настроение – шкала «Настроение» опросника САН;
САН – общий показатель опросника САН, среднее арифметическое показателей трех указанных выше шкал.
«Сырыми» данными исследования являются показатели РТ,
С, А, Н и САН в каждой из трех проб для каждого испытуемого.
В результате корреляционного анализа этих измеряемых переменных (как по всему массиву данных без деления на пробы
и группы, так и отдельно по первой, второй, третьей пробам для
всех испытуемых) выявлены значимые корреляции переменных
РТ, С и Н. Значения коэффициентов корреляции (вычисленные
для всего массива данных) приведены в табл. 3.6.
Для всех указанных коэффициентов корреляции р < 0,01.
Эти корреляции говорят о том, что С и Н могут быть использованы как показатели ситуативной тревожности. Корреляции
Значения коэффициентов корреляции
Таблица 3.6
Показатели и их
комбинации
τ Кендалла
r Спирмена
РТ*С
–0,52
–0,69
РТ*Н
–0,45
–0,59
С*Н
0,55
0,68
257
между РТ и А не выявлено, что говорит о том, что А не является
показателем ситуативной тревожности; эта переменная исключается из дальнейшего анализа. Также исключается переменная
САН: обнаруженная корреляция РТ и САН объясняется вкладом
С и Н; следовательно, показатель САН не дает новой информации
по сравнению с Н и С.
Описательные статистики переменных РТ, С и Н приведены
в табл. 3.7.
Для удобства сравнения средних значений в контрольной и экспериментальной группах рассмотрим графики (рис. 3.62–3.64).
Таблица 3.7
Описательные статистики переменных РТ, С и Н
Группа
С
Экспериментальная
Н
РТ
С
Контрольная
Н
РТ
258
Проба
Среднее
Стандартное
отклонение
1
2
3
Всего
1
2
3
Всего
1
2
3
Всего
1
2
3
Всего
1
2
3
Всего
1
2
3
Всего
4,3
4,2
4,4
4,3
4,4
4,3
4,8
4,5
47
41
39
42
3,4
3,7
4,3
3,8
4,3
3,9
4,7
4,3
47
49
43
46
1,3
0,9
1,4
1,2
1,4
1,0
1,1
1,1
15
9
9
11
0,9
1,3
1,0
1,1
0,6
0,8
0,8
0,8
8
14
7
10
Показатель Н
Показатель С
5
4,5
4
3,5
3
1
2
3
Проба
Экспериментальная группа
Контрольная группа
5
4,5
4
3,5
3
1
2
3
Проба
Экспериментальная группа
Контрольная группа
Рис. 3.63. Средние по шкале Н
Рис. 3.62. Средние по шкале С
Показатель РТ
На графиках видно, что показатели С и Н в контрольной группе ниже, а показатель РТ выше, чем в экспериментальной, во всех
трех пробах.
Показатель С в экспериментальной группе остается постоянным (4,2–4,4); в контрольной группе в первой пробе он относительно низок (3,4) и монотонно возрастает, к третьей пробе достигая значения, близкого к экспериментальной группе (4,3). Однако
ни различия между контрольной и экспериментальной группами, ни внутри групп между пробами не являются статистически
значимыми.
Показатель Н в экспериментальной группе возрастает от первой (4,4) к третьей (4,8) пробе, различия статистически значимы
(по критерию T-Вилкоксона, р < 0,05). Показатель Н в контрольной группе в первой пробе близок к экспериментальной (4,3), во
второй пробе падает (3,9), а к третьей снова повышается до уровня, близкого к экспериментальной группе (4,7). Однако эти различия внутри контрольной группы не являются статистически
значимыми, так же, как различия между экспериментальной
и контрольной группами.
Показатель РТ в первой пробе в обоих группах одинаков
50
(47), однако во второй пробе
48
46
в экспериментальной группе он
44
снижается (41), а в контроль42
ной возрастает (49). В третьей
40
38
пробе он снижается в обеих
36
группах, но в эксперименталь1
2
3
Проба
ной все равно остается ниже
Экспериментальная группа
Контрольная группа
(43 и 39 соответственно). Снижения РТ в экспериментальРис. 3.64. Средние по шкале РТ
259
ной группе от первой к третьей пробе значимо (по критерию
T-Вилкоксона, р < 0,05); различия внутри контрольной группы
и между группами незначимы. Можно говорить только о статистической тенденции снижения РТ в контрольной группе (по
критерию T-Вилкоксона, р < 0,1), но даже и здесь из-за малой
численности контрольной группы результат нельзя считать достоверным.
Отсутствие значимых различий внутри контрольной группы
и между группами объясняется недостаточной численностью
контрольной группы (N = 5).
Некоторые дополнительные данные можно получить, подсчитав средние изменения показателей в каждой группе между первой и второй, второй и третьей, первой и третьей пробами. Так,
можно видеть, что показатель Н у большинства испытуемых
в обоих группах во второй пробе снизился, а в третьей вырос, причем в итоге он стал выше начального у 80 % испытуемых обоих
групп. Картина изменений показателя РТ иная: в экспериментальной группе он устойчиво уменьшается у большинства испытуемых. Так, во второй пробе РТ уменьшился по сравнению с первой пробой у 70 % испытуемых экспериментальной группы
и только у 40 % испытуемых контрольной группы. Хотя, в конечном итоге (разница между 1 и 3 пробами), РТ уменьшился у 80 %
испытуемых обеих групп, однако величина уменьшения показателя в экспериментальной группе почти вдвое больше, чем в контрольной (–11 и –5,8 соответственно).
Полученные данные позволяют сделать вывод в пользу подтверждения гипотезы 2 (эмпирической): при повторных выступлениях перед виртуальной аудиторией будет наблюдаться снижение показателей ситуативной тревожности. Действительно,
показатели ситуативной тревожности РТ и Н значимо изменяются в экспериментальной группе (РТ снижается, а Н растет; и то
и другое говорит о снижении уровня ситуативной тревожности).
Однако гипотеза 3 (эмпирическая) не подтверждается полученными данными. Основной причиной этого является недостаточный объем контрольной группы. Таким образом, полученных
данных недостаточно для опровержения контргипотезы и однозначных выводов в отношении основной гипотезы.
Однако в пользу нее получены некоторые косвенные данные,
представленные динамикой средних показателей ситуативной
тревожности в двух группах: эти показатели по шкалам С и Н
260
в экспериментальной группе выше, а по шкале РТ – ниже, чем
в контрольной, что говорит о более низком уровне ситуативной
тревожности в экспериментальной группе. Эти данные согласуются с основной гипотезой.
Для уточнения полученных данных и получения статисти­
чески достоверных результатов необходимо проведение полноценного исследования с участием значительного числа испытуемых. Нами продемонстрирована перспективность разработанной
программной среды и избранного подхода к развитию умений
публичной монологической речи. Разработанная программная
среда допускает моделирование основных характеристик аудитории (нейтральной, заинтересованной, враждебной и т. д.). Реализация проекта способна обеспечить исследователей мате­
риалами для подготовки адаптационного тренинга, имеющего
целью снизить интенсивность тревоги публичной речи у отдельных индивидов. В условиях присутствия в виртуальном зале
и выступления перед виртуальной аудиторией можно определить, каким образом индивид воспринимает эту аудиторию: совпадают ли его ощущения с ощущениями во время доклада в реальной аудитории; испытывает ли он аналогичные проблемы;
может ли виртуальное выступление служить тренировкой перед
реальным выступлением посредством переноса приобретаемых
навыков и умений. Задачей описанной выше работы будет, в частности, выработка методических и программно-технологических
рекомендаций по применению систем ВР в избавлении клиентов от ситуативной тревожности и в целом от страха публичной речи.
3.7. Рекомендации по созданию
и использованию виртуальных миров
Психологи определили ряд факторов, которые повышают эффективность электронной работы, в том числе обучения человека [116], [223].
1. Человек приобретает знания через непосредственный контакт с окружающим миром, т. е. в процессе реконструкции знаний, который происходит, когда обучающийся выполняет «персональные интеллектуальные задания». Согласно этой теории,
для образовательного процесса исключительно актуальной категорией является взаимодействие с миром. Когда мы взаимодей261
ствуем с окружающим миром, реальным или виртуальным, мы
вступаем с ним в непосредственное, т. е. прямое, нерефлективное,
даже подсознательное, взаимодействие. Напротив, при обращении к промежуточному интерфейсу (чье-либо описание действительности, символическое изображение, компьютерный интерфейс, оказывающийся посредником между пользователем и окружающим миром, и т. д.) возникает взаимодействие через третье
лицо, которое требует специального отображения и не может предоставить те же знания, которые можно получить при непосредственном общении.
2. Исследования процесса человеческого обучения показывают, что люди усваивают бóльшее количество информации, если
в процесс усвоения вовлечены как можно больше органов чувств,
т. е. мы лучше воспринимаем информацию, когда одновременно
задействуем органы зрения, слуха, обоняния и осязания, а также
механическую память.
3. Обучение можно определить как социальную деятельность,
результаты которой улучшаются при обмене опытом. Каждый
человек по-своему понимает и интерпретирует полученные знания, но для обеспечения общения между людьми необходимы общие значения концептов. Для решения этой проблемы применяется совместное обучение, поскольку работа в группе улучшает
персональное когнитивное развитие, а также социальные функции и навыки управления. Совместное обучение – подход, в цент­
ре которого находится учащийся: предполагается, что каждый
обучающийся принимает активное участие в обсуждениях, решениях, общем понимании и достижении целей.
Эффективность различных способов восприятия по данным
психологов приведена в табл. 3.8.
Таблица 3.8
Эффективность восприятия учебного материала
Способ восприятия
Эффективность, %
Чтение текстового материала
Восприятие информации на слух
Восприятие визуальной информации
Сочетание визуальной и звуковой информации
Обсуждение информации с другими
Данные, полученные на основе собственного опыта
Объяснение учебного материала другому
10
20
30
50
70
80
90
262
4. Традиционное образование основывается на знаниях, получаемых из книг или от преподавателей, которые необходимо применять в реальных ситуациях. Изучение ситуаций, наоборот,
основывается на том, что учащиеся легче усваивают определенные понятия в контексте, повторяющем их реальное применение.
В действительности изучение ситуаций представляет аутентичный контекст, демонстрирующий способы применения знаний
в реальной жизни.
Приведем некоторые рекомендации по использованию виртуальных миров при разработке научно-технических и образовательных электронных ресурсов, исходя из рассмотрения их
основных достоинств и ограничений.
Виртуальные миры имеют ряд преимуществ по сравнению
с традиционными технологиями исследования и обучения.
Целостное сенсорное восприятие, в том числе за счет трехмерной визуализации данных. Это биологически естественно
для человеческого организма; позволяет исключить из когнитивного процесса необходимую стадию мысленного достраивания воспринимаемой картины и тем самым облегчает работу
анализаторов, ускоряя процесс восприятия учебного материала;
существенно повышает степень понимания и закрепления материала. Использование трехмерной графики способствует более
реалистичному и детальному раскрытию тем, а также подра­
зумевает больше точек зрения и возможностей интерпретации
по сравнению с двухмерным изображением. В условиях виртуального мира с помощью полисенсорных стимулов, таких как
трехмерное пространственное звучание или стимулы осязания
(сила, вибрация), можно активизировать все человеческие возможности.
Непосредственное формирование индивидуального и коллективного опыта. Предоставление интерактивного опыта – одна из
наиболее значимых особенностей виртуальных миров. Во многих
случаях взаимодействие посредством виртуальных миров может
заменить непосредственное общение, оно предоставляет возможности спонтанного приобретения знаний и требует меньших когнитивных затрат, чем традиционные методы образования.
Виртуальные среды способствуют развитию необходимой реалистичности и интерактивности и поэтому способны заменять непосредственное образование, поддерживая систему изучения ситуаций.
263
Виртуальные миры предоставляют новые инструменты и методы совместного обучения, доступные даже людям, которые физически находятся в отдаленных местах. Примером совместного
образовательного пространства может служить система CVE-VM
[166], предназначенная для преподавания и обучения в бразильских школах. Дети взаимодействуют через Internet и создают
свой виртуальный мир, таким образом приобретая знания о нем.
CVE-VM – это и распределенное приложение, вовлекающее большое число пользователей, т. е. ученики могут работать вместе не
только для решения проблем, но и для расширения виртуального
мира. Цель подобных приложений – развитие и углубление знаний, где особое внимание уделяется взаимодействию между учащимися.
Возможность приобретения знаний способами, недоступными в реальном мире. Благодаря виртуальным мирам, открывается большой потенциал действий, которые нельзя предпринять
в реальном мире вследствие их дистанцированности, высокой
стоимости, опасности или непрактичности. Например, возможно
реконструировать античные здания и города, чтобы посмотреть,
как они могли выглядеть на самом деле и как жили люди в древние времена; или можно тренировать космонавтов до их отправления в космос.
Виртуальные миры обеспечивают три вида опыта построения
знания, которые недоступны в реальном мире, но это важно для обучения. К ним относятся размер, трансдукция и материализация.
В виртуальных мирах пользователи могут изменять свои пространственные характеристики (например, размер) для более детального изучения исследуемого предмета. Например, они могут
увеличиваться до планетарных размеров или уменьшаться до такой степени, чтобы можно было различить атомы и молекулы.
Понятие трансдукции более фундаментально. Преобразователь делает информацию доступной для органов чувств. В виртуальном пространстве возможно преобразование любых данных
в формы, цвета, движения, звуки или вибрации, т. е. в то, что
можно видеть, слышать, чувствовать и осязать. Поэтому виртуальные среды рассматриваются как преобразователи, которые
расширяют спектр информации, доступной в ходе непосредственного эксперимента. С помощью трансдукции и изменения размера пользователи могут воспринимать даже ту информацию, которая в реальном мире не имеет физического воплощения.
264
Наконец, материализация относится к процессу создания вещественного представления абстрактных понятий. Все вышеупомянутые возможности приобретения знаний не доступны в реальном мире, но они представляют огромный потенциал для образования.
Другим преимуществом виртуального образования является
возможность анализа одного и того же предмета или явления
с разных точек зрения. Таким образом, пользователи могут лучше усвоить изучаемый предмет и создать более правильное
и полное представление о нем. В [166] приведен пример тренажера для лечения невралгии, для чего требуется нейрохирургическое вмешательство – введение иглы под кожу пациента для прокола овального канала. Интерфейс демонстрирует студенту две
точки зрения: внешнюю – обычную точку зрения хирурга и внут­
реннюю – «точку зрения» иглы. Конечно, данное изобретение не
особо реалистично, но оно помогает студентам правильно спрогнозировать свои действия и локализовать овальный канал. Еще
один пример использования нескольких точек зрения представлен в виртуальном проекте «Virtual Big Beef Creek project» [166],
в ходе которого для обеспечения навигации расширяется устье
реки, а при выполнении этого проекта пользователь приобретает
знания в области океанологии. Каждый пользователь может исследовать окружающий ландшафт при помощи разных пере­
воплощений, каждое из них предлагает разные точки зрения
и содержит определенные ограничения в передвижении. На­
пример, пользователь выбирает научное перевоплощение, он может двигаться как человек и получать данные о температуре
воды и давлении, если же он выбирает перевоплощение в рыбу,
он может плавать на глубине, но не способен находиться на поверхности.
Невербальная коммуникация, связанная с чувствами и эмоциями человека, его внешним видом и поведением. Общение между людьми гораздо проще и более привлекательно, чем взаимо­
действие с книгой или компьютером. Поэтому возможность интерактивного общения с виртуальными людьми внутри виртуального образовательного пространства всегда оценивалось как
значительное преимущество, которое можно продуктивно использовать в рамках образовательного контекста. Прежде всего,
с помощью виртуальных людей можно получить реалистичное
представление об изучаемом предмете, что необходимо, напри265
мер, для подготовки студентов-медиков и обучения оказанию
первой помощи. В подобных ситуациях дополнительное преимущество виртуального пациента по сравнению с глухонемым – возможность физической и, самое главное, эмоциональной реакции
на действия студента, что делает ситуацию более реальной и увеличивает степень участия студента в процессе. Эмоции также
важны, когда происходит взаимодействие с виртуальными учителями, например, в случае дистанционного или электронного
образования. Доказано, что одно присутствие героя, похожего на
человека, положительно влияет на обучение («эффект персоны»),
но еще бóльшее положительное влияние на мотивацию со стороны ученика оказывает виртуальный учитель, который одобрительно относится к достижениям своего подопечного и переживает по поводу его неудач. У виртуальных учителей, анимационных
педагогических агентов, есть и другие преимущества.
Во-первых, они вносят социальный аспект в дистанционное
и электронное обучение, которое часто воспринимается как отстраненное, безличное и, следовательно, не ведущее к возникновению мотивации.
Во-вторых, они могут показать, как выполняется то или иное
задание, а не просто объяснять его, что сокращает время, необходимое для усвоения знаний, поскольку обучение через примеры
более эффективно, чем обучение через объяснение.
В-третьих, педагогические агенты способны использовать
средства невербальной коммуникации как для подтверждения
объяснения, так и для обратной связи с учениками. Например,
они могут обратить внимание пользователя на определенный объект непосредственно с помощью движения или взгляда или способны положительно или отрицательно реагировать на ответы
пользователя только с помощью мимики. Такой вид коммуникации более предпочтителен, чем вербальная коммуникация, так
как он не перебивает и не отвлекает отвечающего. Примером подобного использования педагогических агентов является проект
«on-line-преподаватели иностранного языка и культурных особенностей». В ходе данного проекта создавался виртуальный курс
для диалектов иракского языка, средств невербальной коммуникации, культурных и традиционных особенностей населения, говорящего на нем. Во время этой программы виртуальные люди
выполняли функции и актеров, разыгрывающих типовые ситуации общения, и преподавателей, объясняющих и задающих конт­
266
рольные вопросы об употреблении различных слов и о правильном поведении в предложенных ситуациях.
При оценке виртуального образовательного пространства
необходимо иметь в виду три фактора – понимание, передача образовательной информации и запоминание.
1. Степень понимания обычно оценивается, и в научной литературе можно найти ряд позитивных оценок этого процесса. Понимание должно приводить к уменьшению неопределенности.
Однако, к сожалению, пока не существует общепринятых адекватных критериев для данной оценки.
2. Понятие о передаче образовательной информации из виртуального в реальное пространство, прежде всего, может применяться по отношению к профессиональному образованию или,
в более широком контексте, для выполнения сенсомоторных заданий. Логично предположить, что имитация может служить
в качестве хорошей замены реальных понятий, по крайней мере,
на начальном этапе обучения. Однако в действительности для доказательства этой точки зрения было проведено лишь несколько
систематических эмпирических исследований, и в их ходе не
были выработаны четкие заключения о том, какие образовательные программы подлежат передаче, в каких условиях, в каком
объеме и насколько сжато должно быть их содержание. Подобная
неизученность вопроса частично происходит из-за отсутствия недорогих и легких в получении виртуальных образовательных
пространств. Поэтому с помощью технологий Web3D через Internet возможно провести оценку множества образовательных сред.
Ряд Web3D-тренажеров были разработаны для обучения хирургическим операциям, например, для лечения аневризма брюшной аорты [166] или зондирования брюшной полости. А оценка
тренажера для поясничной пункции принесла положительные
результаты, так как студенты-хирурги признали, что с помощью
этого инструмента им удалось улучшить свои практические навыки.
3. Поскольку в целом виртуальное образовательное пространство более интересно и привлекательно, чем традиционные формы обучения, его применение будет способствовать лучшему запоминанию полученных знаний. Однако поскольку подлежащее
оценке понятие виртуальной образовательной среды существует
не так давно, существенных продолжительных исследований,
которые доказали или опровергли бы этот тезис, не проводилось.
267
Большим достижением является доказательство того, что пользователям нравится работать в виртуальном образовательном
пространстве. В результате они проявляют бóльший интерес к образовательному процессу и более охотно участвуют в нем (некоторые даже называют подобное образование «развлекательным обу­
чением»).
Использование виртуальных миров для образовательных целей сталкивается с некоторыми проблемами [166].
Гибкость и портативность Web3D-технологий позволяет использовать их в создании виртуальных сред сразу для нескольких контекстов:
− формальное образование. Этот контекст включает все виды
традиционной образовательной деятельности от дошкольного до
высшего образования. В данном случае подразумевается, что образовательное виртуальное пространство используется учащимися под контролем преподавателей во время аудиторных и практических занятий;
− неформальное образование. Этот контекст создан для музеев, исторических памятников, зоопарков и т. п. Предполагается,
что им пользуются посетители, возможно, с помощью гида;
− профессиональное обучение. Данный контекст подразумевает приобретение навыков, необходимых для какой-либо деятельности. Техника, медицина, военное дело – лишь некоторые области, где подобное обучение может стать ежедневной практикой.
Виртуальное обучение может заменить практические занятия по
приобретению навыков, по крайней мере, на первом этапе подготовки;
− обучение людей с особыми образовательными потребностями. Для обучения людей с физическими и психическими отклонениями необходим специальный подход. Виртуальные среды
предоставляют им широкий спектр возможностей относительно
как традиционных уроков, так и тех навыков, которые они не могут достигнуть в реальном мире;
− дистанционное или электронное образование. Данный контекст включает как самообразование с использованием Internetресурсов, так и обучение, при котором коммуникация между
учеником и преподавателем происходит через Internet.
В 1990-е годы был выполнен ряд проектов по внедрению ВМ
в повседневную образовательную практику. Несмотря на то, что
были достигнуты и зафиксированы многие положительные ре268
зультаты, системы виртуального образования пока еще не стали
традиционным элементом обучения. Если в контексте профессио­
нального образования или неформального обучения наблюдается
все более активное применение виртуальных образовательных
сред, то в области формального образования новые методы почти
не используются.
Первая причина подобного отставания – недостаток финансирования образовательных учреждений. И возможное решение
данной проблемы – создание открытых стандартов Web3D (VRML
и X3D), они предоставляют возможность доступа через Internet
к интерактивному образовательному пространству, которое в любое время открыто для большого количества потенциальных обучающихся по всему миру. Виртуальные среды Web3D также могут функционировать и автономно, тогда для работы с ними необходимо только использование web-браузера.
Вторая проблема – оправданность подобного подхода. К сожалению, исследования в области образовательных ВМ локальны
по времени и количеству участников из-за отсутствия достаточно
полной информации о состоянии дел в этой области. Поэтому для
тщательной оценки преимуществ и недостатков образовательных
ВМ необходимы продолжительные исследования с привлечением
большого числа пользователей. Виртуальные образовательные
пространства должны рассматриваться как неотъемлемая часть
учебных программ, поэтому необходимо дать учащимся и преподавателям время, чтобы привыкнуть к ним и начать использовать
в ежедневной практике.
Также важным фактором является отношение учителей к образовательным ВМ и к их применению в аудиторной практике.
Некоторые преподаватели могут быть не заинтересованы во введении новых технологий, с одной стороны, считая это пустой тратой времени, поскольку они в корне изменяют традиционную педагогическую методологию, с другой – так как они плохо владеют
компьютером и им не нравится, что ученики лучше справляются
с данными заданиями. Эту проблему можно отчасти решить,
включив преподавателей в процесс разработки виртуальных образовательных пространств, обучая их навыкам работы с компьютером и создавая образовательные среды таким образом, чтобы это не затрагивало их самооценку.
Другие проблемы относятся непосредственно к образовательному пространству – это недостаток квалификации у виртуаль269
ных учителей и сложность использования данных программ
в классе. Пока образовательные ВМ используются для профессио­
нального обучения с целью приобретения теоретических и практических знаний, необходимых для выполнения заданий до их
возникновения в реальном мире (поэтому методология преподавания ненамного отличается от традиционной), применяется традиционный для формального образования подход, где учитель –
источник знаний, объясняющий учащимся различные понятия.
Однако образовательные ВМ созданы для продвижения знаний,
основанных на эксперименте, следовательно, меняется и роль
преподавателя: это не обучающий робот, задающий вопросы,
а гид, сопровождающий учащегося. Также следует в значительной степени изменить и структуру уроков. Однако успешное соединение традиционной структуры уроков с запросами виртуальной образовательной среды – очень сложная задача, которую еще
предстоит решить.
Отрицательное влияние на образовательный процесс также
может оказать разочарование пользователя – часто ожидания
учащихся слишком высоки, чтобы их было можно выполнить,
например, они думают, что ВМ должен быть полной копией реального мира, и недостаточная реалистичность отвлекает их от
образовательного процесса. Иногда для упрощения задания полезно сделать его более абстрактным, это не подразумевает повторения невиртуального задания, но способствует развитию навыков, необходимых для его выполнения. Пример подобной абстракции – система «MIST» (тренажер минимального хирургического
вмешательства) [166] – имитатор для приобретения хирургических навыков. В данном случае в ВМ не представлены реальные
очертания органов, так как это достаточно сложно выполнить, но
показаны их абстрактные геометрические формы.
Еще одна проблема – подходящее строение и содержание образовательных ВМ, т. е. необходимо учитывать и педагогические
теории, и практические вопросы, такие как простая способность
к передвижению внутри среды и использованию интерфейсов.
Часто пользователям не удается передвигаться так, как им хотелось бы, они легко теряются и не знают, как добраться до определенной цели или как выбрать нужную точку зрения. Поскольку
образовательное пространство ориентируется, прежде всего, на
пользователей-непрофессионалов, возможности в передвижении
и ориентация в пространстве должны быть предельно просты. На
270
самом деле, лишь некоторые образовательные ВМ предоставляют
пользователям различные возможности посредством интерфейсов, и они не всегда просты в понимании и применении.
Определенная группа вопросов связана с использованием иммерсивных технологий ВМ [223]. Подобные технологии более эффективны, чем стационарный компьютер, но пользователю, помещенному в специальную камеру или использующему специальный головной дисплей, трудно следовать за письменными
комментариями учителя, делать записи или письменно отвечать
на вопросы. Кроме того, необходимо упомянуть, что Web3Dтехнологии не обеспечивают достаточную поддержку для возможного приспособления иммерсивных технологий и других специальных систем. Однако исследователи в области Web3Dтехнологий пытаются решить эту проблему. Например, в [166]
предлагают использовать стандарты VRML/X3D в совокупности
с иммерсивными технологиями и технологиями расширенной реальности, а также разработку Х3D-браузера, который может совмещать иммерсивные технологии и кластеры обычных компьютеров. Пример коммерческой программы, использующей специальные дополнительные технологии, – лапароскопический тренажер Reachin, применяющийся для обучения хирургов. В этом
имитаторе используется VRML-97, которая предоставляет дополнительные возможности для описания осязательных свойств
предмета. В результате обучающийся через осязание устанавливает обратную связь, что способствует более практичной и полезной виртуальной деятельности.
Наконец, еще одна проблема – правильное включение виртуальных образовательных программ в учебный план. Программа
минимум заключается в том, чтобы ВМ применялись только для
иллюстрации примеров и упражнений из традиционных учебников. При этом легче использовать образовательные пространства
в условиях аудитории, но это ограничивает общий потенциал
применения виртуальных образовательных средств. Программамаксимум – с точки зрения конструктивистов, образовательные
ВМ могут занять место учебников и стать основным источником
знаний. При этом нужно переосмыслить весь процесс обучения.
Поэтому необходимо найти «золотую середину».
271
ЗАКЛЮЧЕНИЕ
Изложенный выше материал отражает важный этап в развитии методологии и технологии смешанных и виртуальных миров,
главным элементом которых является человек и которые предоставляют ему дополнительные возможности для его развития
и активного самовыражения.
Концепции и технологии смешанных и виртуальных миров
интенсивно развиваются во многих странах мира. Среди ведущих областей применения – проектирование и дизайн, военные
и бизнес-приложения, обучение и развлечения (музеи, 3Dкинофильмы и театральные постановки, компьютерные и on-lineигры, презентации и шоу), медицина, а также клиническая и экспериментальная психология.
Представляются весьма значительными перспективы взаимовыгодного сотрудничества между психологией и разработками
в области смешанных и виртуальных миров. Во-первых, как уже
говорилось, и академическая психология, и психотерапия получают значительное и не до конца еще осознанное и освоенное виртуальное содействие в сфере новых исследовательских задач
и планирования новых исследовательских проектов. Во-вторых,
такого рода новые исследовательские задачи отныне включают
и должны включать ряд нерешенных проблем, которые поднимают перед психологами уже имеющиеся или только создаваемые
смешанные и виртуальные миры и которые относятся к сфере человеческого восприятия, воображения, групповым взаимодействиям в виртуальной сфере, перспективам разработки принципиально новых виртуальных систем и сервисов. Примерами могут служить методологическое и практическое обеспечение психического здоровья и психологической безопасности субъекта
или групп субъектов, применяющих оборудование виртуальной
реальности, или, скажем, поиск перспективных направлений
компенсации сенсорных ограничений зрительного, слухового
и гаптического (тактильного) восприятия посредством мульти­
модальных воздействий. Существенной практической задачей
следует признать задачу тестирования и адаптации новых видов
оборудования смешанных и виртуальных миров, планирования
перспективных моделей такого оборудования в сотрудничестве
с инженерами и математиками. Таким образом, взаимодействие
следует признать поистине взаимовыгодным.
272
Опыт использования виртуальных миров авторами при решении различных задач позволяет утверждать, что они обеспечивают:
− целостное сенсорное восприятие;
− непосредственное формирование индивидуального и коллективного опыта;
− возможность приобретения знаний недоступными в реальном мире способами;
− возможность визуальной, голосовой, текстовой и невербальной коммуникация при общении и сотрудничестве.
– возможность повысить уровень самоорганизации на основе
использования структурированной неопределенности.
Применительно к научно-технической и образовательной деятельности это позволяет:
− повысить эффективность приобретения индивидуальных
и социальных знаний и умений;
− учесть индивидуальные особенности восприятия и обработки информации человеком;
− ускорить совместное решение сложных проблем;
− повысить как реалистичность представления и поведения
объектов и процессов, так и точность анализа взаимосвязей между
изменяющимися величинами исследуемого объекта и процесса;
− выполнять эксперименты, невозможные, дорогостоящие или
опасные в реальных условиях;
− упростить анализ, проектирование, производство и тестирование создаваемой продукции и предоставляемых услуг;
− сократить эксплуатационные расходы.
273
Литература
1. Барабанщиков В. А. Окуломоторные структуры восприятия. М., 1997.
2. Бах Б. Офтальмология в схемах и таблицах. М., 2005.
3. Богданов С. И. и др. Образовательные виртуальные миры
Петербурга // Информатизация и связь. 2005. № 2. С. 1–6.
4. Бодрийяр Ж. Система вещей. М., 1995.
5. Большой компьютерный музей Второй мировой войны
(русская и английская версии): CD-ROM. СПб., 2004.
6. Величковский Б. М. Искра Ψ: новые области прикладных
психологических исследований // Вестник Московского ун-та.
Сер. 14: Психология. 2007. № 1. С. 57–72.
7. Величковский Б. М. Технологии, внимательные к вниманию человека // В мире науки. 2003. Вып. 12. С. 87–93.
8. Визель М. Поздние романы Итало Кальвино как образцы
гипертекста // URL: http://www.litera.ru/slova/viesel/viesel.htm.
9. Википедия «VRML» // URL: http://ru.wikipedia.org/wiki/
VRML.
10. Википедия. «SecondLife» // URL: http://ru.wikipedia.org/
wiki/SecondLife.
11. Виртуальная реальность в психологии и искусственном
интеллекте. М., 1998.
12. Войскунский А. Е. и др. Виртуальная реальность как метод исследования публичной речи // Общение – 2006: На пути
к энциклопедическому знанию: Материалы международ. конф.
19–21 окт. 2006, ПИ РАО. М., 2006. С. 424–426.
13. Войскунский А. Е. Метафоры Интернета // Вопросы философии. 2001. № 11. С. 64–79.
14. Войскунский А. Е. Представление о виртуальных реальностях в современном гуманитарном знании // Материалы
Интернет-конф. «Социальные и психологические последствия
применения информационных технологий» // URL: http://www.
auditorium.ru.
15. Гибсон Дж. Экологический подход к зрительному восприятию. М., 1988.
16. Глазные болезни / ред. В. Г. Копаева. М., 2002.
17. Гребенюк В. А., Логвиновский А. А. Процессы погружения
и интерактивности в виртуальной образовательной среде // Образование и виртуальность. Харьков, 1999. С. 10–16.
18. Грюссер О.-Й., Грюссер-Корнельс У. Зрение // Физиология человека: в 3 т. Т. 1. / под ред. Р. Шмидта и Г. Тевса. М., 1996.
19. Гуманитарные исследования в Интернете / под ред.
А. Е. Войскунского. М., 2000.
274
20. Гусев А. Н. Ощущение и восприятие. М., 2007.
21. Дернер Д. Логика неудачи: Стратегическое мышление
в сложных ситуациях. М., 1997.
22. Дорохов В. Б. Технология виртуальной реальности и нейронауки // URL: http://psychosphera.boom.ru/Public/Kirov/dorochov1.
htm.
23. Иванов Д. В. Виртуализация общества. СПб., 2000.
24. Игнатьев M. Б. Голономные автоматические системы. М.;
Л., 1963.
25. Игнатьев М. Б. и др. Архитектура виртуальных миров:
монография. СПб., 2005.
26. Игнатьев М. Б. Лингво-комбинаторное моделирование
плохо формализованных систем // Информационно-управляющие
системы. 2003. № 6. С. 34–37.
27. Игнатьев М. Б. О совместном использовании принципов
введения избыточности и обратной связи для построения ультраустойчивых систем // Труды Ш Всесоюз. совещания по автомат.
управлению. Т. 1. М., 1968. С. 112–115.
28. Игнатьев М. Б. Роботы, аватары и люди как системы со
структурированной неопределенностью // Новое в искусственном
интеллекте: сборник. М., 2005. С. 105–110.
29. Игнатьев М. Б. Семиблочная модель города для поддержки принятия решений // Труды сем. «Компьютерные модели развития города». СПб., 2003. C. 40–45.
30. Игнатьев М. Б., Никитин А. В., Шишкин А. А. Панорама
битвы за Ленинград на основе технологии виртуальных миров //
ХI Санкт-Петербургская международ. конф. «Региональная информатика – 2008», СПб., 22–24 окт. 2008. СПб., 2008.
31. Интерактивная визуализация «Христианские святыни
на Святой Земле»: CD-ROM. СПб., 2009.
32. Интерактивная трехмерная модель визуализации «Святилища Аполлона в Дельфах»: CD-ROM // Электронный иллюстрированный каталог экспонатов выставки «Мультимедиа
в культуре, искусстве и образовании». М., 2008.
33. Информационные и коммуникационные технологии в подготовке преподавателей: руководство по планированию. М., 2005.
34. Ишутин В. Н. Некоторые показатели функции зрения
летного состава // Тезисы III Всесоюз. науч.-практ. конф. по безопасности полета. 1983. С. 118–119.
35. Компьютера: электрон. еженедельник. 2009. № 7.
36. Коул М. Культурно-историческая психология: наука будущего. М., 1997.
37. Кучеренко В. В., Петренко В. Ф., Россохин А. В. Измененные состояния сознания: психологический анализ // Вопросы
психологии. 1998. № 3. С. 70–78.
275
38. Лири Т. Семь языков бога. Киев; М., 2001.
39. Луизов А. В. Глаз и свет. Л., 1983.
40. Мерло-Понти М. Феноменология восприятия. СПб., 1999.
41. Микешина Л. А., Опенков М. Ю. Новые образы познания
и реальности. М., 1997.
42. Моль А. Социодинамика культуры. М., 1973.
43. Начала христианской психологии / под ред. Б. С. Братуся.
М., 1995.
44. Никитин А. В. и др. Технологии виртуализации и их применение в культуре и образовании // Труды 11-й ежегод. международ. конф. «EVA – 2008, Москва». М., 2008 // URL: http://conf.
cpic.ru/eva2008/rus/reports/theme_1428.
45. Никитин А. В., Решетникова Н. Н. Учебно-методический
комплекс по дисциплине «Системы виртуальной реальности» //
Инновационные и наукоемкие технологии в высшем образовании
России: межвузов. сб. науч.-метод. тр. М., 2008. С. 61–65.
46. Носов Н. А. Виртуальный человек: Очерки по виртуальной психологии детства. М., 1997.
47. Носов Н. А. Виртуальная психология. М., 2000.
48. Носов Н. А. Психологические виртуальные реальности.
М., 1994.
49. Официальный сайт компании Virtools // URL: http://www.
virtools,com.
50. Официальный сайт фирмы ve-group // URL: http://www.
ve-group.ru.
51. Офтальмология / ред. Е. И. Сидоренко. М., 2002.
52. Панченко А. М. «Потемкинские деревни» как культурный
миф // А. М. Панченко. О русской истории и культуре. СПб., 2000.
С. 411–425.
53. Пейдж С. Х. Зрительная система // Основы физиологии /
под ред. П. Стерки. М., 1984. С. 109–117.
54. Пелевин В. Шлем ужаса. М., 2005.
55. Пенроуз Р. Путь к реальности. М.; Ижевск, 2007.
56. Пинегин Н. И. Кванты света и зрения // Труды ГОИ.
Т. ХХХII. Вып. 161. 1963. С. 90.
57. Пограничное сознание / сост. В. Е. Багно, Т. А. Новичкова. СПб., 1999.
58. Проект многофункционального зрелищно-мемориального
комплекса «Панорама битвы за Ленинград»: CD-ROM. СПб.,
2008.
59. Психология: словарь / под общ. ред. А. В. Петровского,
М. Г. Ярошевского. М., 1990.
60. Ракитов А. И. Философия компьютерной революции. М.,
1991.
276
61. Робер Р. Письменный текст в период революционных перемен // URL: http://www.russ.ru/ist_sovr/other_lang/20010122_
rober.html.
62. Россохин А. В. Личность в измененных состояниях сознания // Ученые записки кафедры общей психологии МГУ
им. М. В. Ломоносова. Вып. 1. М., 2002. С. 279–307.
63. Рубинштейн С. Л. Проблемы общей психологии. М.,
1973.
64. Сайт института FIT // URL: http://www.fit.fraunhofer.de.
65. Сайт проекта «Мембрана» // URL: http://www.membrana.ru.
66. Сайт проекта Invisible Train // URL: http://studierstube.
icg.tu-graz.ac.at /invisible_train.
67. Сайт разработчика SIXth Sense // URL: http://www.pranavmistry.com/projects/sixthsense.
68. Сайт фирмы Total Immersion // URL: http://www.
t-immersion.com.
69. Селисская М. А. и др. Применение виртуальной реальности
в качестве психотерапевтического средства для помощи страдающим от психологических фобий: проект исследования // Труды
VII Всерос. объедин. конф. «Технологии информационного общества – Интернет и современное общество (IST/IMS–2004)». СПб.,
2004. С. 39–42; URL: http://ict.edu.ru/vconf/files/04-r1f14.doc.
70. Степин В. С. Теоретическое знание. М., 2003.
71. Субботский Е. В. Индивидуальное сознание как система
реальностей // Традиции и перспективы деятельностного подхода в психологии / под ред. А. Е. Войскунского, А. Н. Ждан,
О. К. Тихомирова. М., 1999. С. 125–160.
72. Тарт Ч. Измененные состояния сознания. М., 2003.
73. Тихомиров О. К., Райков В. Л., Березанская Н. Б. Об одном
подходе к исследованию мышления как деятельности личности // Психологические исследования творческой деятельности /
отв. ред. О. К. Тихомиров. М., 1975. С. 143–204.
74. Федоров А. П. Когнитивно-поведенческая психотерапия.
СПб., 2002.
75. Феномен компьютеризации как социологическая проблема // URL: http://www.soc.pu.ru:8101/publications/pts/divanov.
html.
76. Фершильд М. Х. Модели цветового восприятия. 2-е изд.,
СПб., 2004.
77. Форман Н., Вилсон П. Использование виртуальной реальности в психологических исследованиях. Ментальная репрезентация: динамика и структура. М., 1998. С. 251–276.
78. Форман Н., Вилсон П. Можно ли смоделировать реальность? Использование в психологии 3-хмерной среды, генериро277
ванной при помощи компьютера // Ментальная репрезентация:
динамика и структура. М., 1998. С. 251–276.
79. Форман Н., Вильсон П. Использование виртуальной реальности в психологических исследованиях // Психологический
журн. 1996. Т. 17. № 2. С. 64–79.
80. Хацевич Т. Н. Медицинские оптические приборы. Физиологическая оптика: учеб. пособие. Ч. 1. Новосибирск, 1998.
81. Хоpужий С. С. Род или недород: заметки к онтологии виртуальности // С. С. Хоpужий. О старом и новом. СПб., 2000.
С. 311–352.
82. Хоффман Х. Целительная виртуальная реальность //
В мире науки. 2004. № 11. С. 34–63.
83. Хьюбел Д. Глаз, мозг, зрение. М., 1990.
84. Шиффман Х. Р. Ощущение и восприятие. 5-е изд. СПб.,
2003.
85. Юрков Е. и др. Методические рекомендации для преподавательского состава вузов Российской Федерации по применению
перспективных технологий мультимедиа в интерактивных
информационно-образовательных и обучающих программах: рукопись / СПбГУ. Филол. фак-т. СПб., 2005.
86. Abel J. S., Foster S. H. Snapshot HRTF Measurement System:
user’s guide / Crystal River Engineering. Palo Alto, 1994.
87. Albuquerque A. L. P., Velho L. Togetherness through virtual
worlds: how real can be that presence? // Fifth Annual International
Workshop PRESENCE 2002. Universidade Fernando Pessoa, 2002.
P. 435–447.
88. Alfano P. L., Michel G. F. Restricting the field of view: perceptual and performance effects // Perceptual and Motor Skills.
1990. № 70 (1). Р. 35–45.
89. Arnsprang J. et al. An investigation into virtual representations of real places // Fifth Annual International Workshop PRESENCE 2002. Universidade Fernando Pessoa, 2002. P. 66–78.
90. Arthur K. Effects of field of view on task performance with
head mounted displays // CHI’96. Proceedings on Human Factors
and Computing Systems. N.-Y., 1996. Р. 29–30.
91. Arthur, K. Effects of Field of View on Performance with
Head-Mounted Displays: doctoral dissertation / The University of
North Carolina, Department of Computer Science. North Carolina,
2002.
92. Azuma R. et al. Recent Advances in Augmented Reality: survey // IEEE Computer Graphics and Applications. 2001. nov./dec.
P. 34–47.
93. Azuma R. T. A Survey of Augmented Reality // Presence:
Teleoperators and Virtual Environments. 1997. Vol. 6. № 4. Р. 355–
385.
278
94. Bailenson J. A. et al. Interpersonal Distance in Immersive
Virtual Environments // Personality and Social Psychology Bulletin. 2003. Vol. 29. № 7. P. 819–833.
95. Banos R. M. et al. Changing Induced Moods Via Virtual Reality // Lecture Notes in Computer Science. 2006. Vol. 3962. P. 7–15.
96. Bente G., Rueggenberg S., Kraemer N. C. Social Presence and
Interpersonal Trust in Avatar-Based, Collaborative Net-Communications // Presence: Proceedings of the 7th Annual International
Workshop. 2004. P. 54–61.
97. Bimber O., Raskar R. Modern Approaches to Augmented Reality // Tutorial. Conference Eurographics. Grenoble, 2004.
98. Bimber O., Raskar R. Spatial Augmented Reality: Merging
Real and Virtual Worlds. Wellesley, 2005.
99. Bimber O., Raskar R., Masahiko Inami. Spatial Augmented
Reality // URL: http://www.SpatialAR.com.
100.Biocca F., Harms C. Defining and measuring social presence:
contribution to the networked minds theory and measure // Fifth
Annual International Workshop PRESENCE 2002. Universidade
Fernando Pessoa, 2002. P. 7–36.
101.Biocca F., Kim J., Choi Y. Visual touch in virtual environments: an exploratory study of presence, multimodal interfaces, and
cross-modal sensory illusions // Presence: Teleoperators and Virtual
Environments. 2001. Vol. 10. № 247–265.
102.Biocca, F. Virtual reality technology: а tutorial // Journal of
Communication. 1992. № 42 (4). Р. 23–72.
103.Biocca, F. Will simulation sickness slow down the diffusion
of virtual environment technology? // Presence: Teleoperators and
Virtual Environments. 1992. № 1 (3). Р. 334–343.
104.Bobko D. J., Bobko P., Davis M. A. Effect of visual display scale
on duration estimates // Human Factors. 1986. № 25. P. 153–158.
105.Botella C. et al. Clinically significant virtual environments
for the treatment of panic disorder and agoraphobia // CyberPsychology & Behavior. 2004. Vol. 7. № 5. P. 527–535.
106.Bouchet J., Nigay L., Ganille T. ICARE software components
for rapidly developing multimodal interfaces // Proc. of ICMI’04.
2004. P. 251–258.
107.Bowman D. Travel techniques. Presented, SIGGRAPH. New
Orleans, 2000.
108.Brauner J. D., Lit A. The Pulfrich effect, simple reaction
time, and intensity discrimination // American Journal of Psycholo­
gy. 1976. № 89. Р. 105–114.
109.Brusilovsky P. Adaptive and Intelligent Technologies for
Web-based Education, Küntzkiche Intellligenz, Special Issue on Intelligent Systems and Teleteaching, 1999.
279
110.Brusilovsky P. Methods and techniques of adaptive hypermedia // User modeling and User-Adapted Interaction. 1996. № 6.
P. 87–129 (пер. на рус. яз.: URL: http://ifets.ieee.org/russian/depository/trans.html); Он же. Adaptive hypermedia // User modeling
and User-Adapted Interaction. 2001. № 11. P. 87–110.
111.Burdea G., Coiffet P. Virtual Reality Technology. 2nd edition.
New Jersey, 2003.
112.Burdea G., Coiffet P. Virtual reality technology. N.-Y., 1994.
113.Butler R. A. An analysis of the monaural displacement of
sound in space // Perception & Psychophysics. 1987. № 41. Р. 1–7.
114.Carlin A. S., Hoffma, H. G., Weghorst S. Virtual reality and
tactile augmentation in the treatment of spider phobia: a case report // Behaviour Research and Therapy. 1997. Vol. 35. P. 153–158.
115.Chittaro L., Ranon R. Adaptive 3D Web Sites // The Adaptive
Web-Methods and Strategies of Web Personalization / eds. by
P. Brusilovsky, A. Kobsa, W. Nejdl // Lecture Notes in Computer
Science. 2007. Vol. 4321. P. 433–464.
116.Chittaro L., Serra M. A Brief Introduction to Web3D Technologies in Education: SecondLife // URL: http://secondlife.com.
117. Cohen M. Integrating graphic and audio windows // Presence: Teleoperators and Virtual Environments. 1992. № 1 (4).
Р. 468–481.
118.Coutaz J. et al. Four easy pieces for assessing the usability of
multimodal interaction: the CARE properties // Proceedings of 5th
IFIP TC 13 International Conference on Human-Computer Interaction. London, 1995. P. 115–120.
119.Coutaz J. Multimedia and Multimodal User Interfaces:
A Taxonomy for Software Engineering Research Issues // East-West
International Conference on Human-Computer Interaction: Proceedings of the EWHCI92. SPb., 1992. P. 229–240.
120.DeLong A. J. Phenomenological space-time: Toward an experimental relativity // Science. 1981. № 213. Р. 681–683.
121.Dillon C., Keogh E., Freeman J. It’s been emotional: affect,
physiology and presence // Fifth Annual International Workshop
PRESENCE 2002. Universidade Fernando Pessoa, 2002. P. 223–232.
122.Dolezal H. Living in a world transformed: perceptual and
performatory adaptation to visual distortion. N.-Y., 1982.
123.EMMA: Extensible MultiModal Annotation markup language. W3C Recommendation 10 February 2009 // URL: http://
www.w3.org/TR/2009/REC-emma-20090210/
124.Enright J. T. Stereopsis, visual latency, and three-dimensional moving pictures // American Scientist. 1970. № 58. Р. 536–545.
125.Fisher H. G., Freedman S. J. The role of the pinna in auditory
localization // Journal of Auditory Research. 1968. № 8. Р. 15–26.
280
126.Fogg B. J. Persuasive Technology: Using Computers to
Change What We Think and Do. Amsterdam, 2003.
127.Galimberti C. et al. The Development of an Integrated Psychosocial Approach to Effective Usability of 3D Virtual Environments for Cybertherapy // PsychNology Journal. 2006. Vol. 14. № 2.
P. 161–180.
128.Geldard, F. A. The human senses. 2nd ed. N.-Y., 1972.
129.Gregory R. L. Eye and brain. 2nd ed. N.-Y., 1973.
130.Haans A., IJsselsteijn W. Mediated Social Touch: A Review
of Current Research and Future Directions // Virtual Reality. 2006.
Vol. 9. P. 149–159.
131.Handbook of Virtual Environments: Design, Implementation, and Applications / eds. by K. M. Stanney. New Jersey, 2002.
132.Harris S. R., Kemmerling R. L., North M. M. Brief Virtual
Reality Therapy for Public Speaking Anxiety // CyberPsychology &
Behavior. 2002. Vol. 5. № 6. P. 543–550.
133.Hatada T., Sakata H., Kusaka H. Psychophysical analysis of
the «sensation of reality» induced by a visual wide-field display //
SMPTE Journal. 1980. № 89. Р. 560–569.
134.Henrysson A. Bringing Augmented Reality to Mobile Phones:
dissertations. 2007//URL: http://liu.diva-portal.org/smash/record.
jsf?pid=diva2:16967.
135.Herbelin T. Virtual reality exposure therapy for social phobia. Thèse pour l’obtention du grade de docteur ès sciences. Lausanne,
2005.
136.Hill J. W. The perception of multiple tactile stimuli: report
№ 4823-1 / Stanford University. Palo Alto, 1967.
137.Hodges L. F. et al. Treating Psychological and Physical Disorders with VR // IEEE Computer Graphics and Applications. 2001.
Vol. 21. № 6. P. 25–33.
138.Ignatyev M. B. et al. Global model of organism for decision
making support // Proceedings of the High Performance Computing
Symposium – HPC, 2000. Advanced Simulation Technologies Conference / eds. by A. Tentner. Washington, 2000. P. 66–71.
139.Ignatyev M. B. Linguo-combinatorial method for complex
systems simulation // Proceedings of the 6th World Multiconference
on Systemics, Cybernetics and Informatics // Computer science.
2002. Vol. XI. P. 224–227.
140.Ignatyev М. The study of the adaptational maximum phenomenon in complex systems // Proceedings of Seven International
Conference on Computing Anticipatory Systems / eds. by M. Daniel
M. Dubois. Liege, 2005. P.18.
141.Isdale J. Introduction to Virtual Environment Technology.
IEEE VR2003 // URL: http://vr.isdale.com
281
142.Kaczmarek K. et al. Electrotactile and vibrotactile displays
for sensory substitution systems // IEEE Transactions on Biomedical Engineering. 1991. № 38 (1). Р. 1–16.
143.Kalawsky, R. S. The science of virtual reality and virtual environments. Wokingham, 1993.
144.Kauff P., Schreer O. (2002). An Immersive 3D Video-Conferencing System Using Shared Virtual Team User Environments //
Proceedings of the 4th international conference on Collaborative
virtual environments. Bonn, 2002. P. 105–112.
145.Kim G. J. Designing Virtual Reality Systems. The Structured Approach. London, 2005.
146.Kiriakos N. Kutulakos, James R. Vallino. Calibration-Free
Augmented Reality // IEEE transactions on visualization and computer graphics. 1998. Vol. 4. № 1. P. 1–41.
147.Koenig, W. Subjective effects in binaural hearing // Journal
of the Acoustical Society of America. 1950. № 22 (1). Р. 61–68.
148.Kolasinski E. M. Simulator sickness in virtual environments
(Technical Report 1027). Alexandria, 1995.
149.Krikorian D. H. et al. Isn’t that Spatial? Distance and Communication in a 2-D Virtual Environment // Journal of ComputerMediated Communication. 2000. Vol. 4. P. 15–27.
150.Lalanne D., Khaled O., Bapst J. Multimodal interfaces. 2006.
DIVA research group, Department of Informatics of the University
of Fribourg // URL: http://diuf.unifr.ch/courses/05-06/mmi
151.Larijani, L. C. The virtual reality primer. N.-Y., 1994.
152.Lee J. M. et al. Virtual Reality System for Treatment of the
Fear of Public Speaking Using Image-Based Rendering and Moving
Pictures // CyberPsychology & Behavior. 2002. Vol. 5. № 3. P. 191–
196.
153.Lombard M. et al. Measuring presence // Presented at the
Third International Workshop on Presence. Delft, 2000.
154.Lombard M., Ditton T. At the heart of it all: the concept of
Presence // URL: http://matthewlombard.com.
155.Martin J. TYCOON: theoretical and software tools for multimodal interfaces // URL: http://www.aaai.org/Library/Books/Lee/
lee.html
156.Martin, J., Grimard, S., Alexandri, K. On the annotation of
the multimodal behavior and computation of cooperation between
modalities // Proceedings of the workshop on Representing, Annotating, and Evaluating Non-Verbal and Verbal Communicative Acts
to Achieve Contextual Embodied Agents. Montreal, 2001. P. 1–7.
157.Massimino M. J., Sheridan T. B. Sensory substitution for
force feedback in teleoperation // Presence: Teleoperators and Virtual Environments. 1993. № 2 (4). Р. 344–352.
282
158.Massimino M. J., Sheridan, T. B. Teleoperator performance
with varying force and visual feedback // HumanFactors. 1994.
№ 36 (1). Р. 145–157.
159.Mente G., Kramer N. C. Virtual gestures, analyzing social presence effects of computer-mediated and computer generated nonverbal behaviou r // Fifth Annual International Workshop PRESENCE 2002. Universidade Fernando Pessoa, 2002.
P. 233–244.
160.Middlebrooks J. C., Green, D. M. Sound localization by human listeners // Annual Review of Psychology. 1991. № 42. Р. 135–
159.
161.Middlebrooks J. C., Makous J. C., Green D. M. Directional
sensitivity of sound-pressure levels in the human ear canal // Journal of the Acoustical Society of America. 1989. № 86. Р. 89–108.
162.Milgram P. et al. Augmented Reality: A class of displays
on reality-virtuality continuum // Proceedings of SPIE. 1994.
Vol. 2351. P. 282–292.
163.Milgram P., Kishino F. A Taxonomy of Mixed Reality Visual
Display // IEICE Transactions on Information Systems special issue
on Networked Reality. 1994. № 94. Р. 1321–1329.
164.Mitchell С. Т., Davis R. The perception of time in scale model
environments // Perception. 1987. № 16. Р. 5–16.
165.Moore K. et al. Panic and agoraphobia in a virtual world //
CyberPsychology & Behavior. 2002. Vol. 5. № 3. P. 197–202.
166.Motivations, Issues, Opportunities // Proceedings of the
First International Workshop on Web3D Technologies in Learning,
Education and Training. 2004.
167.Multimodal Architecture and Interfaces // URL: http://
www.w3.org/TR/2008/WD-mmi-arch-20081016/
168.Multimodal Interaction Framework // URL: http://www.
w3.org/TR/mmi-framework/
169.Multimodal Interaction Requirements // URL: http://www.
w3.org/TR/2003/NOTE-mmi-reqs-20030108/
170.Multimodal User Interfaces. Signals and Communication
Technology / eds. by D. Tzovaras. Berlin, 2008. 315 p.
171.Nigay L., Coutaz J. A Generic Platform for Addressing the
Multimodal Challenge // Conference on Human Factors in Computing Systems. Proceedings of the SIGCHI conference on Human factors in computing systems. 1995. P. 98–105.
172.Nilsson A. et al. The Long-term uses of Shared Virtual Environments: An Exploratory Study // The Social Life of Avatars. Presence and Interaction in Shared Virtual Environment/Ed. R. Schroeder. London, 2002. P. 112–126.
283
173.North M., North S., Coble J. Virtual reality therapy. An innovative paradigm. Colorado, 1996.
174.North M. M., North S. M., Coble J. R. Virtual Reality Therapy: An effective treatment for the fear of public speaking // International Journal of Virtual Reality. 1998. Vol. 3. № 2. Р. 2–6.
175.Nowak K. L., Biocca F. The Effect of the Agency and Anthropomorphism on Users’ Sense of telepresence, Copresence, and Social
Presence in Virtual Environments // Presence. 2003. Vol. 12. № 5.
P. 481–494.
176.Pausch R., Crea T., Conway M. A literature survey for virtual
environments: Military flight simulator visual systems and simulator sickness // Presence: Teleoperators and Virtual Environments.
1992. № 1 (3). Р. 344–363.
177. Pertaub D.-P., Slater M., Barker C. An Experiment on Public
Speaking Anxiety in Response to Three Different Types of Virtual
Audience // Presence: Teleoperators and Virtual Environments.
2002. Vol. 11. № 1. P. 68–78.
178.Pescovitz D. Getting Real in Cyberspace // Scientific American. 1999. Vol. 10. № 3. Р. 48–51.
179.Piantanida T. P. et al. Studies of the field-of-view/resolution
trade-off in virtual reality systems // Proceedings of the SPIE – The
International Society for Optical Engineering. SPb., 1994. Vol. 1666.
P. 448–456.
180.Prothero J. D. et al. Foreground/Background Manipulations
Affect Presence // Proceedings of the Human Factors and Ergonomics Society 39th Annual Meeting. Santa Monica, 1995. P. 1410–
1414.
181.Regan D., Beverley K. I., Cynader M. The visual perception of
motion in depth // Scientific American. 1979. № 241. Р. 136–151.
182.Regenbrecht H. et al. An Augmented Virtuality Approach to
3D Videoconferencing // Proceedings of the Second IEEE and ACM
International Symposium on Mixed and Augmented Reality. 2003.
P. 101–102.
183.Regenbrecht H., Schubert T. Measuring presence in augmented reality environments: can collaboration be used to measure shared
presence? // Fifth Annual International Workshop PRESENCE
2002. Universidade Fernando Pessoa, 2002. P. 129–138.
184.Rétaux X. A subjective measure of presence feeling: the autoconfrontation method//Fifth Annual International Workshop
PRESENCE 2002. Universidade Fernando Pessoa, 2002. P. 161–
173.
185.Richard E. et al. Multi-modal virtual environments for education with haptic and olfactory feedback // Virtual Reality. 2006.
Vol. 10. № 3 (4). P. 207–225.
284
186.Riecke B. E., Nusseck H.-G., Schulte-Pelkum J. Selected Technical and Perceptual Aspects of Virtual Reality Displays. № 154 //
Technical Report. 2006. 16 p.
187.Rinalducci E. J. et al. Determining the field of view in HMDs:
A psychophysical method // Presence: Teleoperators and VirtualEnvironments. 1996. № 5 (3). Р. 353–356.
188.Riva G. et al. Affective Interactions Using Virtual Reality:
The Link Between Presence and Emotions // CyberPsychology & Behavior. 2007. Vol. 10. № 1. P. 45–56.
189.Riva G. Virtual Reality // Wiley Encyclopedia of Biomedical
Engineering. N.-Y., 2006. P. 1–17.
190.Riva G. Virtual Reality in Psychotherapy: review // CyberPsychology & Behavior. 2005. Vol. 8. № 3. P. 220–230.
191.Riva G., Castelnuovo G., Mantovani F. Transformation of Flow
in Rehabilitation: The Role of Advanced Communication Technologies // Behavior Research Methods. 2006. Vol. 38 (2). P. 237–244.
192.Rizzo A. et al. Analysis of Assets for Virtual Reality Applications in Neuropsychology // Neuropsychological Rehabilitation.
2004. Vol. 14. № 1–2. P. 207–239.
193.Rock I., Harris C. S. Vision and touch // Scientific American.
1967. № 216. Р. 96–104.
194.Rock I., Victor J. Vision and touch: An experimentally created conflict between the senses // Science. 1964. № 143. Р. 594–596.
195.Rothbaum B. O. et al. Effectiveness of Computer-Generated
(Virtual Reality) Graded Exposure in the Treatment of Acrophobia //
American Journal of Psychiatry. 1995. Vol. 152. № 4. P. 626–628.
196.Rothbaum B. O., Hodges L. F. The Use of Virtual Reality Exposure in the Treatment of Anxiety Disorders // Behavior Modification. 1990. Vol. 23. № 4. P. 507–525.
197.Ruddle R. Tutorials on navigation // URL: www.comp.leeds.
ac.uk/royr/
198.Schogl A., Slater M., Pfurtscheller G. Presence research and
EEG // Fifth Annual International Workshop PRESENCE 2002.
Universidade Fernando Pessoa, 2002. P. 154–160.
199.Schouten J. F. Subjective stroboscopy and a model of visual
movement detectors // Modes for the perception of visual form / eds.
by W. Wathen-Dunn. Cambridge, 1967. P. 44–55.
200.Schroeder R. Social Interaction in Virtual Environments:
Key Issues, Common Themes, and a Framework for Research // The
Social Life of Avatars. Presence and Interaction in Shared Virtual
Environment / eds. by R. Schroeder. London, 2002. P. 1–18.
201.SecondLife Russia // URL: http://secondrussia.ru/
202.SecondLife для тинейджеров // URL: http://teen.secondlife.
com/
285
203.Shubert T., Crusius J. Five theses on the book problem: presence in books, film and VR // Fifth Annual International Workshop
PRESENCE 2002. Universidade Fernando Pessoa, 2002. P. 53–58.
204.Slater M. et al. A Virtual Reprise of the Stanley Milgram
Obedience Experiments. PLoS One // URL: http://www.plosone.org/
article/fetchArticle.action?articleURI=info%3Adoi%2F10.1371%2
Fjournal.pone.0000039
205.Slater M. et al. An Experimental Study of Fear of Public
Speaking Using a Virtual Environment // CyberPsychology & Behavior. 2006. Vol. 9. № 5. P. 627–633.
206.Slater M., Steed A. Meeting People Virtually: Experiments
in Shared Virtual Environments // The Social Life of Avatars. Presence and Interaction in Shared Virtual Environment / eds. by
R. Schroeder. London, 2002. P. 146–171.
207.So R. H. Y., Lo W. T. Cybersickness: An Experimental Study
to Isolate The Effects of Rotational Scene Oscillations // Proceedings of IEEE Virtual Reality’99. 1999. Р. 237–241.
208.Stanciulescu А. A Methodology for Developing Multimodal
User Interfaces of Information Systems: a dissertation. Grenoble,
2008.
209.Standen P. J., Brown D. J. Virtual Reality in the Rehabilitation of People with Intellectual Disabilities: review // CyberPsychology & Behavior. 2005. Vol. 8. № 3. P. 272– 282.
210.Stern R. M. et al. The effects of fixation and restricted visual
field on vection-induced motion sickness // Aviation, Space, and Environmental Medicine. 1990. № 61 (8). Р. 712–715.
211.Taylor T. L. Living Digitally: Embodiment in Virtual
Words // The Social Life of Avatars. Presence and Interaction in
Shared Virtual Environment / eds. by R. Schroeder. London, 2002.
P. 40–62.
212.Thalmann D. Advanced Virtual Reality Systems and Tele­
Presence // URL: http://ligwww.epfl.ch
213.Wagner D. et al. Towards Massively Multi-user Augmented
Reality on Handheld Devices // Pervasive Computing. Third International Conference. 2005. P. 208–219.
214.Wallach H. S., Bar-Zvi M., Safir M. Virtual Reality-Assisted
Treatment of Public Speaking Anxiety // CyberPsychology & Behavior. 2006. Vol. 9. № 6. P. 725–726.
215.Walshe D. et al. Virtually Driving: Are the Driving Environments «Real Enough» for Exposure Therapy with Accident Victims?
An Exploratory Study // CyberPsychology & Behavior. 2005. Vol. 8.
№ 6. P. 532–537.
216.Waterworth J., Waterworth E., Westling J. Presence as performance: the mystique of digital participation // Fifth Annual In286
ternational Workshop PRESENCE 2002. Universidade Fernando
Pessoa, 2002. P. 174–182.
217. Web3d Consortium // URL: http://www.web3d.org/
218.Weiss P. L. et al. Video capture virtual reality as a flexible
and effective rehabilitation tool // Journal of NeuroEngineering and
Rehabilitation. 2004. Vol. 1. № 12. P. 1–12.
219.Wells M. J., Venturino, M. Performance and head movements
using a helmet-mounted display with different sized fields-of-view //
Optical Engineering. 1990. № 29. Р. 870–877.
220.Werner E. B. Manual of visual fields. N.-Y., 1991.
221.Williams S. L. The Virtual Immersion Center for Simulation
Research: Interactive Simulation Technology for Communication
Disorders // Presence – 2006: Proceedings of the 9th Annual International Workshop. 2006. P. 124–128.
222.Wurtz R. H., Kandel E. R. Perception of Motion, Depth, and
Form // Principles of Neural Science / eds. by E. R. Kandel,
J. H. Schwartz, T. M. Jessell. 4th ed. N.-Y., 2000.
223.Youngblut C. Educational Uses of Virtual Reality Technology // Technical Report. IDA Document D-2128, Institute for Defense
Analyses, 1998.
224.Zhang H., Yu Ch., Smith L. B. An Interactive Virtual Reality
Platform for Studying Embodied Social Interaction // URL: http://
www.androidscience.com/proceedings2006/2Zhang2006SocialInte
raction.pdf
225.Zhao Sh. Toward Taxonomy of Copresence // Presence: Teleoperators and Virtual Environments. 2003. Vol. 12. Is. 5. P. 445–
455.
287
Научное издание
АРХИТЕКТУРА ВИРТУАЛЬНЫХ МИРОВ
Монография
Под научной редакцией
Игнатьева Михаила Борисовича
Никитина Александра Васильевича
Войскунского Александра Евгеньевича
Редактор В. А. Черникова
Верстальщик С. В. Барашкова
Сдано в набор 14.04.09. Подписано в печать 15.06.09. Формат 60 × 84 1/16.
Бумага офсетная. Печать офсетная. Печ. л. 18,0. Уч.-изд. л. 18,4.
Тираж 1000 экз. Заказ № 538.
Редакционно-издательский центр ГУАП
190000, Санкт-Петербург, Б. Морская ул., 67
Документ
Категория
Без категории
Просмотров
10
Размер файла
18 486 Кб
Теги
ignatiev
1/--страниц
Пожаловаться на содержимое документа