close

Вход

Забыли?

вход по аккаунту

?

Поиск данных в грид соотношение производительности сетей вычислительных кластеров хранилищ данных.

код для вставкиСкачать
Новые технологии
2. Романов А.А. Использование новых информационных технологий в отраслевой системе мониторинга Госкомрыболовства России //Сб. тр. I открытой Всеросс. конф. «Современные проблемы дистанционного зондирования Земли из космоса». – М.: ИКИ РАН, 2004. – С.17-32.
3. Центры коллективного пользования Российской академии наук. – М.: Наука, 2004. – 193с.
4. Левин В.А., Алексанин А.И., Алексанина М.Г. Задачи и проблемы спутникового информационного обеспечения мониторинга океана и атмосферы на Дальнем Востоке //Вестник ДВО РАН. – 2007. –
№ 4. – С.95-110.
5. Alexanin A.I., Babyak P.V., Herbeck F.E., Levin V.A. Satellite information support of scientific researches and economic applications//Proc. //Science&Technical information-STI2002. – October 1618,Moscow, 2002. – P.17-18.
6. Катаманов С.Н., Алексанин А.И. Автоматическая привязка спутниковых изображений
AVHRR/NOAA при сложных условиях наблюдения //Сб. тр. III открытой Всеросс. конф. «Современные
проблемы дистанционного зондирования Земли из космоса». – М.: ИКИ РАН, 2006. – С.41-48.
7. Алексанин А.И., Алексанина М.Г., Горин И.И. Спутниковые ИК-изображения: от термических
структур к полю скоростей //Исслед. Земли из космоса. – 2001. – № 2. – С.7-15.
8. Aleksanin A.I., Aleksanina M.G. Detection of Stable Synoptic Structures of Ocean Surface on Satellite
IR Images//Pattern Recognition and Image Analysis. – 2005. – Vol.15. – № 2. – P.487-489.
9. Alexanin A.I., Alexanina M.G., Herbek E.E., Ryabov O. Scaling property estimation of Thermal sea surface turbulent structures on NOAA IR-imagery //In Proc. OCEANS'98,28 Sept.-1 Oct.,1998. Nice, France, 1998.
– Vol.2. – P.1000-1005.
10. Кудашев Е.Б., Левин В.А., Филонов А.Н.. Интеграция спутниковых архивов и проблемы доступа
к информационным ресурсам спутникового экологического мониторинга //Тр. Всеросс. открытой конф.
«Современные проблемы дистанционного зондирования земли из космоса (физические основы, методы и
технологии мониторинга окружающей среды, потенциально опасных явлений и объектов)». – М: ИКИ
РАН, 2005.
ПОИСК ДАННЫХ В ГРИД: СООТНОШЕНИЕ
ПРОИЗВОДИТЕЛЬНОСТИ СЕТЕЙ, ВЫЧИСЛИТЕЛЬНЫХ
КЛАСТЕРОВ, ХРАНИЛИЩ ДАННЫХ
М.Н. Жижин, к. ф.-м. н., зав. лабораторией
Тел.: (495)930-61-15; E-mail: jjn@wdcb.ru
А.А. Пойда, асп. МГУ, н. с.
Тел.: (495)930-6115; E-mail: poyda@wdcb.ru
Д.Ю. Мишин, асп. Института физики Земли, н. с.
Тел.: (495)930-61-15; E-mail: dimm@wdcb.ru
Геофизический Центр РАН
http://www.gcras.ru
А.П. Платонов, к. ф.-м. н. директор
Тел.: (499)196-72-78; E-mail: plat@kiae.su
Российский научно-исследовательский институт развития общественных сетей
http://www.ripn.net:8080
А.А. Солдатов, д. ф.-м. н., декан МФТИ, директор по научному развитию
Тел.: (499)196-52-55; E-mail: saa@kiae.su
В.Е. Велихов, к. ф.-м. н. зам. директора
Тел.: (499)196-52-55; E-mail: velikhovve@kiae.su
Институт информационных систем РНЦ «Курчатовский институт»
http://www.kiae.ru
М.Н. Боярский, гл. спец.
Тел.: (495)333-14-88; E-mail: mb@rssi.ru
Р.Р. Назиров, д. т. н., зам. директора по научной работе
Тел.: (495)333-2023; E-mail: rnazirov@space.ru
Институт космических исследований РАН
http://www.iki.rssi.ru
Открытое образование • 4/2008
29
Новые технологии
We have developed open source Grid service GeoSciWave for data sharing, mining
and visualization in advanced environmental research. GeoSciWave provides the geoscience communities of USA and Russian Federation with a persistent high performance 1
Gbpgs lightpath directly between science centers in Moscow, Chicago and Boulder, bypassing the much slower rates of the standard Internet.
Введение
Уникальное партнерство организаций
из одиннадцати стран обеспечило возможность создания сети GLORIAD (Global Ring
Network
for
Advanced
Applications
Development) – консорциума в составе
США, России, Китая, Кореи, Канады, Нидерландов и скандинавских стран (Дании,
Швеции, Норвегии, Финляндии, Исландии),
который предоставляет
сетевые
ресурсы для построения глобальной 10-гигабитной
оптической сети
по всему северному полушарию для
науки и образования [1].
GLORIAD
является
частью
инициативы GLIF (Global Lambda Integrated
Facility) по использованию лямбда-сетей для
научных исследований и приложений, обрабатывающих большие объемы данных [2].
Сеть GLIF основана вокруг нескольких
лямбд, предоставленных участниками GLIF,
которые либо владеют ими, либо арендуют
их у провайдеров. Между собой лямбды связаны в сеть с помощью специализированных
высокоскоростных сетевых переключателей
для разных длин оптических волн. Мы называем лучами (lightpath) виртуальные телекоммуникационные каналы, построенные с
помощью лямбд и соединяющие две оконечные точки в сети. Луч может использовать частичную или полную емкость лямбд,
а также параллельно работать на нескольких
лямбдах. Лямбда-сеть может использовать
разные протоколы в зависимости от приложений [3], (рис.1 – см. цв. вставку).
Российские участники GLORIAD недавно создали лямбда-сеть для передачи
данных между несколькими научными центрами в США, Нидерландах и России со
скоростью 1 Гбит/с [4]. В этой сети проводились эксперименты по передаче, анализу и
визуализации данных об окружающей среде
с использованием целого ряда инновационных технологий. Для передачи данных был
30
применен протокол UDT на основе параллельных UDP потоков, разработанный в Лаборатории электронной визуализации (EVL)
Чикагского университета Иллинойс (UIC)
[5]. Для распределенной добычи данных использовался грид-сервис Environmental Scenario Search Engine (ESSE), созданный в
Геофизическом центре РАН совместно с
Национальным центром геофизических данных (NGDC NOAA) США и Исследовательским центром Майкрософт в Кембридже,
Великобритания [6]. Для визуализации потоков данных использовалась многодисплейная видеостена, построенная в Институте космических исследований
РАН
[7].
В данной работе мы представляем архитектуру
полученной лямбда-сети и гридсервисов, а также
результаты экспериментов по их использованию для
передачи и анализа
данных по окружающей среде.
Параллельные потоки данных в грид
Вопросы эффективного управления
большими объемами данных, а также построения открытых интерфейсов для доступа к этим данным в настоящее время являются приоритетными направлениями исследований в области развития и внедрения
технологий грид. Неслучайно российский
консорциум RDIG, позиционирующийся как
российская часть крупного международного
проекта EGEE, в расшифровке аббревиатуры звучит как «российский грид для интенсивных операций с данными», делая акцент
именно на данных [8].
Современное состояние дел предъявляет новые требования к характеристикам сетевых каналов, а также возможностям их
коллективного использования. Так, если еще
пять лет назад каналы пропускной способностью 1 Гбит/с являлись адекватным решением для межсетевых магистралей, то в настоящее время магистрали строятся на ка-
Открытое образование • 4/2008
Новые технологии
нальных технологиях 10 Гбит/с. В этой связи, 1 Гбит/c – это уже та скорость, на которую могут претендовать отдельные приложения, совместно использующие высокоскоростные магистральные каналы.
В
действительности,
даже
этих
скоростей
недостаточно для
отдельных ресурсоемких приложений.
Например,
при организации
зеркала базы архива
спутниковых
данных НОАА Comprehansive Large Array
Stewardship System (CLASS) объемом ~300
ТБайт создание локальной копии с использованием канала 1 Гбит/с займет примерно
месяц.
Ситуация осложняется тем, что наиболее широко используемый в настоящее время транспортный протокол TCP позволяет
достигать высоких скоростей только при
предельно низких значениях задержек
(RTT). В действительности, те значения по
скорости передачи, которые можно ожидать
на межконтинентальных каналах с задержками от 100 мс, находятся в пределах 5
Мбит/с. Высокопроизводительные приложения грид для повышения скорости традиционно используют несколько соединений параллельно (ParallelTCP [10], GridFTP [11],
FDT[12]), однако ввиду больших задержек
на межконтинентальных каналах данный
подход весьма ограничен по своим возможностям.
С точки зрения получения максимальной скорости передачи данных весьма перспективно выглядят решения, основанные на
построении специализированных транспортных протоколов (с контролем передачи
и гарантированной доставкой) на прикладном уровне, поверх UDP [13]. Наиболее простые решения в этой области – UDP-blast
[14] или его модификация Tsunami [15] с
адаптацией скорости передачи к уровню потерь в канале – достаточно широко применяются на выделенных каналах, где пропускная полоса полностью отдается одному
приложению.
В том случае, когда специализированный транспортный протокол передачи дан-
Открытое образование • 4/2008
ных помимо высокой производительности
должен предусматривать также функции
кооперации за пропускную способность на
разделяемых сетевых ресурсах, наиболее
удачным открытым решением является UDT
[16], который был исследован в рамках настоящей работы.
Мы
сравнили
производительность
транспортных протоколов UDT и TCP в параллельном режиме P-TCP (10 соединений)
для выявления оптимальных условий использования данных протоколов. Условия
использования здесь понимаются в смысле
сочетания характерных значений потерь и
задержек канала. Эксперимент проводился с
использованием библиотеки NIST Net [17],
позволяющей эмулировать различные значения параметров QoS канала. С этой целью
был собран экспериментальный стенд, состоящий из трех компьютеров (рис.2 – см.
цв. вставку). Компьютер 3 с работающим на
нем модулем NIST Net исполнял роль эмулятора QoS для сетевого пути между компьютерами 1 и 2.
Полученные результаты позволяют обнаружить четкую тенденцию (табл. 1): при
увеличении задержек протокол UDT оказывается более предпочтительным, а при увеличении процента потерь более предпочтительным оказывается протокол P-TCP. Выделяются два пограничных состояния: 1) с
высокими значениями потерь и низкими
значениями задержек, где P-TCP оказывается однозначно более предпочтительным и 2)
с высокими значениями задержек и низкими
значениями потерь, где однозначно выигрывает
протокол
UDT. При увеличении
процента
потерь преимущества UDT перед PTCP (по крайней
мере, для рассматриваемой конфигурации из 10 параллельных соединений) уменьшаются.
В целом можно сделать вывод, что для межгосударственных и межконтинентальных выделенных и
проектно-, предметно-ориентированных сетей и каналов однозначно более подходит
протокол UDT, который позволяет получить
выигрыш в производительности до 30 раз.
31
Новые технологии
Для локальных, городских и региональных сетей со значениями задержек в пределах 10 мс более подходит протокол P-TCP. В
некоторых случаях
он может проигрывать в производительности,
но
при этом он менее
требователен
к
системным ресурсам на конечных
станциях приема и
передачи данных.
Используя 1
Гбит/с лямбда-сеть
GLORIAD и транспортный протокол UDT,
мы смогли рекордно быстро передать сверхбольшую астрономическую базу данных
SDSS (Sloan Digital Sky Survey) [18] между
Чикаго и Москвой. Звездный каталог общим
объемом 2,5 ТБ был сжат до объема 1,4 ТБ,
разбит на 60 файлов и передан в течение 4,5
часов. В результате эксперимента была достигнута средняя скорость передачи 711
Мбит/с (844 Мбит/с в пиках) в режиме дискдиск. Полученный результат является наибольшей официальной зарегистрированной
скоростью передачи данных в рамках одного
сеанса между Россией и США.
При загрузке данных использовалось
специализированное программное обеспечение для загрузки копии SDSS Sector [19],
Таблица 1
Карта предпочтений использования параллельных сетевых протоколов
предоставленное Национальным центром
добычи данных Чикагского университета
Иллинойс (NCDM UIC). После передачи базы данных SDSS в России было создано зеркало базы данных и локализован веб-портал
для доступа данных SkyServer [20].
Распределенный анализ данных в
грид
Для потоковой обработки и добычи
данных (data mining) в лямбда-сети мы используем Систему поиска погодных сценариев (Environmental Scenario Search Engine,
ESSE) [21], созданную в Геофизическом
центре РАН совместно с Национальным
центром геофизических данных НОАА
(NGDC) США и Исследовательским центром Майкрософт в Кембридже, Великобритания. Главной задачей при создании ESSE
была возможность поиска событий в окружающей среде, которые описаны в терминах
32
естественного языка, таких как засуха, атмосферный фронт или магнитная буря. Перевод языковых конструкций в запросы к базам данных осуществляется с помощью нечеткой логики. ESSE и написанный для него
визуализационный портал объединяют поиск источников данных по метаданным, интерактивный редактор сценариев событий в
терминах нечеткой логики и систему визуализации найденных событий.
Связующим звеном между поисковиком ESSE и сообществом пользователей являются источники данных. Подключить к
ESSE новый источник данных через интерфейс грид-сервисов достаточно просто, поэтому приведенный в табл. 2 список следует
рассматривать не как исчерпывающий перечень доступных источников, а скорее как
отражение функциональных возможностей
системы на сегодняшний день.
Открытое образование • 4/2008
Новые технологии
Таблица 2
Источники данных для поисковика ESSE
Сценарии событий в окружающей
среде
Базовой моделью данных в нашем исследовании являются векторно-значный
временной ряд, например история изменений температуры и скорости ветра вдоль
траектории самолета или температурный ряд
на метеостанции.
Такой временной
ряд можно представить в виде
траектории в Mмерном фазовом
пространстве. Например (рис. 3),
мы имеем двумерную траекторию в
пространстве параметров
давление-температура (P-T).
Сценарием события мы называем некоторую область S с нечеткими границами в
фазовом пространстве, которую можно
представить в виде нечеткого множества.
Нечеткое множество можно задать выражением нечеткой логики, состоящим из предикатов, описывающих в лингвистических или
числовых терминах значения параметров в
каждом из M измерений, объединенных логическими операторами И, ИЛИ и НЕ.
Например, область S1 в верхнем правом
углу (рис. 3) может быть описана следующим выражением:
S1 = (Большое (P)) & (Большая (T)),
где лингвистический термин Большой() является предикатом, и оператор & обозначает
нечеткое логическое И. В том же духе, область S2 нижнем левом углу описывается
выражением
S2 = (Малое (P)) & (Малая (T)).
Открытое образование • 4/2008
Наконец, объединяя нечеткие описания
двух областей в фазовом пространстве с помощью оператора сдвига на определенный
шаг по времени shift (час, день), мы получаем символьную запись для сценария события в окружающей среде, которое в терминах естественного языка звучит как «атмосферный фронт», или в терминах нечеткой
логики как «очень низкие температура и
давление сразу после высоких температуры
и давления»:
Сценарий = (Shift(dT=1 day, S1)) & (S2).
Единственным
переходом в фазовом
пространстве
(рис. 3), отвечающим этому сценарию, является пара
состояний t1, t2.
Наш поисковик сценариев ESSE создан
для поиска именно
таких изменений состояния среды в
сверхбольших базах данных по окружающей
среде. Ядром системной архитектуры ESSE
является поисковый движок, который принимает на вход определения событий в форме выражений нечеткой логики, читает данные из одного или нескольких потоков, полученных из ресурсов данных, и производит
поиск и статистический анализ распределения найденных событий.
Программная реализация поисковика
Ядром системной архитектуры ESSE
является поисковый движок, который принимает на вход определения событий в форме выражений нечеткой логики, читает данные из одного или нескольких потоков, по-
33
Новые технологии
лученных из ресурсов данных, и производит
поиск и статистический анализ распределения найденных событий. При этом как сам
поисковик, так и ресурсы данных реализованы в виде грид-сервисов. Это позволяет
осуществлять параллельный поиск в распределенных архивах данных, возможно, из
различных предметных областей, и предоставляет сторонним приложениям для независимой обработки исходные данные и результаты нечеткого поиска.
Рис. 3. Временной ряд как траектория в двумерном фазовом пространстве (P-давление,
T-температура). Сценарий события как нечеткое множество в этом пространстве
Программная реализация ESSE базируется на платформе OGSA-DAI [22]. OGSADAI – это промежуточное программное
обеспечение, которые обеспечивает доступ к ресурсам данных,
например реляционным
или
XML-базам данных, через гридсервисы по стандарту WSRF [23].
грид-сервисы
OGSA-DAI
позволяют запрашивать, изменять, перемещать
данные. Таким образом, OGSA-DAI предоставляет пользователю возможность создавать грид данных из распределенных ресурсов и управлять рабочим потоком обработки
данных в этой среде.
Взаимодействие с сервисами OGSADAI ведется по протоколу SOAP посредством обмена XML-документами между клиентом и сервером. Запрос поступает на сервис и выполняется рядом обработчиков (в
терминах OGSA-DAI activity). В результате
обработки формируется ответ в XMLформате. Архитектура OGSA-DAI поддерживает потоковую обработку, что удобно
для работы с большими объемами данных.
Таблица 3
Расширения платформы OGSA-DAI для системы ESSE
Программный интерфейс доступа к
геофизическим и климатическим данным
трудно реализовать в виде стандартных запросов на языках SQL или XQuery по той
34
причине, что эти языки не поддерживают
прямо стандартную для научных приложений модель данных в виде многомерного
массива, в частности, временных рядов.
Открытое образование • 4/2008
Новые технологии
Чтобы использовать OGSA-DAI, нам пришлось написать ряд своих обработчиков
(табл. 3) для получения метаданных, выборки данных и их обработки и поиска. Схема
взаимодействия представлена на рис. 4.
Источники данных (базы данных, коллекции файлов, веб-сервисы) подключаются
к системе с помощью драйверов, унифицирующих доступ к данным на уровне общего
интерфейса. Этот интерфейс виртуализует
источники данных с помощью языка запросов высокого уровня, сравнимого по функциональности с протоколом покоординатной
выборки данных из массивов (subsetting,
hyper-slabbing), реализованной в протоколе
OpenDAP (http://www.opendap.org/). В свою
очередь, эти источники могут быть использованы для выборки части данных (Data
Source), поиска сценариев событий (Search
Engine) и получения производных данных,
например, вычисления направления ветра из
проекций скорости ветра (Data Processor).
Полученный результат транслируется в
общую модель данных (Common Data Model,
CDM) одного из трех типов – данные на координатной сетке, на станции или обсерватории, траектория в пространстве-времени –
и сериализуется в XML-документ (NcML
схема) или в бинарный файл NetCDF [24]. В
ответ клиенту с сервиса OGSA-DAI приходит XML-документ с данными, если в качестве сериализации выбран NcML, или ссылка (URL) на NetCDF файл. Функции по поиску данных в программной реализации
ESSE FuzzySearchActivity не привязаны к
специальному источнику или типу данных.
Это делает поисковик исключительно гибким. В простейшем случае можно искать
события по нескольким параметрам, хранящимся на локальной базе данных.
Рис. 4. Схема работы грид-сервиса ESSE
Для этого нужно объединить в одном
perform-документе результаты с выхода нескольких запросов на выборку данных во
входной поток для запроса fuzzySearch на
том же OGSA-DAI сервере (рис.5).
В более продвинутом сценарии можно
объединять данные для поиска из разных
источников OGSA-DAI. На рис. 6 показана
ситуация, когда часть данных для сценария
выбирается и обрабатывается на удаленном
сервере, полученная там «частичная» функция принадлежности передается с помощью
стандартных транспортных операций на локальный сервер, где затем объединяется с
остальными данными в общий результат поиска событий.
В любом случае результатом поиска
событий является упорядоченный по значимости или по времени список кандидатов
событий (времен), которые наиболее близко
соответствуют сценарию, сформулированному в виде высказывания нечеткой логики.
Рис. 5. Запрос на поиск на одном OGSA-DAI сервере
Открытое образование • 4/2008
35
Новые технологии
Рис. 6. Распределенные запросы в OGSA-DAI
Результат поиска может быть представлен пользователю в виде таблицы, как это
делают веб-поисковики Google или Яндекс,
откуда по ссылкам пользователь может получить параметры выбранного события или
заказать его визуализацию. Результаты поиска можно использовать для статистического анализа трендов в окружающей среде,
например, глобального изменения климата.
Визуализация данных с высоким
разрешением
Для коллаборативных научных исследований принципиально важна возможность
обмена изображениями и видеопотоками
высокого разрешения между группами ученых в удаленных лабораториях. Созданный
нами грид-сервис распределенной визуализации данных с высоким разрешением основан на масштабируемой адаптивной графической среде SAGE (Scalable Adaptive
Graphics Environment) [25]. SAGE создавалась в Лаборатории электронной визуализации Чикагского университета Иллинойс для
потокового обмена графикой по лямбдасетям в коллаборативных научных визуализационных средах для дисплеев с разрешение до ста мегапикселей. SAGE распространяется с открытым кодом [26].
Особенностью архитектуры SAGE является ее ориентация на сетевой обмен для
36
одновременного показа графики (такой, как
трехмерный рендеринг, удаленные консоли,
видеопотоки, двумерные карты) на многодисплейных видеостенах с локальных или
удаленных видео-кластерах и обмена этой
графикой между приложениями по высокоскоростным сетям.
Основными компонентами инфраструктуры SAGE являются оконный менеджер
FSM, библиотека функций интерфейса прикладного программирования SAIL, приемник SAGE и клиент с пользовательским интерфейсом (рис. 7). FSM получает команды
от пользовательского интерфейса и управляет графическими потоками между библиотекой SAIL на клиенте и параллельным кластером приемников SAGE на видеостене.
Библиотека SAIL захватывает графический
буфер приложения и передает потоком его
содержимое на группу SAGE приемников.
SAGE приемник управляет одним-двумя
дисплеями на видеостене и может получать
потоки сразу с нескольких распределенных
приложений. Клиент с пользовательским
интерфейсом запускает новые приложения и
управляет FSM, размещая и масштабируя их
экраны на видеостене, а также получает сообщение от FSM с информацией о текущей
конфигурации графических окон.
На Международном космическом форуме, посвященном 50-летию запуска перво-
Открытое образование • 4/2008
Новые технологии
mashup на поверхности трехмерного глобуса.
Для интерактивной визуализации потоков данных, полученных с грид-сервисов
OGSA-DAI, описанных в предыдущем разделе, нами был разработан специальный
OGSA-DAI коннектор для приложения
World Wind. Этот коннектор динамически
выбирает данные из ресурса OGSA-DAI (в
зависимости от видимой области, интервала
дат и пространственного разрешения) и отображает эти данные на трехмерном глобусе
с учетом метаданных и предпочтений пользователя (рис.8 – см. цв. вставку) [29].
Для реализации интерактивной визуализации глобуса World Wind на многодисплейной видеостене нам пришлось организовать обмен видеобуферами между DirectX
графикой World Wind и OpenGL графикой
SAIL, используя виртуальный буфер кадров
(рис.9 – см. цв. вставку). Наше программное
решение позволяет передавать видеопоток
из World Wind на видеостену по сети 1
Гбит/c с размером окна 1920x1280 и частотой 15 кадров в секунду. Для увеличения
разрешения окна графических приложений
для видеостен необходимо использовать параллельные реализации, каждый поток в которых управляет своей частью видеостены и
взаимодействует с другими по протоколу
MPI. На этом принципе основана, например,
программа для интерактивного просмотра и
масштабирования сверхбольших изображений Magic Carpet из пакета SAGE.
го спутника, в октябре 2007 года нами была
продемонстрирована возможность интерактивной научной визуализации с помощью
сервисов GeoSciWave на лямбда-сети
GLORIAD по технологии SAGE на 12дисплейной видеостене, установленной в
ИКИ РАН. Научные анимации (история
формирования крупномасштабной структуры Вселенной, столкновение галактик, пролет внутри галактики Млечный Путь, атмосферное торнадо), созданные в National Center for Supercomputing Applications, непрерывно передавались без видимых искажений
на видеостену в ИКИ со скоростью 1 Гбит/c
из Лаборатории электронной визуализации
Чикагского университета Иллинойс [7]. Все
видеопотоки передавались по протоколу
UDP в формате 4K-video с разрешением, в 4
раза превосходящим HD-video [27] при 95%
загрузке выделенного канала ЧикагоМосква.
Первоначально библиотека SAIL создавалась для графических приложений
OpenGL на платформе Linux. Нам удалось
полностью перенести инфраструктуру SAGE
на платформу .NET MS Windows для работы
с DirectX графикой. Первым .NET приложением для SAGE стал трехмерный виртуальный глобус NASA World Wind [28]. Приложение World Wind собирает из распределенных источников данных изображения Земли,
цифровые модели местности и другие данные с картографической привязкой и создает
из них интерактивный масштабируемый
Рис. 7. Архитектура SAGE
Заключение
Сочетание трех инновационных технологий – гигабитные межконтинентальные
оптические лямбда-сети, интерактивные
Открытое образование • 4/2008
грид-сервисы на параллельных кластерах
для добычи данных в сверхбольших базах
данных, потоковая архитектура для распределенной научной визуализации на много-
37
Новые технологии
дисплейных видеостенах – предоставило
нам уникальную возможность построить новый грид-сервис для коллаборативного изучения данных по окружающей среде в глобальной сетевой среде. Используя этот сервис, мы достигли максимально возможных
на сегодня технологических пределов по
разным направлениям, включая загрузку каналов, локальной сети, производительность
массивов дисков и процессоров в вычислительном кластере.
В этой работе нам удалось найти робастное сбалансированное аппаратно-программное решение, чтобы обойти большинство
узких мест, обусловленных технологическими пределами, и продемонстрировать
возможность электронной научной коллабо-
рации в области исследования научной среды для решения актуальных проблем в глобальном изменении климата и космической
погоды. Наше решение является достаточно
общим, чтобы его можно было использовать
в смежных предметных областях, таких как
геологоразведка, физика высоких энергий и
нанотехнологии.
В следующем учебном году мы планируем использовать сетевые ресурсы и видеостену ИКИ РАН для дистанционного обучения компьютерной графике и программированию видеоигр с использованием видеозаписей лекций и семинаров в реальном
времени с учеными и преподавателями Чикагского университета Иллинойс.
Литература
1. GLORIAD - Global Ring Network for Advanced Applications Development http://www.gloriad. org/
gloriad/index.html
2. GLIF – Global Lambda Integrated Facility, http://www.glif.is/
3. Dijkstra F., de LaatFirst C. Optical Exchanges, Workshop on Networks for Grid Applications (GridNets
2004).– San Jose, USA. – 29 October, 2004. http://www.glif.is/publications/papers/20041029KdL_Optical Exchanges.pdf
4. Press Release June 4, 2007. USA-Russia Lightpath Enables Fast Data Transfer of Terabyte-sized Scientific Dataset, http://www.gloriad.org/gloriad/news/pr-us-russia.html
5. Press
Release
November
17,
2006.
UDT
Won
SC06
Bandwidth
Challenge
Awardp://sc06.supercomputing.org/news/press_release.php?id=14
6. Пресс-релиз 29 августа 2005 г. В Москве прошла пресс-конференция, посвященная началу работы проекта «Система поиска природных сценариев» (Environmental Scenario Search Engine)
http://www.microsoft.com/Rus/News/Issues/2005/08/EnvironmentalScenarioSearch.mspx
7. Press Release October 3, 2007. SAGE-enabled Cyberspace Demonstration over GLORIAD Takes Place
as Part of Sputnik Celebration
http://www.gloriad.org/gloriad/news/pr-us-russia-sage.html
8. RDIG – Russian Data Intensive Grid, http://rus.egee-rdig.ru/
9. CLASS – Comprehensive Large Array Stewardship System, NOAA http://www.class.noaa.gov/
10. Parallel TCP Sockets, http://research.microsoft.com/~milanv/TR-2005-130.pdf
11. GridFTP: Protocol Extensions to FTP for the Grid http://www-fp.mcs.anl.gov/dsl/GridFTP-ProtocolRFC-Draft.pdf
12. FDT: Fast Data Transfer, http://monalisa.cern.ch/FDT/
13. Gu Y., Grossman R. L. Supporting Configurable Congestion Control in Data Transport Services,
SUPERCOMPUTING 2005. – Nov. 12 – 18. – Seattle, WA, USA.
14. UDP-blast, http://www.evl.uic.edu/files/pdf/cluster2002.pdf
15. Tsunami protocol, http://www-iepm.slac.stanford.edu/bw/Tsunami.htm
16. UDT: UDP data transfer, http://udt.sourceforge.net
17. NIST Net QoS test library, http://www-x.antd.nist.gov/nistnet/
18. SDSS: Sloan digital Sky Survey, http://sdss.ncdm.uic.edu/
19. SDSS: Sector, http://sdss.ncdm.uic.edu/software.html
20. Российское зеркало базы данных SDSS и русскоязычный портал SkyServer http://www.
skyserver.ru/ru/
21. Zhizhin M., Kihn E., Redmond R., Poyda A., Mishin D., Medvedev D., Kihn E., Lutsarev V. Integrating and mining distributed environmental archives on Grids, Concurrency and Computation: Practice and Experience. – Vol. 19. – P. 2157-170. – 2007.
22. Antonioletti M., Atkinson M.P., Baxter R., Borley A., Chue Hong, N.P., Collins B., Hardman N.,
Hume A., Knox A., Jackson M., Krause A., Laws S., Magowan J., Paton N.W., Pearson D., Sugden T., Watson
P., Westhead M. The Design and Implementation of Grid Database Services in OGSA-DAI. Concurrency and
Computation: Practice and Experience. – Vol. 17. – P. 357-376. – 2005 http://www.ogsadai.org.uk/
23. WSRF – Globus Web Services Resource Framework, http://www.globus.org/wsrf/
24. NetCDF Markaup Langauge http://www.unidata.ucar.edu/software/netcdf/ncml/
25. Deering M., Naegle D., The SAGE graphics architecture, Proc. 29th conference on Computer graphics
and interactive techniques. – San Antonio, Texas, 2002. – P. – 683-692.
38
Открытое образование • 4/2008
Новые технологии
26. SAGE – Scalable Adaptive Graphics Environment http://www.evl.uic.edu/cavern/sage/index.php
27. 4K video, http://www.physorg.com/news6807.html
28. NASA World Wind virtual 3D globe, http://worldwind.arc.nasa.gov/
29. Zhizhin M., Kihn E., Lyutsarev V., Berezin S., Poyda A., Mishin D., Medvedev D., Voitsekhovsky D.
Environmental scenario search and visualization, Proc. 15th ACM symposium on Advances in geographic information systems, 2007
CОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
В IT-ПРОЕКТАХ ОРГАНОВ ГОСУДАРСТВЕННОЙ ВЛАСТИ
И МЕСТНОГО САМОУПРАВЛЕНИЯ
И.В. Бычков, член-корреспондент РАН, д.т.н., директор
Тел. (3952) 42-17-00; E-mail: idstu@icc.ru
Г.М. Ружников, к.т.н., зам. директора
Тел. (3952) 51-17-77; E-mail: rugnikov@icc.ru
А.Е. Хмельнов, к.т.н., зав. отделом
Тел. (3952) 45-30-71; E-mail: hmelnov@icc.ru
Институт динамики систем и теории управления СО РАН (ИДСТУ СО РАН)
http://idstu.irk.ru
In the article we consider an experience of application of configurable algorithms for
database information processing and analysis. Here we describe the technologies for linking GIS and existing databases, and for storage and analysis of multidimensional data.
Some information systems, which were developed using the suggested technologies, are
considered.
Для повышения эффективности работы
органов государственной власти и местного
самоуправления
(ОГВМС), более
полного и своевременного учета
существующих
тенденций изменения социальноэкономического
положения территории и определения перспектив ее
развития актуально создание на основе современных информационных технологий развитой информационно-аналитической системы (ИАС), базирующейся на многоаспектных тематических базах данных [1, 2, 3].
ИАС эффективны для принятия управленческих решений, так как позволяют проводить моделирование процессов, характеризующих развитие территории, выполнять
многовариантные сценарные расчеты, а
также комплексный анализ взаимосвязанных
подмножеств индикативных макропоказателей [4].
Особенностью территориальной ин-
Открытое образование • 4/2008
формации является ее геопространственный
характер, поэтому одной из основных компонент информационно-аналитических систем ОГВМС является геоинформационное
обеспечение (геоинформационные системы
– ГИС), базирующееся на единой топографо-геодезической основе, единых классификаторах информации, форматах и согласованных структурах баз данных. Это позволяет создать единый геоинформационный
ресурс, обладающий мощным аппаратом
пространственного анализа данных, отслеживающий существующие связи объектов и
явлений в пределах анализируемой территории.
Внедрение
Интернети
ГИСтехнологий ускоряет процесс интеграции
физически разделенных, но тематически согласованных баз геопространственных данных, делает их более доступными.
В настоящее время для ОГВМС актуальны: учет в уже существующих информационно-аналитических системах геопространственной информации об объектах за
счет интеграции в них функций геоинформационных систем (ГИС), а также создание
интерактивной среды взаимодействия клиентских приложений с ГИС-сервером.
39
Документ
Категория
Без категории
Просмотров
6
Размер файла
2 538 Кб
Теги
кластеров, данных, соотношения, производительность, сетей, вычислительной, поиск, хранилища, грид
1/--страниц
Пожаловаться на содержимое документа