close

Вход

Забыли?

вход по аккаунту

?

40.Информатика

код для вставкиСкачать
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
«ОРЛОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»
ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
«ОРЛОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»
ИНФОРМАТИКА
Часть 2
Организационные
и технико-экономические
основы
Книга 2
Рекомендовано Учебно-методическим объединением вузов
Российской Федерации по образованию в области
историко-архивоведения в качестве учебника
для студентов высших учебных заведений,
обучающихся по специальностям
090103 «Организация и технология защиты информации»
и 090104 «Комплексная защита объектов информатизации»
Орел 2009
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
УДК [002:004]:316.774(075)
ББК 32.811я7
И74
Рецензенты:
доктор технических наук, профессор учебно-научного комплекса
«Автоматизированные системы и информационные технологии»
Академии Государственной противопожарной службы МЧС России
Н.Г. Топольский,
доктор физико-математических наук, декан факультета «Компьютерные
системы и информационные технологии» Российского нового университета
А.С. Крюковский
И74
Информатика. В 3 ч. Ч. 2. В 2-х книгах. Кн. 2 Организационные и технико-экономические основы: учебник для вузов /
А.П. Фисун, В.Т. Еременко, В.А. Минаев, В.А. Зернов, И.С. Константинов, А.В. Коськин, Ю.А. Белевская, С.В. Дворянкин; под
общей научной редакцией А.П. Фисуна, В.Т. Еременко, В.А. Минаева, В.А. Зернова. – Орел: ОрелГТУ, ОГУ, 2009. – 171 с.
ISBN 987-5-9929-0124-5
Рассмотрены основные формы, принципы, организация информационного обеспечения сфер и видов деятельности личности, общества
и государства, основные положения системно-информационного анализа и синтеза в информатизации. Системно изложены основные проблемы, организационно-экономические, технико-экономические аспекты информатизации и их обоснование, а также вопросы маркетинга
информационных продуктов и услуг развивающегося информационного общества.
Учебник предназначен для студентов, обучающихся по специальностям «Комплексная защита объектов информатизации», «Организация и технология защиты информации», и аспирантов, изучающих
дисциплину «Информатика». Может быть использован студентами и
аспирантами, изучающими автоматизированные системы обработки
информации и управления, информационные телекоммуникационные
системы, обеспечение их информационной безопасности, а также будет полезен преподавателям и специалистам этих систем.
УДК [002:004]:316.774(075)
ББК 32.811я7
 ОрелГТУ, 2009
 ОГУ, 2009
ISBN 987-5-9929-0124-9
2
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
СОДЕРЖАНИЕ
ВВЕДЕНИЕ
5
ГЛАВА 5. СИСТЕМНО-ИНФОРМАЦИОННЫЙ АНАЛИЗ
И СИНТЕЗ В ИНФОРМАТИЗАЦИИ
5.1. Основы технологии анализа текстовых данных (технология Text Mining)
5.1.1. Основные элементы Text Mining
5.1.2. Контент-анализ
5.1.3. Семантический анализ и поиск информации
5.2. Модели поиска информации
5.2.1. Булева модель поиска
5.2.2. Векторно-пространственная модель
5.2.3. Гибридные модели поиска
5.3. Группировка текстовых данных
5.3.1. Методы кластеризации
5.3.2. Определение тематической близости термов
5.3.3. Вероятностная модель поиска
5.3.4. Извлечение «скрытых» контекстно-зависимых
значений термов на основе
латентно-семантического анализа
5.4. Системы автоматических ответов на вопросы
пользователей
5.5. Реализация систем Text Mining
5.5.1. Intelligent Miner for Text
5.5.2. PolyAnalyst
5.5.3. WebAnalyst
5.5.4. Text Miner
5.5.5. SemioMap
5.5.6. InterMedia Text, Oracle Text
5.5.7. Autonomy IDOL Server
5.5.8. Galaktika-ZOOM
5.5.9. InfoStream
5.6. Text Mining не только для спецслужб
5.7. Автоматическое реферирование
5.7.1. Квазиреферирование
5.7.2. Алгоритмы автореферирования
5.7.3. Дайджесты
5.7.4. Поисковые образы документов
5.7.5. Информационные портреты
5.7.6. Программы автореферирования
5.8. Автореферирование на основе семантических
3
7
7
10
12
15
16
16
19
20
21
23
24
27
32
45
48
49
51
51
51
53
56
55
56
57
57
58
60
62
64
65
66
67
73
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
5.9.
5.9.1.
5.9.2.
5.9.3.
5.9.4.
5.9.5.
5.9.6.
ГЛАВА 6.
6.1.
6.2.
6.3.
6.4.
6.5.
6.6.
6.7.
6.8.
6.9.
6.10.
6.11.
6.12.
6.13.
методов
Инструментарий конкурентной разведки
Задачи конкурентной разведки
Источники информации и базы данных
для конкурентной разведки
Подходы к анализу контента
Формирование запросов по конкурентной
проблематике
Конкурентная разведка и извлечение «скрытой» информации
Перспективы систем конкурентной разведки
Контрольные вопросы
НАПРАВЛЕНИЯ РАЗВИТИЯ ТЕОРЕТИЧЕСКОЙ
И ПРИКЛАДНОЙ ИНФОРМАТИКИ
Направления развития теоретической информатики
Практическое приложение теоретической
информатики
Информатика и численные методы
Теория информации в информатике
Теория вероятностей в информатике
Математическая теория управляемых систем
и информатика
Направления развития кибернетики как составной части информационной науки
Направления развития теории искусственного
интеллекта
Тенденции развития ЭВМ и вычислительных
систем
Элементная база информатизации и ее роль
в развитии национальной информационной
инфраструктуры
Направления развития программирования
и современных программных систем
Современные автоматизированные системы
управления
Направления развития современных
информационных и телекоммуникационных сетей
Контрольные вопросы
ЛИТЕРАТУРА
4
77
78
79
80
82
86
87
89
92
95
99
103
104
108
110
112
119
123
129
130
140
145
153
155
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВВЕДЕНИЕ
Книга «Информатика. Часть 2. Организационные и техникоэкономические основы» является продолжением учебника «Информатика. Часть 1. Методологические и технологические основы». Они
разработаны в рамках программы естественнонаучной учебной дисциплины «Информатика» государственных образовательных стандартов высшего профессионального образования по специальностям
090103 «Организация и технология защиты информации» и 090104
«Комплексная защита объектов информатизации». Содержание этих
книг составляют логически целостные теоретические и прикладные
основы информатики для подготовки специалистов искомых специальностей, а также для подготовки специалистов других направлений
информационной сферы.
Основной целью учебника является представление системных
знаний по формам, принципам организации информационного обеспечения сфер и видов деятельности личности, общества и государс тва,
по положениям системно-информационного анализа и синтеза информатизации, главным проблемам и организационно- и техникоэкономическим аспектам информатизации и их обоснования в развивающемся информационном обществе.
Содержание учебника разработано на основе научных, учебных, методических материалов, публикаций известных отеч ественных и зарубежных ученых и специалистов, приведенных в библиографии, а также научных результатов, практического опыта по
подготовке специалистов, прочитанных лекций и разработанных авторами учебных, учебно-методических материалов в области информатики, вычислительной техники, информационных систем и обеспечения их информационной безопасности.
Представленная структура книги включает шесть глав, в которых рассмотрены следующие вопросы:
 основные формы, принципы организации личного и корпоративного информационного обеспечения;
 организационно-экономические аспекты информатизации;
 технико-экономическое обоснование информатизации;
 маркетинг информационных продуктов и услуг;
 системно-информационный анализ и синтез в информатизации;
 направления развития теоретической и прикладной
информатики.
По каждой главе имеются контрольные вопросы, которые
обеспечат активизацию самоконтроля полученных знаний, а также
помогут студентам систематизировать свои знания и подготовиться к
экзаменам и зачетам.
5
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Предлагаются примеры решения задач, что повышает эффективность усвоения материала в ходе самостоятельной работы.
Заключительная глава знакомит с перспективами развития информационной науки и ее составных частей и будет интересна студентам, которые изучают вопросы развития информатики и имеют
склонность к научным исследованиям.
Предложенная книга в равной мере может использоваться и
научными работниками, аспирантами, исследующими проблемы информатики и информационной безопасности, а также преподавателями высшего и послевузовского профессионального образования.
Авторы благодарят за участие в совместной работе над учебником: В.А. Лобанову (главы 2, 6, п. 2.3), Д.В. Агаркова (глава 5), Д.С.
Мишина (главы 2, 3, 4), О.В. Третьякова (главы 5, 6), А.Е. Георгиевского
(глава 1), И.Ю. Баранова (глава 5), К.А. Джевагу (глава 5), Р.А. Фисуна
(главы 5, 6), А.В. Тютякина (глава 4), И.Г. Кочергина (глава 3).
Авторский коллектив: В.Т. Еременко (главы 1–6), А.П. Фисун
(главы 1–4, 6), В.А. Минаев (главы 4, 6), В.А. Зернов (глава 4), И. С.
Константинов (главы 1–6), А.В. Коськин (главы 4, 5), С.В. Дворянкин
(глава 5), Ю.А. Белевская (главы 1, 2, 6).
6
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ГЛАВА 5. СИСТЕМНО-ИНФОРМАЦИОННЫЙ АНАЛИЗ
И СИНТЕЗ В ИНФОРМАТИЗАЦИИ
5.1. Основы технологии анализа текстовых данных
(технология Text Mining)
Сегодня в информационных хранилищах, распределенных по
всему миру, собраны терабайты текстовых данных. Сырые, неструктурированные данные составляют большую часть информации, с которой имеют дело пользователи. Найти в таких данных нечто ценное
можно лишь посредством специализированных технологий. Развитие
информационных ресурсов Интернета многократно усугубило проблему информационной перегрузки.
Исследовательская служба Cyveillance сообщила, что еще
в 2001 году общее количество страниц в Интернете превысило 4 млрд.
Средний размер Web-страницы – 10 Кбайт, среднестатистическая
страница содержит 20 – 25 внутренних и 5-6 внешних ссылок,
1415 изображений. Если к этому добавить массивы неструктурированных
документов в корпоративных файловых системах и базах данных, то понятно, почему многие организации заинтересованы в технологиях автоматизированного анализа и классификации информации, представленной
на естественном языке. Ведь, по существующим оценкам, неструктурированные данные, главным образом текст, составляют не менее 90 % информации. И лишь 10 % приходится на структурированные данные, загружаемые в реляционные СУБД.
«Люди будут искать то, что они знают, обращаясь к документальным репозитариям. Однако они вообще не будут или просто не
смогут выражать запросом то, чего они не знают, даже имея доступ к
собранию документов, – заметил Д. Нисбет, вице-президент компании
Semio, которая является одним из ведущих производителей систем «добычи данных» (Data Mining). – Метод эффективного анализа текста
(Text Mining), используя вычислительные мощности, позволяет выявить
отношения, которые могут приводить к получению новых знаний
пользователем».
Задача Text Mining – выбрать ключевую и наиболее значимую
информацию для пользователя [6]. Таким образом, ему будет незачем
самому «просеивать» огромное количество неструктурированной информации. Разработанные на основе статистического и лингвистического анализа, а также методов искусственного интеллекта, технологии
Text Mining как раз и предназначены для проведения смыслового анализа, обеспечения навигации и поиска в неструктурированных текстах.
7
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Применяя системы класса Text Mining, пользователи должны получить
новую ценную информацию, т.е. знания.
В конце 2000 года ЦРУ опубликовало документ «Анализ плана
стратегических инвестиций разведсообщества» (Strategic Investment Plan
for Intelligence Community Analysis. – http://www.cia.gov/cia/reports/unclass_sip) (рис.
5.1).
Рис. 5.1. Документ ЦРУ «Анализ плана
стратегических инвестиций разведсообщества»
В этом документе разведчики признают, что ранее не использовали полностью возможности открытых источников и теперь работа
с ними должна стать «высшим приоритетом для инвестиций». Иначе
говоря, в ЦРУ резонно полагают, что брать информацию из открытых
источников безопаснее и дешевле, чем пользоваться разведданными.
Технология глубинного анализа текста – Text Mining – и представляет
собой тот самый инструментарий, который позволяет анализировать
большие объемы информации в поисках тенденций, шаблонов
и
взаимосвязей, способных помочь в принятии стратегических решений.
Кроме того, Text Mining – это новый вид поиска, который, в отличие
от традиционных подходов, не только находит списки документов,
формально релевантных запросам, но и позволяет получить ответ на
8
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
просьбу: «Помоги мне понять смысл, разобраться с этой проблематикой».
К. Фогель, один из основателей легендарной компании Semio,
используя аналогию с библиотекой, поясняет: «Технология Text Mining
открывает перед читателем книги с подчеркнутой необходимой ему
информацией. Сравните это с выдачей читателю кипы документов
и
книг, в которых где-нибудь содержится нужная читателю информация,
однако найти ее читателю будет непросто».
Процесс осмысленного поиска является далеко не тривиальным, часто в коллекции документов имеется только намек на требуемую информацию. Нужны мощные интеллектуальные возможности,
чтобы найти то, что требуется. В названии технологии слово mining
(добыча руды) выступает как метафора отыскания глубоко «зарытой» информации.
Технологии глубинного анализа текста исторически предшествовало создание технологии глубинного анализа (добычи) данных
(Data Mining), методология и подходы которой широко используются
и в методах Text Mining. Для «добычи текстов» вполне справедливо определение, данное для добычи данных одним из ведущих
мировых экспертов Г. Пятецким-Шапиро из GTE Labs: «Процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых
для принятия решений в различных сферах человеческой деятельности». Как и большинство когнитивных технологий, Text Mining –
это алгоритмическое выявление прежде неизвестных связей и корреляций в уже имеющихся текстовых данных.
Оформившись в середине 90-х годов XX века как направление анализа неструктурированных текстов, технология Text Mining
сразу же взяла на вооружение методы классической добычи данных,
такие как классификация или кластеризация. В Text Mining появились
и дополнительные возможности, например автоматическое реферирование текстов и выявление феноменов, т.е. понятий и фактов. Возможности современных систем Text Mining могут применяться при
управлении знаниями для выявления шаблонов в тексте, для автоматического «проталкивания» информации или ее распределения по интересующим пользователей профилям, а также для создания обзоров
документов. Технологии Text Mining, кроме того, присуща абсолютная объективность – в ней отсутствует субъективизм, свойственный
человеку-аналитику.
Важный компонент технологии Text Mining связан с извлечением из текста его характерных элементов или свойств, которые затем могут использоваться в качестве метаданных документа, ключевых слов, аннотаций. Другая важная задача состоит в отнесении доку9
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
мента к некоторым категориям из заданной схемы систематизации. Text
Mining также обеспечивает новый уровень семантического поиска документов.
5.1.1. Основные элемент ы Text Mining
В соответствии с уже сложившейся методологией к основным
элементам Text Mining относятся: реферирование (summarization), выявление феноменов (feature extraction), классификация (classification),
кластеризация (clustering), ответ на вопросы (question answering), тематическое индексирование (thematic indexing) и поиск по ключевым словам (keyword searching). В некоторых случаях указанный набор дополняют средства поддержки и создания таксономии (taxonomies) и тезаурусов (thesauri).
А. Линден, директор компании Gartner Research, выделил четыре основных вида приложений технологии Text Mining:
1. Классификация
текста,
в
которой
используются
статистические корреляции для построения правил размещения
документов в предопределенные категории.
2. Кластеризация, базирующаяся на признаках документов;
используются лингвистические и математические методы без
применения предопределенных категорий. Результат – таксономия
или визуальная карта, которая обеспечивает эффективный охват
больших объемов данных.
3. Построение семантической сети или анализ связей, которые
определяют появление дескрипторов (ключевых фраз) в документе
для обеспечения поиска и навигации.
4. Извлечение фактов, задача которого – получение некоторых
фактов из текста с целью улучшения классификации, поиска
и
кластеризации.
Так сложилось, что чаще всего решаемая в Text Mining задача
– это классификация, т.е. отнесение объектов базы данных к заранее
определенным категориям. Фактически задача классификации –
вариант классической задачи распознавания, когда система по обучающей выборке относит новый объект к той или иной категории.
Особенность же системы Text Mining состоит лишь в том, что
количество таких объектов и их атрибутов может быть очень большим; поэтому должны быть предусмотрены интеллектуальные механизмы оптимизации процесса классификации. В существующих сегодня системах классификация применяется для решения таких задач,
как группировка документов в Intranet-сетях и на Web-сайтах, размещение документов в определенные папки, сортировка сообщений
электронной почты, избирательное распространение новостей подпис10
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
чикам и пр.
Вторая задача – кластеризация – состоит в выделении компактных
подгрупп объектов с близкими свойствами. Система должна самостоятельно найти признаки и разделить объекты по подгруппам. Решение этой
задачи, как правило, предшествует задаче классификации, поскольку позволяет определить группы объектов. Различают два основных типа кластеризации – иерархическую и бинарную (двоичную). Иерархическая кластеризация заключается в построении дерева кластеров, в каждом из которых
размещается небольшая группа документов. Пример утилиты двоичной
кластеризации можно найти на сервере корпорации IBM по адресу:
http://www.software.ibm.com/data/iminer/fortext.
Двоичная кластеризация обеспечивает группировку и просмотр
документальных кластеров по ссылкам подобия. В один кластер помещаются самые близкие по своим свойствам документы. В процессе
кластеризации строится базис ссылок от документа к документу, основанный на весах подобия документов и совместном употреблении
определяемых ключевых слов. Сегодня кластеризация широко применяется при реферировании больших документальных массивов или
определении взаимосвязанных групп документов, а также для упрощения процесса просмотра при поиске необходимой информации, для
нахождения уникальных документов из коллекции, для выявления
дубликатов или очень близких по содержанию документов.
Средствами технологии Text Mining могут решаться и другие
задачи, например прогнозирование, которое состоит в том, чтобы
предсказать по значениям одних признаков объекта значения остальных. Еще одна задача – нахождение исключений, т.е. поиск объектов,
которые своими характеристиками сильно выделяются из общей массы. Для этого сначала выясняются средние параметры объектов, а затем исследуются те объекты, параметры которых наиболее сильно отличаются от средних значений. Как правило, поиск исключений проводится после классификации или кластеризации, для того чтобы выяснить, насколько последние были точны.
Несколько отдельно от кластеризации стоит задача поиска связанных признаков (полей, понятий) отдельных документов. От прогнозирования эта задача отличается тем, что заранее неизвестно, по
каким именно признакам реализуется взаимосвязь; цель именно в том
и состоит, чтобы найти связи между отдельными признаками. Эта задача сходна с кластеризацией, но выполняется по множеству не документов, а присущих документу признаков.
И, наконец, для обработки и интерпретации результатов Text
Mining большое значение имеет визуализация данных, что подразумевает обработку структурированных числовых данных. Однако визуализация также является ключевым звеном при представлении схем не-
11
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
структурированных текстовых документов. В частности, современные
системы класса Text Mining могут осуществлять анализ больших массивов документов и формировать предметные указатели понятий и
тем, освещенных в этих документах. Визуализация обычно используется как средство представления контента всего массива документов,
а также для реализации навигационного механизма, который может
применяться при исследовании документов и их классов.
5.1.2. Контент-анализ
Сегодня весьма актуальной является задача мониторинга ресурсов Интернета, которая тесно связана с достаточно популярным в
последние десятилетия контент-анализом. Это перспективное направление развития систем сетевой интеграции рассматривается многими
экспертами как контент-мониторинг, появление которого вызвано,
прежде всего, задачей систематического отслеживания тенденций и
процессов в постоянно обновляемой сетевой информационной среде.
Контент-мониторинг – это содержательный анализ информационных потоков с целью получения необходимых качественных
и количественных срезов, который производится постоянно, т.е. на
протяжении не определяемого заранее промежутка времени. Важнейшей теоретической основой контент-мониторинга является контентанализ – понятие, достаточно «заезженное» социологами.
Контент-анализ
начинался
как
количественноориентированный метод анализа текстов для изучения массовых коммуникаций. Впервые этот метод был применен в 1910 году социологом М. Вебером, чтобы проанализировать охват прессой политических акций в Германии (рис. 5.2).
Американский исследователь
средств коммуникации Г. Лассвелл в
30 – 40-е годы использовал подобную
методику для изучения содержимого
пропагандистских сообщений военного времени. В 1943 году А. Каплан
увеличил фокус контент-анализа от
статистической семантики (значения
текстов) политических дискуссий до
анализа значений символов (семиотики).
Во время Второй мировой войны растущая популярность семиотики
способствовала использованию качественно-ориентированного контентанализа для изучения идеологических
Рис 5.2. Макс Вебер
(1864-1920)
12
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
аспектов
в
таких
жанрах,
как
телевизионные
шоу
и коммерческая реклама. Ряд современных исследований с применением методологии контент-анализа включает, наряду с анализом текста,
и анализ изображений.
Начиная с 60-х годов, с появлением средств автоматизации
и текстов в электронном виде, получил развитие контент-анализ информации больших объемов – баз данных и интерактивных медиасредств. Традиционное «политическое» использование современных
технологий контент-анализа дополнено неограниченным перечнем
рубрик и тем, охватывающих производственную и социальную сферы,
бизнес и финансы, культуру и науку, что сопровождается большим
количеством разнородных программных комплексов.
При этом выделилось направление, получившее самостоятельное развитие, – Data Mining, все еще не имеющее устойчивого русского термина-эквивалента. Так, в этой главе используются сразу два перевода этого термина: «добыча данных» и «глубинный анализ данных».
Под Data Mining понимается механизм обнаружения в потоке
данных интересных новых знаний, таких как модели, конструкции,
ассоциации, изменения, аномалии и структурные новообразования.
Большой вклад в развитие контент-анализа внесли психологические
исследования в области феноменологии, ведущая идея которой з аключается в обращении к каждодневному миру через различные явления (phenomena) в фактических ситуациях. С феноменологией неразрывно связаны имена ее основателя Э. Хассерла и нашего современника А. Джиорджи.
Однозначная трактовка понятий необходима, прежде всего,
в технических системах. Развитие технологических систем невозможно без стандартизации. В качестве примера можно привести операционную систему UNIX, определение стандартов на которую
в
рамках ISO (POSIX) привело к преобладанию клонов этой системы на
серверных платформах. Понятие же контент-анализа, имеющее корни
в психологии и социологии, сегодня пока не имеет однозначного
определения. Это порождает ряд проблем, важнейшая из которых заключается в том, что программные системы, построенные на основе
различных подходов к контент-анализу, будут несовместимы.
Ниже приведены лишь некоторые существующие определения
контент-анализа:
 контент-анализ – это методика объективного качественного
и систематического изучения содержания средств коммуникации (Д.
Джери, Дж. Джери);
 контент-анализ – это систематическая числовая обработка,
оценка и интерпретация формы и содержания информационного
источника (Д. Мангейм, Р. Рич);
13
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 контент-анализ – это качественно-количественный метод
изучения документов, который характеризуется объективностью
выводов и строгостью процедуры и состоит в квантификационной
обработке текста с дальнейшей интерпретацией результатов
(В.
Иванов);
 контент-анализ состоит в нахождении в тексте определенных содержательных понятий (единиц анализа), выявлении частоты
их встречаемости и соотношения с содержанием всего документа
(Б. Краснов);
 контент-анализ – это исследовательская техника для
получения результатов путем анализа содержания текста о состоянии
и свойствах социальной действительности (Е. Таршис).
Большинство из приведенных определений конструктивны,
т.е. являются процедурными. Из-за разных начальных подходов они
порождают различные, а порой и противоречащие друг другу алгоритмы. Принятые в современной литературе подходы к пониманию
контент-анализа поддаются полностью оправданной критике. Так, высказываются сомнения в информационной насыщенности частотных
характеристик в плане определения элементов, весомых с точки зрения содержания. Также подчеркивается игнорирование роли контекста. Однако, несмотря на многообразие трактовок контент-анализа,
большое прикладное значение методологии все же позволяет избежать многих противоречий. Объединение средств и методов, их естественный отбор путем многократной оценки полученных результатов
позволяют выделять и подтверждать знания, выявлять фактическую
силу и полезность инструментария.
Диапазон методов и процедур, касающихся самого процесса
контент-анализа, весьма широк. К примеру, при подготовке исследования выполняются следующие действия:
 описание проблемной ситуации, поиск цели
исследования;
 уточнение объекта и предмета исследования;
 смысловое уточнение понятий;
 эмпирическая интерпретация понятий;
 описание процедур регистрации свойств и явлений;
 предварительный целостный анализ объекта;
 определение общего плана исследования;
 определение типа выборки и т.д.
Методы сбора данных также многообразны:
 наблюдение;
 анкетный опрос;
 интервью;
 телефонный опрос;
 накопление совокупности писем;
14
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 получение потока документов сети.
Для отбора информации применяются такие методы, как:
 гнездовой;
 квотная выборка;
 неслучайная выборка;
 метод нетипичных представителей;
 метод «снежного кома»;
 стихийная выборка;
 случайная выборка;
 одно- и многоступенчатая выборка;
 районированная (расслоение) выборка;
 систематическая выборка и т.д.
В контент-анализе используются следующие математические
методы:
дисперсионный анализ для выявления влияния отдельных
независимых факторов на наблюдаемый признак;
кластерный анализ для классификаций объектов и описывающих
их признаков;
логлинейный анализ для статистической проверки гипотезы
о системе одновременных парных и множественных взаимосвязей в
группе признаков;
причинный анализ для моделирования причинных отношений
между признаками с помощью систем статистических уравнений;
регрессионный анализ для исследования регрессионной
зависимости между зависимыми и независимыми признаками;
факторный анализ для получения обобщенной информации
о структуре связи между наблюдаемыми признаками изучаемого
объекта на основе выделения скрытых факторов;
корреляционный анализ для выявления зависимости между
числовыми случайными величинами, одна из которых зависит и от
ряда других случайных факторов.
5.1.3. Семант ический анализ и поиск информации
В последнее время происходят изменения подходов к форме
и семантике взаимодействия пользователей с поисковыми системами
в Интернете. Через десятилетие после возникновения первых поисковых серверов в сети оказалось, что надежды на интеллект пользователя при формулировке запросов были тщетны. Это замечание относится как к обычным пользователям, так и к пользователямпрофессионалам. В результате современные поисковые системы сами
все более интеллектуализируются, включают семантические инструменты, пытаясь выявлять информационные потребности пользовате-
15
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
лей и учитывать их при поиске.
Сегодня естественно желание пользователя видеть достаточно
короткий список классов, в который попадают все возвращенные информационно-поисковой системой документы. С помощью этой классификации пользователь сможет существенно сузить границы своего
поиска. При этом к классификации предъявляются два основных требования:
классы должны содержать близкие по смысловому признаку
документы;
этот признак должен быть основой названия класса, которое
должно восприниматься пользователем.
Новые подходы к организации поиска заставляют заново
взглянуть на модели представления информации в базах данных поисковых машин и методы автоматической группировки, применяемые
при поиске информации в сети Интернет.
5.2. Модели поиска информации
В настоящее время используется несколько подходов к представлению информации в базах данных для обеспечения последующего поиска этой информации [24, 26]. Наиболее часто используются два
подхода:
1) подход, базирующийся на теории множеств;
2) подход, базирующийся на векторной алгебре.
Оба подхода достаточно эффективны на практике, однако у
них есть общий недостаток, который следует из основного упрощающего предположения, заключающегося в том, что смысл документа,
его основное содержание определяется множеством ключевых слов –
терминов и понятий, входящих в него. Конечно же, такие подходы частично ведут к потере содержательных оттенков текстов, зато позволяют выполнять быстрый поиск и группировку документов по формальным признакам.
Существуют и другие методы, например семантические, в рамках которых делаются попытки выявить смысл текста за счет анализа
грамматики текста, использования баз знаний и различных тезаурусов, отражающих семантические связи между отдельными словами и
их группами. Такие подходы требуют больших затрат на поддержку
баз знаний и тезаурусов для каждого языка, тематики и вида документов.
5.2.1. Булева модель поиска
Булева модель является классической и широко используемой
16
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
моделью представления информации, базирующейся на теории множеств, и, следовательно, моделью информационного поиска, базирующейся на математической логике. Популярность этой модели связана, прежде всего, с простотой ее реализации, позволяющей индексировать и выполнять поиск в массивах документов большого объема. В
настоящее время популярным является объединение булевой модели с
алгебраической векторно-пространственной моделью представления
данных, что обеспечивает, с одной стороны, быстрый поиск с использованием операторов математической логики, а с другой – качественное ранжирование документов, базирующееся на весах входящих в
них ключевых слов.
В рамках булевой модели документы и запросы представляются в виде множества морфемных основ ключевых слов – термов.
Пусть документальный массив С состоит из множества документов
d1 , d 2 ,...,d n , а документ d i содержит множество различных термов
T d i  . Обозначим через T = T di  словарь массива С, представi =1,... , n
ляющий собой множество всех термов, встречающихся в документах
из С, и через T d i  – словарь документа d i . В булевой модели запрос
пользователя представляет собой логическое выражение, в котором
ключевые слова (термы запроса) связаны логическими операторами
AND, OR
и NOT.
В различных поисковых системах в Интернете можно пользоваться умолчаниями, не применяя в явном виде логических операций,
а просто перечисляя ключевые слова. Чаще всего по умолчанию предполагается, что все ключевые слова соединяются логической операцией AND – в этих случаях в результаты поиска включаются только документы, содержащие одновременно все ключевые слова запроса. В
тех системах, где пробел между словами приравнивается к оператору
OR, в результаты поиска включаются документы, в которые входит
хотя бы одно из ключевых слов запроса.
При использовании булевой модели база данных включает индекс, организуемый в виде инвертированного массива, в котором для
каждого терма из словаря базы данных содержится список документов, в которых этот терм встречается.
В индексе могут храниться также значения частоты вхождения
данного терма в каждом документе, что позволяет сортировать список
по убыванию частоты вхождения. Классическая база данных, соответствующая булевой модели, организована таким образом, чтобы по
каждому терму можно было быстро получить доступ к соответствующему списку документов. Кроме того, структура инвертированного
массива обеспечивает его быструю модификацию при включении в
17
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
базу данных новых документов. В связи с этими требованиями инвертированный массив часто реализуется в виде В-дерева.
Существует несколько подходов к формированию архитектуры
поисковых систем, соответствующих булевой модели и нашедших
свое воплощение в реальных системах. Одной из наиболее удачных
реализаций структуры базы данных информационно-поисковой системы на мэйнфреймах фирмы IBM была признана модель данных системы STAIRS (Storage and Information Retrieval System), которая благодаря изначально удачным архитектурным решениям до сих пор
продолжает развиваться.
База данных информационно-поисковых систем этой традиционной архитектуры состоит из следующих таблиц [7]:
текстовой, содержащей текстовую часть всех документов;
таблицы указателей текстов, включающей указатели местонахождения документов в текстовой таблице, а заодно и форматные поля всех
документов;
словарной, в которую занесены все уникальные слова,
встречающиеся в полях документов, т.е. те слова, по которым может
осуществляться поиск. Слова могут быть связаны в синонимические
цепочки;
инверсной, включающей списки номеров документов и координаты всех вхождений отдельных слов в полях документов.
Процессы, происходившие при поиске информации в базе данных STAIRS, сегодня реализуются средствами современных СУБД
и ИПС документального типа. Поиск термина в базе данных осуществляется по следующему алгоритму:
Шаг 1. Происходит обращение к словарной таблице, по которой
устанавливается, входит ли слово в состав словаря базы данных, и если входит, то определяется ссылка на цепочку появлений
этого слова в документах.
Шаг 2. Выполняется обращение к инверсной таблице, по которой устанавливаются координаты всех вхождений терма в текстовую
таблицу базы данных.
Шаг 3. По номеру документа происходит обращение к записи
таблицы указателей текстов. Каждая запись этого файла соответствует
одному документу в базе данных.
Шаг 4. По номеру документа осуществляется прямое обращение
к фрагменту текстовой таблицы – документу и его последующий вывод.
Шаг 5. В случае если обрабатывается выражение, состоящее не
из одного слова, а из некоторого словосочетания, в результате отработки поиска по каждому слову запроса формируется массив записей,
соответствующих вхождению этого термина в базу данных.
18
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Шаг 6. После окончания формирования массивов результатов
поиска происходит выявление релевантных документов путем выполнения теоретико-множественных операций над записями этих массивов.
5.2.2. Векторно-пространственная модель
Большинство известных информационно-поисковых систем
и систем классификации информации в той или иной мере основываются на использовании векторной модели описания данных (Vector
Space Model) [25, 27]. В рамках этой классической алгебраической
модели документ описывается вектором в некотором евклидовом пространстве, где каждому используемому в документе терму ставится в
соответствие его весовой коэффициент (значимость), который определяется на основе статистической информации о его вхождении в о тдельном документе или в документальном массиве. Описание запроса,
соответствующего необходимой пользователю тематике, также представляет собой вектор в том же евклидовом пространстве термов. В
результате для оценки близости запроса и документа используется
скалярное произведение соответствующих векторов описания тематики и документа.
В рамках этой модели с каждым термом t i в документе d j (и
запросе q) составляется некоторый неотрицательный вес wij . Таким
образом, каждый документ и запрос могут быть представлены в виде
k-мерного вектора w ij
i = 1, ..., k
, где k – общее количество различных
термов во всех документах. Согласно векторной модели, близость документа d j к запросу q оценивается как корреляция между векторами
их описаний. Эта корреляция может быть вычислена как скалярное
произведение соответствующих векторов описаний. При этом весовые
коэффициенты отдельных термов можно определять различными способами.
Один из простейших (но эффективных) подходов – использовать в качестве веса терма wij в документе d j нормализованную частоту его применения в данном документе:
wij = tf ij = freq ij / max l freq il .
Этот подход не учитывает частоту вхождения отдельного терма во всем информационном массиве, так называемую дискриминационную силу терма. Поэтому в случае, когда доступна статистика
использований термов во всем информационном массиве, более эффективно следующее правило вычисления весов:
19
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
wij = tf  idf ij = tf ij  log N / ni ,
где ni – число документов, в которых используется терм t j ; N – общее число документов в массиве.
Обычно значения весов wij нормируются (дополнительно делятся на квадратный корень из суммы весов всех термов, входящих в
документ), что позволяет рассматривать документ как ортонормированный вектор. Такой метод взвешивания термов имеет стандартное
обозначение – tf  idf , где tf указывает на частоту использования
термина в документе (term frequency), a idf – на величину, обратную числу
документов массива, содержащих данный терм (inverse document frequency).
Когда возникает задача определения тематической близости
двух документов или документа и запроса, в модели используется
простое скалярное произведение sim d1 ,d 2  двух векторов wi1 i =1, ..., k
и wi2
i =1, ..., k
, которое соответствует косинусу угла между векторами –
образами документов d1 и d 2 . Очевидно, sim d1 ,d 2 , принадлежит
диапазону [0, 1]. Чем больше величина sim d1 ,d 2 , тем более близки
документы d1 и d 2 . Для любого документа d i имеем sim di ,di  = 1.
Аналогично мерой близости запроса q к документу d i считается величина sim q,di .
Векторно-пространственная модель представления данных
автоматически обеспечивает системам, построенным на ее основе,
следующие возможности:
 обработку сколь угодно больших запросов;
 простую реализацию режима поиска документов, подобных
уже найденным;
 сохранение результатов поиска в некотором виртуальном
массиве с последующим уточняющим поиском в нем.
5.2.3. Гибридные модели поиска
Несмотря на то, что приведенные выше модели являются классическими, в чистом виде они применяются только в моделях систем.
На практике чаще всего используются гибридные подходы, в которых
объединены возможности булевой и векторно-пространственной мо-
20
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
делей и зачастую добавлены оригинальные методы семантической обработки информации. Чаще всего в информационно-поисковых системах процедура поиска выполняется в соответствии с булевой моделью, а результаты ранжируются по весам согласно модели векторного пространства.
5.3.
Группировка текстовых данных
Описанные выше модели представления данных обладают общим недостатком, связанным с большой размерностью как векторного
пространства (векторная модель), так и множества (булева модель).
Для обеспечения эффективной работы необходимо сгруппировать как
подмножества термов, так и тематически подобные документы. Только в этом случае может быть обеспечена обработка информационных
массивов в режиме реального времени. На помощь приходят два основных приема группировки – классификация и кластеризация. Здесь
классификация – это отнесение каждого документа к определенному классу с заранее известными признаками, полученными на этапе
обучения. Число классов строго ограничено.
Тематические каталоги, построенные с участием людей
(например, Yahoo! или Open Directory), приводят к естественному вопросу: а не могут ли подобные каталоги быть построены автоматически. Один из путей решения этой проблемы – кластеризация, т.е. автоматическая группировка тематически близких документов.
При кластеризации гипертекстовых документов возникают некоторые осложнения, связанные с множественностью выбора алгоритмов кластеризации. Разные алгоритмы используют различные алгоритмы подобия при наличии большого количества признаков.
Гипертекст достаточно богат возможностями: текстовые блоки,
теги разметки, URL-адреса, имена доменов в URL, подстроки в URL,
которые могут быть значащими словами, и т.д. Как в этом случае
определить меру подобия таким образом, чтобы достичь хорошей кластеризации?
Как только класс определен методом кластеризации, возникает
необходимость его сопровождения, так как сеть постоянно изменяется
и растет. Для этого используют классификацию. Механизм классификации сначала «обучается» на основе выявления признаков документов, которые соответствуют определенным темам. На этой стадии
устанавливаются корреляции между отдельными признаками, после
чего механизм становится способен классифицировать новые документы.
Классификация и кластеризация представляют собой две противоположные крайности в отношении человеческого участия в про21
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
цессе группировки документов.
Механизм классификации «обучается» на отобранных документах только после того, как заканчивается стадия автоматического
выявления классов (кластеров).
Кластеризация – это разбиение множества документов на кластеры, представляющие собой подмножества, смысловые параметры
которых заранее неизвестны. Количество кластеров может быть произвольным или фиксированным. Если классификация предполагает
приписывание документам определенных, известных заранее признаков, то кластеризация – это более сложный процесс, который предполагает не только приписывание некоторых признаков, но и выявление
самих этих признаков-классов.
Итак, основная идея современных методов кластеризации –
снижение размерности пространства признаков, по которым происходит классификация документов. В то время как классификация документов заключается в автоматическом определении тематики документа по заданному множеству возможных тематик, задачей кластеризации документов является автоматическое выявление групп семантически подобных документов. Однако, в отличие от классификации,
тематическая ориентация этих групп не задана заранее. Иными словами, цель кластеризации некоторого множества документов состоит в
выделении подмножеств (кластеров), где все документы, попавшие в
один кластер, в определенном смысле будут близки друг другу. Иначе
говоря, кластер можно рассматривать как группу документов со схожими признаками. Цель всех методов кластеризации заключается в
том, чтобы схожесть документов, попадающих в кластер, была максимальной, семантической.
Числовые методы кластеризации базируются на определении
кластера как множества документов:
1) значения семантической близости между любыми двумя
элементами которого не меньше определенного порога или
2) значения близости между любым документом множества
и центроидом этого множества не меньше определенного порога.
Под центроидом кластера в этом случае понимается вектор, который вычисляется как среднее арифметическое векторов всех документов кластера. Нечисловые семантические методы кластеризации
не накладывают таких ограничений на кластеры, однако в результате
применения большинства семантических методов в полученных множествах приведенные условия близости, как правило, выполняются.
Начальным пространством признаков является пространство
термов, которое сжимается в результате анализа большого массива
документов. Для проведения такого анализа используются различные
22
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
подходы – весовой, вероятностный, семантический и другие, определяющие правила классификации.
В области информационного поиска кластеризация применяется для решения двух задач – группировки документов и результатов
поиска.
При использовании векторно-пространственной модели представлений данных в информационно-поисковых системах всегда актуальна задача снижения размерности, что должно повысить скорость
обработки и выполнения быстрого поиска по заданному векторному
образу запроса релевантных ему векторных представлений документов. Если разбить все множество документов на кластеры, содержащие семантически близкие друг другу документы, то можно реализовать следующую процедуру: сравнить образ запроса с центроидами
(«типичными представителями» – осредненными значениями векторов из кластера), выбрать кластеры, центроиды которых наиболее
близки запросу, после чего сравнить запрос со всеми документами в
выбранных кластерах.
Таким образом, процедурно все множество документов разбивается на несколько кластеров, каждый из которых содержит множество близких друг другу документов, и для каждого кластера находится центроид – документ, образ которого расположен наиболее близко
к геометрическому центру кластера. В этом случае поиск по запросу
разбивается на два этапа. Вначале запрос сопоставляется с центро идами всех кластеров, и определяются кластеры, образы центроидов
которых наиболее близки образу запроса. Далее поиск проводится исключительно в выбранных кластерах.
5.3.1. Методы кластеризации
В результате выполнения поисковой процедуры пользователю
предъявляются списки документов, как правило, упорядоченные по
убыванию соответствия запросу. В результате неизбежных неточностей при ранжировании результатов поиска такой вид представления не
всегда оказывается удобным. И тогда на помощь приходит кластеризация результатов поиска, которая позволяет представить полученные результаты в обобщенном виде, что упрощает выделение области, соответствующей информационным потребностям пользователя [30].
В этом случае используют два класса методов кластеризации –
иерархический и неиерархический. Наиболее популярны сегодня методы иерархической кластеризации, которые благодаря своей простоте широко применяются в современных информационных системах.
При иерархической кластеризации (снизу вверх либо сверху
вниз) формируется дерево кластеров. При кластеризации снизу вверх
два документа, попавшие в один кластер, будут принадлежать одному
23
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
и тому же кластеру и на более высоких уровнях иерархии. При использовании кластеризации сверху вниз документы, попавшие в разные кластеры, будут принадлежать различным кластерам на более
низких иерархических уровнях, иначе говоря, принятое один раз р ешение о принадлежности документов одному (кластеризация снизу
вверх) или разным (кластеризация сверху вниз) кластерам в дальнейшем не пересматривается, что гарантирует вычислительную простоту
и эффективность метода.
Методы неиерархической кластеризации обеспечивают качественную кластеризацию за счет более сложных алгоритмов. Для этих
методов, как правило, имеется некоторая пороговая функция качества
кластеризации, максимизация которой достигается за счет распределения документов между отдельными кластерами.
5.3.2. Определение тематической близости термов
Теоретически предполагается, что тематика документа определяется его словарным запасом, а тематическая близость термов характеризуется тем, насколько часто эти термы используются в документах одной и той же тематики. Однако это не всегда подразумевает обязательное использование этих термов в одних и тех же документах.
Обозначим тематическую близость двух термов wi и w j


как FSR wi , w j . Вычисление оценок тематической близости термов
и, как следствие, задание функции FSR выполняются по результатам
анализа использования термов в массиве документов, которыми описываются тематики. По исходному массиву документов строится матрица А, строки которой отражают распределение термов по документам. В качестве оценки тематической близости двух термов используется скалярное произведение соответствующих строк этой матрицы.
Таким образом, для вычисления оценок близости между всеми парами
термов достаточно вычислить матрицу ААТ.
Такой подход аналогичен классическим методам представления информации, основанным на векторно-пространственной модели.
Поэтому ему присущи следующие недостатки:
 не определяется зависимость между термами, которые
используются в документах одной и той же тематики, но редко
встречаются вместе;
 случайные неточности
и
зависимости
оказывают
существенное влияние на получаемые оценки и негативно
воздействуют на точность метода;
 размер матрицы А очень велик, использование этой матрицы
весьма ресурсоемко.
Дальнейшим развитием такого подхода является применение
24
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
латентно-семантического анализа (LSA). По матрице AA T строится
ˆ – это аппроксимация матрицы А, поее аппроксимация Aˆ Aˆ , где A
лученная методом латентно-семантического анализа.
Функция тематической близости двух термов FSR wi , w j одT


T
нозначно задается матрицей Aˆ Aˆ :
FSR wi , w j  = Aˆ Aˆ T wi , w j  .
ˆ Aˆ T имеет размерность k, где k – это выбранная апМатрица A
проксимация, характеризующая желаемую размерность пространства
тематик. Таким образом, при данном подходе трудоемкость вычисления тематической близости двух термов составляет О(k), т.е. она не
зависит от количества анализируемых документов и размера общего
словаря.
В качестве основы для группировки документов в информационном массиве можно рассмотреть понятия (не отдельные термины, а
некоторые семантические сущности), которые теоретически можно
выразить языком запросов. Так же как и в случае отдельных термов,
кластеризация документов сопоставляется с кластеризацией понятий,
при этом понятия более точно отражают тематические свойства документов. Конечно же, это достигается за счет усложнения алгоритмической части кластеризации. Построение таблиц взаимосвязей понятий (ТВП) базируется на языковых средствах информационнопоисковой системы, а также методах кластерного анализа. Семантическое значение понятий определяется на основе информационнопоискового языка.
Таблица взаимосвязей понятий, которая строится как статистический отчет, отражающий близость (совместное вхождение в документах) отдельных понятий из реального мира, – это симметричная
матрица A = a ij , элементы которой aij представляют коэффициенты
взаимосвязи соответствующих пар понятий. Коэффициент aii соответствует количеству документов входного информационного потока,
которые включают понятие i (термины или словосочетания, представленные на языке запросов, соответствующие понятию), а коэффициент aij , где i  j , – количеству документов во входном потоке, которые одновременно соответствуют понятиям i и j.
Предполагается, что качественные признаки вполне адекватно
выражаются информационно-поисковым языком. Как показывает
практика, это решение в большинстве случаев является достаточно
25
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
эффективным и оперативным (реализуется быстро просчитываемыми
алгоритмами).
Для переупорядочения понятий с целью выявления блоков –
множеств наиболее взаимосвязанных понятий – применяется алгоритм кластерного анализа. Например, для выделения двух таких блоков необходимо выделить два понятия-полюса (соответствующих,
например, индексам k и l), наиболее тесно связанных с другими понятиями, но минимально связанных между собой. Формально эти условия можно записать следующим образом:
 a
 a
ik
 a kk   max;
il
 all   max;
a kl  min, k  1.
Остальные понятия (например, понятие i) относятся к блоку k,
если aik > ail . В противном случае понятие i будет отнесено к блоку l.
При визуализации ТВП ее отдельные ячейки, соответствующие
отдельным элементам матрицы А, отображаются различными оттенками серого цвета (в зависимости от значений коэффициентов взаимосвязи aij ) .
Процедура построения таблицы взаимосвязей понятий предназначена для практического выявления взаимосвязанных понятий, их
перегруппировки, визуализации и фрагментации входного документального массива.
Процедура построения ТВП принимает на своем входе два потока – документальный массив и таблицу понятий (ТП), строки которой представляют собой названия понятий и запрос на информационно-поисковом языке, соответствующий этому разделу.
На первом этапе построения таблицы взаимосвязей понятий
(ТВП) должен быть построен текстовый файл взаимосвязей понятий,
который соответствует рассмотренной выше матрице A = aij , где
 
aij – коэффициенты взаимосвязей понятий i и j.
В файле, который соответствует матрице А, первая строка будет соответствовать первому понятию и заполняется коэффициентами
взаимосвязей с другими понятиями.
Алгоритм определения элементов матрицы А включает следующие шаги:
 шаг 1: все элементы матрицы А устанавливаются равными;
 шаг 2: осуществляется попытка чтения очередного документа
из входного массива. Если эта попытка успешна, то происходит переход к шагу 3, в противном случае – к шагу 4;
 шаг 3: для каждой пары i и j происходит проверка соответ26
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ствия входной записи понятиям i и j. Если соответствие установлено,
то коэффициент aij увеличивается на единицу, после чего выполняется переход к шагу 2;
 шаг 4: если был обработан хотя бы один документ, то построенная таблица взаимосвязей понятий считается сформированной.
На втором этапе построения ТВП выполняется перегруппировка понятий в зависимости от значений элементов матрицы А. Перегруппировка происходит путем одновременной перестановки строк
и столбцов этой матрицы с целью сведения ее к блочнодиагональному виду. Диагональные блоки соответствуют кластерам
обобщенных понятий.
На третьем этапе процедуры происходит визуализация ТВП
для удобного представления взаимосвязей понятий.
На последнем этапе осуществляется формирование типовых
запросов для последующей группировки документов, т.е. реализуются
механизмы фрагментации документального массива.
5.3.3. Вероят ност ная модель поиска
Рассматриваемая модель поиска базируется на теоретических
подходах байесовских условных вероятностей. Основным подходом
вероятностной модели является вероятностная оценка веса термов в
документе. С другой стороны, в качестве оценки соответствия документа запросу используется вероятность того, что пользователь пр изнает документ релевантным.
При описании вероятностной модели, как и ранее, используется словарь массива, включающий все термы, встречающиеся хотя бы
в одном документе из информационного массива. С документом сопоставляется вектор x = t1 ,,tn  , компонента i которого равна единице, если терм i входит в данный документ, и нулю – в противном случае. Здесь, как и ранее, терм задается своим порядковым номером в
словаре, а п – общее количество термов в словаре коллекции.
Будем считать фиксированным некоторый запрос q. Обозначим
через W1 событие, состоящее в том, что рассматриваемый документ
релевантен запросу q, а через W2 – событие, состоящее в том, что рассматриваемый документ не релевантен запросу q. В этом случае
PWi | x  – вероятность, что для документа х наступает событие Wi .
Зная эту вероятность, можно применить следующее правило, используемое при поиске: если PW1 | x > PW2 | x , то документ, представленный вектором х, релевантен запросу q. Теорема Байеса позволяет
перейти к вероятностям, значения которых удобнее оценить так:
27
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
PWi | x  = Px | Wi PW  / Px  .
В вероятностной модели используется упрощение, заключающееся в предположении (в общем случае – неточном) независимости
вхождения в документ любой пары термов.
В этом случае
Px | Wi  = Px1 | Wi   Px2 | Wi    Pxn | Wi  .
Если использовать следующие обозначения: pi = Pxi = 1 | w1  ,
qi = Pxi = 1 | w2 , то:
P x | W1  =  pixi 1 – pi  ;
1 xi
P x | W2  =  qixi 1 – qi  .
1 xi
Неравенство, определяющее релевантность документа запросу,
можно переписать следующим образом:
logPx | W1 PW1  / Px | W2 PW2  > 0 .
Пусть N – общее число документов в информационном массиве; R – число документов, релевантных запросу q; ni – число документов, в которых имеется терм с номером i; ri – число документов,
релевантных запросу q и включающих терм с номером i. В этих обозначениях pi  ri / R и qi  ni – ri / N  R . В качестве веса терма с номером i
в документе, представленном вектором х, можно взять величину
W i  = logri  N – R – n + ri  / ni – ri R – ri  .
При выполнении информационного поиска, благодаря режиму
обратной связи по релевантности, можно итеративным путем уточнять вес термов. В начале поиска вес терма i вычисляется по формуле
W i  = log N – ni / ni   log N / ni  .
Затем на каждой итерации поиска можно определять множество документов, отмеченных пользователем как соответствующие
его информационным потребностям. Их общее число можно принять
28
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
за некоторую оценку величины R, а число отмеченных документов,
содержащих термы с номером i, служит основой оценки величины ri .
Подход к решению проблемы спама. Приведенная выше вероятностная модель неожиданно нашла широкое применение в такой актуальной сфере информационного поиска, как борьба с несанкционированной рассылкой электронной почты, получившей название
«спам». Непрошенные рекламные рассылки по электронной почте являются одной из наиболее серьезных проблем Интернета. Нередки
случаи, когда спам проникает сквозь фильтры, а обычные письма,
напротив, оказываются в папке со спамом.
Важное направление борьбы со спамом заключается в совершенствовании и интеллектуализации спам-фильтров.
Американский исследователь и программист П. Грэм, ранее
известный как разработчик электронного магазина Viaweb Store (в
настоящее время Yahoo! Store), опубликовал в Интернете статью
«A Plan for Spam», весьма подробно описывающую эффективный метод борьбы со спамом [15]. Этот метод основывается на теории вероятностей и использует для фильтрации спама алгоритм Байеса [16].
Суть метода состоит в статистической фильтрации – применении математической теоремы Байеса к входящим электронным письмам. Эта
теорема позволяет вычислить вероятность некоторого события на основе статистики совершения этого события в прошлом.
С точки зрения математической статистики выявление спама –
это типичная задача выбора из двух гипотез. Если обозначить: Н 0 –
гипотеза того, что электронное сообщение является спамом, Н 1 – оно
спамом не является, то опровержение гипотезы Н 0 означает принятие H 1 , и наоборот.
Качество критерия выявления спама определяется вероятностями принятия и опровержения каждой из гипотез в зависимости от
того, какая из гипотез верна. Обычно этот критерий характеризуется
вероятностями ошибок. Ошибка первого рода заключается в отвержении истинной гипотезы о спаме ( H 0 ). Эта ошибка обозначается буквой  :
 = РH 1 / H 0  .
Ошибка второго рода (  ) – принятие гипотезы о спаме, когда
на самом деле верна ее альтернатива:
 = РH 0 / H 1  .
29
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Таким образом, α – уровень значимости критерия, а 1– β – его
мощность. Обычно уровень значимости α выбирается заранее (например, 0,5 %), а мощность стараются сделать максимальной.
Метод Байеса подразумевает использование статистической
оценочной базы – двух наборов электронных писем, один из которых
составлен из спама, а другой – из обычных писем. При создании этой
базы подсчитывается количество вхождений каждого отдельного термина в каждом наборе, и на основании этого для каждого терма вычисляется оценка того, что письмо, содержащее этот термин, является
спамом.
В разработанном П. Грэмом прототипе фильтра каждому
встречающемуся в электронной переписке слову или тегу присваивается значение вероятности его наличия в спаме. П. Грэм разработал
алгоритм отсева спама, основанный на формуле Байеса:
PH i | U i I  = PH i | I   PU i | H i I  / PU i | I  ,
где PH i | I  – начальная вероятность того, что гипотеза H i верна,
исходя из имеющегося опыта I; PU i | I  – вероятность наблюдения
события U i исходя только из опыта I; PU i | H i I  – вероятность
наблюдения события U i исходя как из опыта I, так и из гипотезы H i ;
PH i | U i I  – апостериорная вероятность истинности гипотезы H i
на основании опыта I и полученных экспериментальных наблюдений U i .
Оценка принадлежности конкретного слова спаму измеряется
по шкале от нуля до единицы. Нуль означает отсутствие спама, а единица – 100% уверенность в том, что это слово принадлежит к спаму.
Пусть письмо содержит п слов с оценками S1 Sn . Тогда общая оценка принадлежности письма к спаму S может быть вычислена,
например, по следующей формуле:
S = S 1  S 2    S n /S1  S 2    S n + 1  S1   1 – S 2     1 – S n  .
Полученная оценка определяет условную вероятность принадлежности письма к спаму на основании существующей оценочной базы.
Математики называют применяемый П. Грэмом метод «наивным» байесовским, поскольку принимается заведомо неверная гипотеза о независимости появления отдельных слов в письме.
Как уже отмечалось, в разработанном П. Грэмом прототипе
фильтра каждому встречающемуся в электронной переписке слову
30
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
или тегу присваивается значение вероятности его наличия в спаме. На
основе этих вероятностей с помощью байесовского подхода для электронного письма вычисляется вероятность того, что данное письмо
является спамом. Высокая вероятность присваивается как словам вроде sexy или promotion, так и термам типа ffOOOO – код ярко-красного
цвета в языке HTML. Низкая вероятность соответствует профессиональным терминам или просто редко используемым
в рекламе
словам. Именно переход от условных вероятностей того, что слова,
входящие в письмо, относятся к спаму, к вычислению вероятности того, что данное письмо является спамом, и реализуется формулами
Байеса.
Для статистической фильтрации спама не требуется вычисления оценки письма по всем входящим в него словам. Выбираются
лишь наиболее значимые с точки зрения оценок. Уровень значимости
определяется тем, насколько оценка слова отличается от нейтральной.
Эвристическим параметром для статистической фильтрации
спама является количество слов, по которым оценивается электронное
письмо. П. Грэм предложил в качестве такого параметра число 15.
В процессе испытания системы фильтрации спама П. Грэм
пропустил через нее 8 000 писем, половина из которых являлась
спамом. В результате через фильтры смогли просочиться лишь 0,5 %
рекламных сообщений (ошибка первого рода), а количество ошибочных срабатываний фильтра на основе байесовского подхода оказалось
нулевым (мощность критерия – стопроцентной!).
По мнению П. Грэма, для того чтобы система была действительно эффективной, она должна поддерживать возможность индивидуальной настройки, поскольку терминология, используемая в электронной переписке разными людьми, различается. Если же пользователь будет регулярно помечать рекламные письма как спам, то программа сможет накопить достаточно информации для эффективной
фильтрации электронной почты.
Отличия технологии статистической фильтрации от технологии
фильтрации на основе отдельных признаков заключаются в следующем:
1) Особенностью статистической технологии является
возможность индивидуальной автоматической настройки фильтра –
разные люди используют в электронной переписке различную
лексику. Настройка фильтра производится по результатам
статистического анализа существующего у пользователя архива
электронной почты.
2) В обоих случаях вычисляется «вес» письма. Однако при
использовании метода учета отдельных признаков «вес» письма
определяется только на основе признаков спама, что в результате
часто приводит к ложному принятию решения (ошибка второго рода).
31
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
3) В алгоритме Байеса наборы признаков определяются
объективно – в результате статистического анализа реальных архивов
писем. Получаемые наборы признаков оказываются весьма
нетривиальными и эффективными. Например, в качестве «плохого»
признака может появиться строка типа OXffffff – ярко-красный цвет;
а в качестве «хорошего» – номер телефона или другие персональные
данные.
П. Грэм разработал вариант своего фильтра на созданном им
самим языке Arc 3 (вариант LISP). В настоящее время группа энтузиастов работает над проектом spambayes (http://spambayes. sourceforge.net), целью которого является разработка спам-фильтра на основе байесовского алгоритма на языке Python.
5.3.4. Извлечение «скрытых» контекстно-зависимых
значений термов на основе
латентно-семантического анализа
Латентно-семантический
анализ,
или
индексирование
(LSA/LSI), – это теория и метод извлечения «скрытых» контекстнозависимых значений термов и структуры семантических взаимосвязей
между ними путем статистической обработки больших наборов текстовых данных [19]. Этот метод широко используется в области поиска и в задачах классификации информации.
Данный подход позволяет автоматически распознавать смысловые оттенки слов в зависимости от контекстов их применения. Он
использует выявленные показатели тематической близости термов
(см. подп. 5.3.3), которые затем применяются для вычисления оценок
тематической близости документов.
Метод LSA широко применяется в факторном анализе. Задачей
факторного анализа является выделение главных факторов из пространства элементарных. В большинстве случаев эта задача решается
с помощью алгебраического метода главных компонентов и сингулярного разложения матриц. В случае информационного поиска под
факторами понимаются некоторые семантические сущности, которые
зачастую не имеют определенных названий, а выбор этих сущностей
является открытой задачей.
Матричный латентно -семантический анализ . Математический аппарат данного метода базируется на сингулярном разложении матриц. Метод позволяет выявить скрытые семантические
связи при обработке больших массивов документов.
В качестве исходной информации LSA использует ту же мат32
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
рицу, что и в векторно-пространственной модели. Элементы этой матрицы содержат значения частоты использования отдельных термов в
документах.
Из матричного анализа известно, что любая прямоугольная
матрица А может быть разложена на произведение трех матриц:
А = UV T , где U и V – матрицы, состоящие из ортонормированных
колонок, а  – диагональная матрица сингулярных значений, диагональные элементы которых являются сингулярными числами матрицы
А, т.е. неотрицательными квадратными корнями собственных чисел
матрицы АТ А . Не умаляя общности, можно считать, что
11   22     nn . Естественно, порядок расположения собственных векторов матриц АА T и AT A соответствует выбранному порядку расположения сингулярных чисел.
Наиболее распространенный вариант LSA основан на использовании разложения матрицы по сингулярным значениям, благодаря
чему исходная матрица разлагается на множество из k ортогональных
матриц, линейная комбинация которых является неплохим приближением исходной матрицы.
Доказано, что такое разложение обладает замечательной особенностью: если оставить только k наибольших сингулярных значений, а в матрицах U и V только соответствующие этим значениям колонки, то произведение получившихся матриц  lsa , U lsa и Vlsa будет
наилучшим приближением исходной матрицы А матрицей ранга, не
превышающего k: A  A  U lsa lsaVlsa . Здесь расстояние между матри-

цами А и B задается выражением Σij Aij — Bij
.
2
Обозначим через U k подматрицу матрицы U, образованную ее
первыми k столбцами, через Vk – подматрицу матрицы V, образован-
ную ее первыми k столбцами, а через  k – подматрицу матрицы  ,
образованную ее первыми k строками и столбцами. Очевидно, что
Ak = U k ΣkVkT . Другими словами, матрица Ak является оптимальной
малоранговой аппроксимацией матрицы А. Иными словами, если
в
качестве А используется матрица связи термов и документов, то матˆ , содержащая только k первых линейно независимых компорица A
нентов А, отражает основную структуру скрытых зависимостей, присутствующих в исходной матрице, и одновременно не содержит информационного шума.
Выбор же наилучшей размерности k для LSA – это открытая
исследовательская проблема. В идеале k должно быть достаточно велико для отображения всей реально существующей структуры данных
33
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
и в то же время достаточно мало, чтобы не учитывать шума, т.е. случайных зависимостей.
Для целей поиска особое значение играют матрицы U k и VkT .
Строки матрицы U k рассматриваются как образы термов в k-мерном
вещественном пространстве, а столбцы матрицы VkT – как образы документов в том же k-мерном вещественном пространстве. Эти векторы задают искомое представление термов и документов в k-мерном
пространстве скрытых факторов.
При пополнении новым документом d информационного массива, для которого уже проведено сингулярное разложение, можно не
вычислять разложение заново. Достаточно аппроксимировать его,
определяя образ нового документа на основе ранее найденных образов
термов и весов факторов. Пусть d – вектор весов термов нового документа (новый столбец матрицы А), тогда его образ можно вычислить
по формуле
d' =  k 1 U kT d .
Если q – запрос пользователя – есть вектор размерности m,
i-й элемент которого равен единице, когда терм с номером i входит в
запрос, и нулю – в противном случае, тогда образ запроса q в проT
1
странстве латентных факторов будет иметь вид: q' = q U k  k .
Теперь мера близости запроса q и документа d оценивается веT
T
личиной скалярного произведения векторов q' и Vk d . Здесь Vk d 
обозначает d-столбец матрицы Vk . Так как на практике матрица А
чаще всего сильно разрежена, для эффективной работы с ней используются специальные алгоритмы.
T
Рис. 5.3. Лэрри Пейдж и Сергей Брин
34
Анализ гиперте кстовых ссылок. В Интернете помощь в определении авторитетности источника может оказать
анализ топологии ссылок между
документами. Два основанных
на связях алгоритма ранжирования Web-страниц – PageRank и
HITS (hyperlink induced topic
search) – были развиты в 1996
году в Станфордском университете Л. Пейджем и С. Брином
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
[14] (рис. 5.3), и в центре IBM Almaden – Дж. Клейнбергом.
Оба алгоритма предназначены для решения известной проблемы избыточности, свойственной широким запросам, а также для добавления точности результатам поиска на основе методов семантических сетей. PageRank подсчитывает общий авторитет документа, в то
время как HITS определяет авторитет документа для конкретной темы.
Как одно из приложений метода лантентно-семантического анализа рассмотрим модель гипертекстовой структуры Web-пространства,
которая включает критерий ранжирования Web-страниц – PageRank.
Одним из наиболее часто используемых форматов для представления
документов в Интернете является HTML, который позволяет создавать гипертекстовые документы, связанные гиперссылками. Сегодня
множество исследований посвящены анализу структуры сети, образованной посредством гиперссылок с одних Web-страниц на другие.
Например, популярная поисковая система Google обеспечивает относительно высокую точность поиска за счет использования собственного алгоритма ранжирования документов, представляемых пользователю в ответ на его запрос. Система Google сохраняет для всех индексируемых документов информацию о ссылках одних документов на
другие и ранжирует документы в соответствии с показателем их цитирования, который грубо можно оценить числом ссылок, ведущих к
данному документу из других.
Один из подходов к оценке показателя цитирования документов основан на использовании сингулярного разложения матриц взаимосвязи. Для заданного массива документов все множество ссылок
между ними можно представить графом С, каждая вершина которого
соответствует отдельному документу, а ориентированное ребро из
вершины i в вершину j свидетельствует о наличии в документе i ссылки на документ j. Граф С можно представить матрицей A = a ij , в которой элемент aij равен единице, если из вершины i выходит ребро в
вершину j, в противном случае элемент aij равен нулю.
Рассмотрим матрицу В = АА . Ее элемент bij равен числу документов, которые содержат одновременно ссылки как на документ i,
так и на документ j. Таким образом, матрицу В можно рассматривать
как матрицу подобия авторитетных документов.
Т
Аналогично для матрицы С = А А ее элемент cij равен числу
документов, которые одновременно ссылаются на документы i и j.
Следовательно, С можно рассматривать как матрицу подобия индексT
35
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ных документов.
Используя сингулярное разложение А = USV T , можно рассматривать главное направление для матрицы В – первый столбец
матрицы V – как характеристический вектор для множества авторитетных документов. Иными словами, чем больше значение v1i , тем
больше степень авторитетности документа i.
Аналогично первый столбец матрицы V можно рассматривать
как характеристический вектор для множества индексных документов.
Одна из важнейших составляющих успеха Google – высокая
пертинентность, т.е. соответствие между ожидаемым результатом поиска и фактически полученным. Это достигается за счет выделения
наиболее подходящих запросу Web-страниц и их удобной группировки при выдаче. Для ранжирования результатов поиска Google использует индекс PageRank, близкий по идеологии к литературному индексу цитирования – количеству ссылок с других документов на данный
документ. Индекс является реализацией метода латентносемантического индексирования. Но индекс PageRank, в отличие от
литературного индекса цитирования, не считает все упоминания
и
ссылки равными. Он учитывает больше факторов и определяется более сложным путем.
Обработчик ссылок системы (URLresolver) читает сформированный индексатором файл ссылок, конвертирует относительные URL
в абсолютные, помещает текст ссылки в предварительный индекс и
устанавливает значение параметра docID для того документа, на который ссылка указывает. Еще одна задача обработчика URLresolver –
составление базы данных связей между документами.
В дальнейшем эта база используется для определения ранга документа, т.е.
значения его параметра PageRank.
Наиболее известным расширением индекса цитирования
в WWW является PageRank, который определяет важность Webстраницы А рекурсивно на основе информации о страницах T, ссылающихся на страницу А.
Рассмотрим некую Web-страницу А. Пусть имеется п страниц
Т = T1 ,T2 , ,Т n , цитирующих данный документ, и С А – общее
число ссылок с Web-страницы А на другие документы. Пусть
d
(damping factor) – это вероятность того, что пользователь, просматривая какую-либо Web-страницу из множества Т, перейдет на страницу
А по ссылке, не набирая ее URL по каким-либо другим причинам.
Обычно значение d близко к числу 0,85. Тогда вероятность продолжения Web-серфинга без использования гиперссылок, путем ручного
ввода адреса (URL) со случайной страницы будет равна 1  d . Индекс
36
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
PageRank – PR A – для страницы А вычисляется по формуле
PR  A = 1  d + d PR T1  / C T1 ++ PR Tn  / C Tn  .
Таким образом, индекс легко подсчитывается простым итерационным алгоритмом.
Принцип подсчета ранга Web-страницы PageRank состоит в
следующем. Рассматривается процесс, при котором пользователь Интернетом открывает случайную Web-страницу, с которой переходит
по случайно выбранной гиперссылке на другую страницу. Затем, переместившись на другую Web-страницу, он снова активизирует случайную гиперссылку и так далее, постоянно переходя от страницы
к странице, никогда не возвращаясь. Иногда ему такое блуждание
надоедает, и он снова переходит на случайную Web-страницу – не по
ссылке, а набрав вручную некоторый URL. В этом случае вероятность
того, что блуждающий в сети пользователь перейдет на некоторую
определенную Web-страницу, – это ранг PageRank. PageRank Webстраницы тем выше, чем большее число страниц ссылается на нее и
чем эти страницы популярнее.
Формально модель PageRank не учитывает динамику развития
WWW и анализирует граф с некоторой статической структурой. Однако
теоретический анализ показал устойчивость получаемых рангов по отношению к изменениям, касающимся ресурсов с невысоким рангом.
Немного раньше, чем использование ранга PageRank, был
предложен локальный (основанный на запросе) алгоритм учета популярности – HITS, в котором учитывается запрос, позволяющий выбрать подграф из гипертекстовой сети. Из этого подграфа выделяются
два вида узлов: «первоисточники» – авторитетные страницы, на которые ведут ссылки с многих других страниц, и страницы-посредники
(хабы), которые содержат множество ссылок на страницы, соответствующие запросу. Алгоритм HITS заключается в выборе подмножества Web-пространства на основе запроса и определения лучших первоисточников и посредников по результатам анализа этого подмножества. Подмножество строится путем расширения множества найденных по запросу страниц за счет добавления всех страниц, связанных с
ними путем, состоящим из заданного числа ссылок (на практике – одной или двух). Затем для каждого документа рекурсивно вычисляется
его значимость как первоисточника а р и посредника h p по формулам:
37
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
а р =  hq ;
h p =  aq .
Алгоритм HITS предназначен для выявления множества
наиболее авторитетных страниц, определяемых главными собственными векторами Х Т Х и ХХ Т (X обозначает матрицу взаимосвязи узлов – инциденций рассматриваемого графа). При этом
предполагается, что процедура формирования анализируемого
множества страниц влечет доминирование страниц нужной тематики в этом множестве.
Как некоторое расширение стандартного алгоритма HITS рассматривается алгоритм Probabilistic HITS (PHITS), использующий
условные вероятности Рc | z  и Pz | d  для описания зависимостей
между наличием ссылки с, латентным (скрытым) фактором z и документом d.
Для вычисления рангов необходимо задать количество факторов z, и тогда Рc | z  будет характеризовать качество страницы как
«первоисточника» в контексте тематики z. В ситуациях, когда во множестве Web-страниц нет явного доминирования тематики запроса,
PHITS ведет себя лучше HITS.
Несмотря на различия данных алгоритмов, общее у них то, что
авторитетность (вес) узла зависит от веса других узлов, а уровень «посредника» – от того, насколько авторитетны соседние узлы. Кроме того, оба алгоритма используют вычисления собственных векторов для
матриц взаимосвязи (инциденций) соответствующих Web-страниц.
Расчет авторитетности отдельных документов сегодня широко используется в таких приложениях, как определение порядка сканирования документов, ранжирование результатов поиска, формирование
тематических сюжетов и т.д. Формулы расчета авторитетности постоянно совершенствуются. Предполагается, что применение этих алгоритмов в будущем станет еще более эффективным, так как гиперссылки между документами постоянно оптимизируются, с одной стороны, учитывая предпочтения пользователей, а с другой – явно ориентируясь на существующие методы их обработки поисковыми системами.
Вероятностное латентно-семантическое индексирование (PLSI). Это метод выделения скрытых факторов, характери-
38
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
зующих значение отдельных термов и документов из заданного массива документов. В отличие от традиционного, данный метод основан
на вероятностном подходе. Метод вероятностного латентносемантического индексирования ставит своей задачей выявление латентных, скрытых факторов, представляющих определенные информационные темы, присутствующие в информационном массиве,
и связанных с его документами и словами.
Рассмотрим матрицу А связи п документов d1 ,,dn и m термов t1 ,,tm . Пусть число основных тем в документальном массиве будет k, и им соответствуют k факторов z1 ,, zk (зачастую k задается
пользователем заранее). Сопоставим с фактором z i вероятность
Pzi  того, что случайно выбранный из данной коллекции документ
точнее всего характеризуется фактором zi. Итак,  Pzi  = 1.
i
Обозначим через Pd | zi  вероятность того, что для заданного
фактора z i из всех документов именно документ d лучше всего характеризуется фактором zi . Тогда
 Pd | z  = 1. Аналогично обоi
d
значим через Рt | zi  вероятность того, что для заданного фактора z i
из всех термов именно терм t лучше всего характеризуется фактором zi . Тогда  Pt | zi  = 1 .
t
Вероятность случайного выбора таких документа d и терма t,
что терм t встречается в документе d, можно оценить как
Pd | t  =  Pzi Pd | zi Pt | zi .
i =1,,k
Зафиксировав число скрытых факторов k, именно с помощью
метода PLSI можно оценить следующие величины:
• Pzi  – вероятность того, что случайно выбранный из коллекции документ наиболее тесно связан с фактором (в наибольшей
степени соответствует теме) zi;
• P d j | zi – вероятность того, что наиболее тесно связанный


с фактором z i документ – это d j ;


• P t j | zi – вероятность того, что для данного фактора z i
наиболее тесно связанное с ним слово – это tj.
39
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Наблюдаемая частота вхождения терма t в документ d задается
величиной tf d,t  . В соответствии с принципом максимального правдоподобия, упомянутые вероятности определяются исходя из условия
максимизации функции:
L =  tf d,t logPd,t ,
d
t
где внешняя сумма берется по всем документам, а внутренняя – по
всем термам словаря.
Стандартной процедурой для оценки значений упомянутых вероятностей является итеративный алгоритм, на каждой итерации которого выполняются два шага – оценка и максимизация.
Данный алгоритм обеспечивает сходимость функции L к некоторому локальному максимуму. Эксперименты показывают, что сходимость достигается после нескольких десятков итераций.
Аппроксимация образа нового документа в пространстве факторов. Обозначим через D' подмножество документов из информационного массива D, в котором производится поиск, а
через W – множество всех термов в документах, вошедших в D. Предположим также, что подмножество D' может рассматриваться в качестве представительной выборки документов из коллекции D, где
представлены все темы, отраженные в полном массиве. Иными словами, произвольный документ d из D содержит значительное число термов из W'.
Пусть n(d,w) – число вхождений терма w в документ d.
Рассмотрим выражение
Pd, w =  Pz Pw | z Pd | z  ,
zZ
где w  W' , nd, w > 0. В качестве неизвестных рассматриваются величины
При
этом
значения
величин
Pd | z , z  Z .
Pz , Pw | z , z  Z, w W' получены в результате применения PLSI
к множеству документов D'.
P(d,w) аппроксимируется по формуле
Pd,w  1/D' nd,w / lengthd ,
где length(d) – количество слов из W', имеющихся в документе d. Полученное значение является наилучшим приближением по методу
40
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
наименьших квадратов образа документа d в пространстве факторов Z.
Расширение запроса пользователя. После выявления
тематической принадлежности документов, отмеченных пользователем в результате первичной процедуры поиска как релевантные, возможно расширение запроса словами из отмеченных документов.
В
случае если информационный массив, в котором выполняется поиск,
содержит небольшое число релевантных запросу документов, расширение запроса, основанное на использовании обратной связи, эффективнее традиционного матричного контекстного анализа. Расширение
запроса на заданное число (k) слов на основе отмеченных пользователем документов (множество S) происходит следующим образом:
1. Для всех слов t из словаря, которые встречаются в документах
из S, вычисляется их вес: weightt  =  Pz Pd | z Pt | z  .
d  S, z  Z
2. Множество слов t упорядочивается по убыванию весов
weight(t).
3. Из построенного списка выбираются первые k слов. При
этом, если документ d входит во множество D', значения величин
Pz  , Pd | z  и Pw | z  уже известны (вычислены при применении
PLSI ко множеству документов D'). В противном случае неизвестные
величины Рd | z , z  Z оцениваются с помощью соответствующего
алгоритма.
Метод суффиксных деревьев. Изначально метод суффиксных деревьев (Suffix Tree Clustering) был разработан для быстрого поиска подстрок в строках. Суффиксное дерево – это дерево, содержащее все суффиксы строки. Оно состоит из вершин, ветвей и
суффиксных указателей, с помощью которых добиваются высокой
(линейной) скорости построения дерева. Ветви дерева обозначаются
отдельными буквами или частями суффиксов строки. Суффикс, соответствующий определенной вершине, можно получить путем объединения букв, которые находятся на ветвях, начиная от корневой вершины и заканчивая данной. Сегодня идеология суффиксных деревьев
применяется для кластеризации результатов работы информационнопоисковых систем. К достоинствам этого метода можно отнести высокую скорость работы [О(п)], наглядность представления результатов, а также вычислительную простоту.
При построении дерева вначале подвергаются очистке от пунктуации документы, получаемые от поисковой системы, затем слова
приводятся к каноническим формам (лемматизация) и т.д. После этого
для найденных документов строится дерево, но в этом случае ветвям
приписываются термы (слова или словосочетания), а не буквы, как в
41
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
традиционном методе. В результате вершинам дерева соответствуют
фразы, которые можно получить, объединив все термы, находящиеся
на ветвях, ведущих от корня к данной вершине дерева.
В вершинах дерева, имеющих потомков, расположены ссылки
на документы, в которых встречается фраза, соответствующая вершине. Множества документов, на которые указывают эти ссылки, образуют базовые кластеры. Затем происходит укрупнение базовых кластеров и получение окончательного набора кластеров.
Кластеры укрупняются по следующему алгоритму: пусть Вт
и В п – базовые кластеры, Вт ,Вп  – их размеры, а Вn  Вm  – количество общих документов для этих кластеров. Тогда, если
Вn  Вm  Вm  и Вn  Вm  Вn  превышают определенный порог
(например 0,5), базовые кластеры объединяются в один общий кластер.
Метод стабилизации центроидов кластеров (K-means).
В основе метода K-means лежит итеративный процесс стабилизации
центроидов кластеров. Основная идея метода заключается в итеративном достижении изменений центроидов кластеров, после чего процесс
кластеризации считается завершенным. Теоретическая скорость работы алгоритма линейна, т.е. составляет О(п), где п – число документов
в информационном массиве.
Априори выбираются начальные центроиды для множества документов. Например, из множества документов случайным образом
выбираются k документов, где k равно требуемому числу кластеров.
(В этом методе необходимо явно указывать требуемое число кластеров.) Начальные кластеры можно выбрать и на основе байесового
оценивания и нахождения подходящего для данного информационного массива числа кластеров и их центроидов.
После этого все документы распределяются по кластерам, причем
каждый документ может попасть только в один кластер, центроид которого наиболее близок к данному документу. Затем центроиды кластеров
пересчитываются, и если они не изменились, т.е. стабилизировались, то
процесс кластеризации завершается.
Метод «папок поиска » (Custom Search Folders) не связывается с определенным алгоритмом кластеризации, а представляет собой
множество подходов, общее у которых – попытка кластеризовать результаты поиска и представить на Web-сайте кластеры в удобном для
пользователей виде.
Суть этого метода (скорее технологии) заключается в том, что
пользователь может сузить результат поиска посредством того, что
будет рассматривать объекты, распределенные по папкам-кластерам,
42
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
автоматически формируемым в результате поиска. Достигается это за
счет лексического анализа результатов поиска и запросов. Такой по дход позволяет преобразовать страницы результатов поиска в интуитивно понятную древовидную структуру папок, т.е. пользователь после проведения первичного поиска по своему запросу может выбрать
одну из предложенных папок, тем самым сузив область поиска. Папки
чаще всего имеют иерархическую структуру, что дает возможность
еще больше конкретизировать результаты поиска. Распределение по
папкам происходит в режиме реального времени по ходу представления пользователю результатов поиска. По сути, папки выступают центроидами кластеров, с которыми затем соотносятся документы. Для
оперативного распределения документов по папкам заранее должна
быть построена матрица близости документов
(типа tf  idf ),
расчет которой требует существенного времени.
В результате
технология обладает высокой скоростью работы
и большой
наглядностью. Метод «папок поиска» в настоящее время нашел
широкое применение и реализован на сотнях Web-сайтов, представленных в Интернете.
Одна из первых удачных реализаций была представлена на
сервере Vivisimo (http://www.vivisimo.com). Подход Vivisimo предполагает анализ текста, в частности статей новостных ресурсов,
позволяющий выделить ключевые слова и фразы. При этом предполагается, что читатель ищет статьи на определенную тему. Компания Vivisimo на своем сайте представила поисковую систему, в
которой обобщаются («кластеризуются») ссылки на статьи в соответствии с их темами.
В частности, система Vivisimo состоит из трех модулей,
первый из которых – Knowledge Writer (Фиксатор знаний) – поддерживает базу синонимов, акронимов и различных вариантов
лексических единиц. Основная задача этого интеллектуального
модуля – «подстроиться» под имеющиеся данные для корректной
разбивки и сортировки по категориям. Второй модуль – Web-Based
Administration (Администратор ресурсов Web) – является интерфейсом настройки системы и управления ею, а третий – Organized
Content from Multiple Sources (Обработчик упорядоченного содержимого множественных источников) – позволяет проводить поиск
по нескольким ресурсам одновременно.
Свое применение Vivisimo уже нашла в корпоративных сетях и Web-сервисах. У Vivisimo имеются достаточно мощные аналоги, один из которых – система графического представления результатов поиска Grokker. В отличие от Vivisimo, Grokker является
не автономной поисковой системой, а модулем для поискового
43
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
бренда Google.
Так например, австралийский поисковый сервер Moother
(http://www.moother.com) избрал собственный визуальный подход
к представлению результатов поиска по обрабатываемым запросам. Вместо стандартных «плоских» результатов в виде списка,
сервер Moother группирует результаты поиска по категориям.
Например, при вводе словосочетания «Semantic Web» (семантический Web) пользователю будут представлены группы категорий,
относящихся к этому понятию. В данном случае это XML, Internet,
World Wide Web, conference и другие. Если эти результаты пользователя не устроят, то он может просто воспользоваться ссылкой
«следующие кластеры» (next clusters) (рис. 5.4).
Рис. 5.4. Кластеры на сервере Moother
Поисковый сервер iBoogie (http://www.iboogie.com) тоже
группирует результаты поиска, но отображает их иначе – в виде,
близком к используемому проводником Windows: справа представлены списки найденных документов, а слева – категории (кластеры) для просмотра (рис. 5.5).
Как и другие современные поисковые системы, сервер iBoogie
44
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
предоставляет возможность выбора большого количества критериев
поиска: МРЗ/аудио, изображения, видео, поиск в директориях.
Поисковая система WiseNut (http://www.wisenut.com), разработанная компанией LookSmart, обеспечивает группировку результатов
поиска по различным категориям, которые отображаются под строкой
запроса.
Например, по запросу «Text Mining» система определяет такие
релевантные категории, как Workshop Text, Knowledge Management,
Document Warehousing.
Рис. 5.5. Интерфейс поисковой системы iBoogie
В то же время уже на первой странице отклика ИПС будут
также представлены результаты поиска в виде традиционного спис ка.
Пользователь может для каждого найденного сайта просмотреть его
описание, за которым следует адрес и гиперссылка для быстрого просмотра. Перейдя по этой ссылке, пользователь прямо под результатом
увидит экранную копию сайта, с которого легко можно перейти
к
оригиналу.
5.4. Системы автоматических ответов на вопросы
пользователей
Системы автоматических ответов на вопросы пользователей, задаваемые на естественном языке, задумывались еще на заре кибернетики.
45
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Некоторые практические наработки в этой области были получены
в
эпоху расцвета идеологий экспертных систем (80–90-е годы XX века).
Однако, несмотря на большой спрос, технологические проблемы не
позволили создать промышленные системы этого класса. В последние
годы в связи с развитием технологии Text Mining о таких системах говорят все чаще, прежде всего в связи с возможностью их практической реализации. Нередко в качестве базы знаний в этих системах
предполагается использовать ресурсы Интернета, обработанные современными средствами глубинного анализа текстов. Кстати, с самого
начала развития технологий Text Mining служба получения ответов на
вопросы (Question Answering) рассматривалась как их органическая
составляющая.
По мнению многих экспертов, ожидается настоящая революция в области поиска в Интернете. И эта революция практически заявит о себе, когда в сети появятся системы, которые смогут давать
прямые и четкие ответы на произвольные вопросы пользователей.
Сегодня корпорация Microsoft уже пытается создать первую реально
работающую систему, способную отвечать на вопросы пользователей.
Работы в этом направлении ведутся в исследовательском центре корпорации (Microsoft Research) доктором Э. Бриллом, опубликовавшим
совместно с Р. Сорикутом алгоритм работы такой системы в статье
«Автоматические ответы на вопросы: по ту сторону от фактоидов».
В соответствии с этим алгоритмом вопрос пользователя поступает модулю Question2Query, переводящему его в запрос на информационно-поисковом языке. При этом на основе статистических подходов из строки, т.е. вопроса пользователя, выделяются и нормируются
ключевые слова, которые затем и становятся основой запроса.
Например, из вопроса:
«How do herbal medications differ from conventional drugs?»
(Чем медикаменты растительного происхождения отличаются
от обычных препаратов?)
система выделяет ключевые слова:
«How do», «herbal medications», «differ from», «conventional»,
«drugs»,
после чего обращается к традиционной поисковой системе
(модуль Search Engine) с запросом: «differ from» & «herbal
medications».
После получения откликов от традиционных поисковых систем
первые N документов (наиболее релевантные, ранжированные) обрабатываются модулем фильтрации, который выполняет дополнительный поиск и выделяет наиболее релевантные фрагменты из этих документов. Результаты фильтрации поступают на модуль Answer Extraction, который по весовому алгоритму выбирает необходимое для
ответа слово или предложение (рис. 5.6).
46
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В настоящее время разработана уже первая версия системы,
получившая название «Ask MSR», которая способна не только проводить поиск в сети, но и извлекать из найденных Web-страниц полезную информацию, текст с фактами, которые используются для ответа
на вопрос пользователя.
При этом ответ системы представляет собой одно слово или
предложение. Например, если задать системе вопрос: «Когда родилась
Мерилин Монро?», то алгоритмы сначала проанализируют структуру
вопроса, определят объект поиска, преобразуют вопрос
в поисковый запрос, отправят его на обычную ИПС (MSNSearch или Google),
получат результаты. Потом интеллектуально отфильтруют найденные
страницы и выдадут требуемый ответ.
WEB
Модуль
Question 2 Query
Запрос
Модуль
Search Engine
Список
ответов
Модуль
фильтрации
Документы
Q
Training
Corpus
A
Модуль
Answer Extraction
Рис. 5.6. Алгоритм доктора Брилла
В настоящее время система Ask MSR является всего лишь моделью, однако уже имеются планы по выводу ее на рынок под названием AnswerBot.
Параллельно группа исследователей под руководством доктора
Э. Брилла работает над развитием алгоритмов системы, дополняя их
элементами искусственного интеллекта. Модель системы Ask MSR
для создания собственной базы знаний проанализировала свыше миллиарда Web-страниц, выбрав 2,3 млн. адресов часто задаваемых вопросов (FAQ). В соответствии с алгоритмом работы системы ее база
знаний аккумулируется в модуле Training Corpus. В результате система уже сейчас способна моделировать ответ, который выдается поль47
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
зователю на его вопрос. Существующая модель Ask MSR пока обеспечивает корректные ответы только на 40 % вопросов, что тем не менее признается сегодня большим успехом.
5.5. Реализация систем Text Mining
В настоящее время многие ведущие производители программного обеспечения предлагают свои продукты и решения в области
Text Mining. Как правило, это масштабируемые системы, в которых
реализованы различные математические и лингвистические алгоритмы анализа текстовых данных. Они имеют развитые графические интерфейсы, богатые возможности визуализации и манипулирования
данными, предоставляют доступ к различным источникам данных
и функционируют в архитектуре клиент/сервер. К таким системам относятся:
 Intelligent Miner for Text (IBM);
 PolyAnalyst, WebAnalyst (Мегапьютер Интеллидженс);
 Text Miner (SAS);
 SemioMap (Semio Corp.);
 Oracle Text (Oracle);
 Knowledge Server (Autonomy);
 Galaktika-ZOOM (корпорация Галактика);
 InfoStream (ИЦ «ЭЛВИСТИ»).
5.5.1. Intelligent Miner for Text
Этот продукт фирмы IBM (http://www-3.ibm.com/software/data/
/iminer/fortext) представляет собой набор отдельных утилит, запускаемых из командной строки, или скриптов, выполняемых независимо
друг от друга. Эта система является одним из лучших инструментов
глубинного анализа текстов. Она содержит следующие
утилиты (Tools) для построения приложений управления знаниями:
 Language Identification Tool – утилита, предназначенная для
автоматического определения языка, на котором составлен документ;
 Categorisation Tool – утилита классификации, служащая для
автоматического отнесения текста к некоторой категории (входной
информацией на обучающей фазе работы этого инструмента может
служить результат работы следующей утилиты – Clusterisation Tool);
 Clusterisation Tool – утилита кластеризации, которая
предназначена для разбиения большого множества документов на
группы по стилю, форме, различным частотным характеристикам
выявляемых ключевых слов;
48
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 Feature Extraction Tool – утилита определения нового,
используемая для выявления в документе новых ключевых слов
(собственные имена, названия, сокращения) на основе анализа
заданного заранее словаря;
 Annotation Tool – утилита «выявления смысла» текстов
и составления рефератов, предназначенная для формирования
аннотаций к исходным текстам.
Пакет IBM Intelligent Miner for Text объединяет мощную совокупность инструментов, базирующихся, в основном, на механизмах
поиска информации (information retrieval), что является спецификой
всего продукта. Система включает ряд базовых компонентов, которые
имеют самостоятельное значение вне пределов технологии «добычи
текстов» – это информационно-поисковая система Text Search Engine,
утилита сканирования Web-пространства Web crawler, Net Question
Solution (решение для поиска в локальном Web-сайте или на нескольких intranet/Internet-серверах, Java Sample GUI), набор интерфейсов
Java Beans для администрирования и организации поиска на основе
Text Search Engine.
Intelligent Miner for Text как продукт IBM включен в комплекс
«Information Integrator for Content» для СУБД DB2 в качестве средства
Information Mining («глубинного анализа информации»). Стоимость
продуктов разных уровней семейства Intelligent Miner составляет от 18
до 75 тыс. долл.
5.5.2. PolyAnalyst
Решение PolyAnalyst российской компании «Мегапьютер»
(http://www.megaputer.com) может применяться для автоматизированного анализа числовых и текстовых баз данных с целью обнаружения
ранее неизвестных, нетривиальных, полезных и доступных пониманию закономерностей (рис. 5.7).
По своей природе PolyAnalyst является клиент-серверным приложением. При этом пользователь работает с программой PolyAnalyst
Workplace. Математические же модули выделены в серверную часть –
PolyAnalyst Knowledge Server. Такая архитектура предоставляет естественную возможность для масштабирования системы – от однопользовательского варианта до корпоративного решения с несколькими
серверами.
PolyAnalyst работает с разными типами данных. Это – числа,
логические переменные, текстовые строки, даты, а также свободный
текст. PolyAnalyst может обрабатывать исходные данные из различных источников, например, файлы: Microsoft Excel 97/2000; ODBCсовместимых СУБД; данных системы SAS; Oracle Express и IBM
49
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Visual Warehouse.
Рис. 5.7. Новая версия системы PolyAnalyst
В состав PolyAnalyst входит система TextAnalyst (http://www.megaputer.com/products/ta/index.php3), которая решает задачи Text Mining,
такие как: создание семантической сети большого текста, подготовка
резюме текста, поиск по тексту и автоматическая классификация
и
кластеризация текстов.
Построение семантической сети – это поиск ключевых понятий
текста и установление взаимоотношений между ними. По такой сети
можно не только понять, о чем говорится в тексте, но и осуществить
контекстную навигацию. Подготовка резюме – это выделение в тексте
предложений, в которых чаще других встречаются значимые для этого текста слова. В 80 % случаев этого вполне достаточно для получения представления о тексте. Для поиска информации в системе предусмотрено использование запросов на естественном языке. По запросу
строится уникальная семантическая сеть, которая при взаимодействии
с сетью документа позволяет выделить нужные фрагменты текста.
Кластеризация и классификация проводятся стандартными методами
50
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
добычи данных.
Система TextAnalyst рассматривает Text Mining в качестве отдельного математического аппарата, который разработчики пр ограммного обеспечения могут встраивать в свои продукты, не опир аясь на платформы информационно-поисковых систем или СУБД. Основная платформа для применения системы – MS Windows
9x/2000/NT. Существует плагин TextAnalyst для браузера Microsoft Internet Explorer.
Благодаря технологии эволюционного программирования и
другим интеллектуальным алгоритмам, PolyAnalyst с успехом применяется в различных бизнес-задачах, социологических исследованиях,
в прикладных научных и инженерных задачах, банковском деле, страховании и медицине.
5.5.3. WebAnalyst
Система WebAnalyst (http://www.megaputer.com/products/wa/
/index.php3) – также продукт «Мегапьютер Интеллидженс» – представляет собой интеллектуальное масштабируемое клиент-серверное решение для компаний, желающих максимизировать эффект анализа
данных в Web-среде. Сервер WebAnalyst функционирует как экспертная система сбора информации и управления контентом
Webсайта. Модули WebAnalyst решают три задачи: сбор максимального
количества информации о посетителях сайта и запрашиваемых ими
ресурсах; исследование собранных данных; генерация персонализированного на основе результатов исследований контента. Решение этих
задач в совокупности должно, по мнению разработчиков системы,
привести к максимизации количества новых посетителей Web-сайта и
сохранению уже имеющихся, а следовательно, к увеличению популярности ресурса.
Помимо этого WebAnalyst способен интегрировать возможности Text Mining напрямую в Web-сайт организации. Это позволяет организовать индивидуализированный, автоматизированный и целевой
маркетинг, автоматический поиск и реализацию перекрестных продаж, а также расширить набор данных, настраиваемых пользователем.
По сути, WebAnalyst представляет собой интеллектуальный сервер
приложений электронной коммерции. Техническая платформа та же,
что и у PolyAnalyst.
5.5.4. Text Miner
Американская компания SAS Institute выпустила систему Text
Miner для сравнения определенных грамматических и словесных ря51
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
дов в письменной речи (http://www.sas.cora/technologies/analytics/
/datamining/textminer). Система Text Miner весьма универсальна, поскольку может работать с текстовыми документами различных форматов – в базах данных, файловых системах и даже в Web-страницах.
Text Miner обеспечивает логическую обработку текста в среде мощного пакета SAS Enterprise Miner. Это позволяет пользователям обогащать процесс анализа данных, интегрируя неструктурированную текстовую информацию с существующими структурированными данными, такими как возраст, доход и характер покупательского спроса.
Пример успешного применения логических возможностей Text
Miner демонстрирует компания Compaq Computer Corp., которая в
настоящее время тестирует Text Miner, анализируя более 2,5 гигабайт
текстовых документов, полученных по e-mail и собранных представителями компании. Ранее обработать такие данные было практически
невозможно.
Программа Text Miner позволяет определить, насколько правдив тот или иной текстовый документ. Обнаружение лжи в документах производится путем анализа текста и выявления изменений стиля
письма, которые могут возникать при попытке исказить или скрыть
информацию. Для поиска таких изменений используется принцип, заключающийся в поиске аномалий и трендов среди записей баз данных
без выяснения их смысла. При этом в Text Miner включен обширный
набор документов с различной степенью правдивости, структура которых принимается в качестве шаблонов. Каждый документ, «прогоняемый» на детекторе лжи, анализируется и сравнивается с этими эталонами, после чего программа присваивает документу тот или иной
индекс правдивости. Особенно полезной программа может стать в организациях, получающих большой объем электронной корреспонденции, а также в правоохранительных органах для анализа показаний
наравне с детекторами лжи, действие которых основано на наблюдении за эмоциональным состоянием человека.
Интересен пример использования Text Miner в медицине: в одной из американских национальных здравоохранительных организаций было собрано свыше 10 тыс. врачебных записей о заболеваниях
сердца из клиник по всей стране. Анализируя эти данные с помощью
Text Miner, специалисты обнаружили некоторые административные
нарушения в отчетности, а также смогли определить взаимосвязь
между сердечно-сосудистыми заболеваниями и другими недугами, которые не были выявлены традиционными методами.
Вместе с тем компания SAS отмечала, что выпускает свой продукт Text Miner, в основном, для привлечения внимания бизнесинтеллигенции.
52
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
5.5.5. SemioMap
SemioMap, продукт компании Entrieva, создан в 1996 году
ученым-семиотиком К. Фогелем. В мае 1998 года был выпущен
как промышленный комплекс SemioMap 2.0 – первая система
Text
Mining,
работающая
в
архитектуре
клиент/сервер
(http://www.entrieva.com/entrieva/products/semiomap.asp?Hdr=semiomap).
Система SemioMap состоит из двух основных компонентов –
сервера SemioMap и клиента SemioMap. Работа системы протекает
в три этапа:
1. Индексирование. Сервер SemioMap автоматически читает
массивы неструктурированного текста, извлекает ключевые фразы
(понятия) и создает из них индекс.
2. Кластеризация понятий. Сервер SemioMap выявляет связи
между извлеченными фразами и строит из них лексическую сеть («понятийную карту») на основе данных о их совместном использовании.
3. Графическое отображение и навигация. Визуализация карт
связей, обеспечивающих быструю навигацию по ключевым фразам
и связям между ними, а также возможность быстрого обращения
к конкретным документам (рис. 5.8).
53
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Рис. 5.8. Семантическая карта SemioMap
SemioMap поддерживает разбиение материала по папкам и создание отдельной базы данных для каждой папки. Связи между понятиями, которые выявляет SemioMap, базируются на совместной
встречаемости фраз в абзацах исходного текстового массива.
Центральным блоком SemioMap является лексический экстрактор – программа, которая извлекает фразы из текстовой совокупности и выявляет совместную встречаемость этих фраз (их взаимные связи). Лексический экстрактор базируется на патентованной
технологии SEMIOLEX. Она реализует идеи вычислительной семиотики – науки о знаках в языковой коммуникации, разработанной К.
Фогелем.
5.5.6. InterMedia Text, Oracle Text
Начиная с Text Server в составе СУБД Oracle 7.3.3 и картриджа
interMedia Text в Oracle8i средства Text Mining являются неотъемлемой частью продуктов Oracle. В Oracle9i эти средства были существенно развиты и получили новое название – Oracle Text
(http://technet. oracle.com/products/text/content.html) [28]. Это программный комплекс, интегрированный в СУБД и позволяющий эффективно работать с запросами, относящимися к неструктурированным текстам. При этом обработка текста сочетается с возможностями,
которые предоставлены пользователю для работы с реляционными базами данных. В частности, при написании приложений для обработки
текста стало возможным использовать язык SQL.
Основной задачей, на решение которой нацелены средства
Oracle Text, является поиск документов по их содержанию – словам
или фразам, которые при необходимости комбинируются с использованием булевых операций. Результаты поиска ранжируются по релевантности, с учетом частоты использования слов запроса в найденных
документах. Для повышения полноты поиска Oracle Text предоставляет ряд средств расширения поискового запроса, среди которых можно
выделить следующие: расширение слов запроса всеми морфологическими формами, что реализуется привлечением знаний о морфологии
языка; расширение слов запроса близкими по смыслу словами за счет
подключения тезауруса – семантического словаря; а также расширение запроса словами, близкими по написанию и звучанию, – нечеткий
поиск и поиск созвучных слов. Нечеткий поиск целесообразно применять при поиске слов с опечатками, а также в тех случаях, когда во зникают сомнения в правильном написании фамилии, названия организации и т.п.
Система Oracle Text обеспечивает тематический анализ текстов
на английском языке. В ходе обработки текст каждого документа под54
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
вергается процедурам лингвистического и статистического анализа, в
результате чего определяются его ключевые темы и создаются тематические резюме, а также общее резюме-реферат.
Все описанные средства могут использоваться совместно, что
поддерживается языком запросов в сочетании с традиционным синтаксисом языка PL/SQL для поиска документов. Oracle Text предоставляет возможность работать с современными реляционными СУБД
в контексте сложного многоцелевого поиска и анализа текстовых данных.
5.5.7. Autonomy IDOL Server
Архитектура IDOL (Intelligent Data Operating Layer) сервера
компании Autonomy (http://www.autonomy.com), известной своими
разработками в области статистического контент-анализа, объединяет
интеллектуальный парсинг по шаблонам со сложными методами контекстного анализа и извлечения смысла для решения задач автоматической классификации и организации перекрестных ссылок. Основное
преимущество системы Autonomy – мощные интеллектуальные алгоритмы, основанные на статистической обработке. Эти алгоритмы базируются на информационной теории Клода Шеннона, байесовых вероятностях и нейронных сетях [21]. Концепция адаптивного вероятностного моделирования [The concept of adaptive likelihood
(probability) modeling (АРСМ)] позволяет системе Autonomy идентифицировать шаблоны в тексте документа и автоматически определять
подобные шаблоны во множестве других документов.
Важный момент в системе Autonomy IDOL Server – это возможность анализа текстов и идентификации ключевых концепций в
пределах документов путем анализа корреляции частот в отношении
терминов со смыслом текста. Система Autonomy использует уникальную технологию анализа шаблонов (нелинейная адаптивная цифровая
обработка сигнала) для извлечения из документов смысла и определения характеристик, содержащихся в текстах. АРСМ позволяет идентифицировать уникальные «сигнатуры» смысла текста,
а также
создавать агенты концепций, с помощью которых ищутся подобные
по смыслу записи на Web-сайтах, в новостях, архивах электронной
почты и в других документах. Поскольку система не базируется на
предопределенных ключевых словах, она может работать
с любыми языками.
Функциональность системы Autonomy включает такие возможности, как:
 автоматическая классификация;
 кластеризация;
55
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 автореферирование;
 автоматическое проставление гиперссылок;
 автоматическое создание профилей (информационных
портретов);
 генерация таксонометрических деревьев;
 создание метаданных и манипулирование ими;
 интеллектуальная обработка XML-данных;
 персонализация;
 поиск.
Ядро системы агентов Autonomy – это механизм динамического рассуждения [The mechanism of a dynamic reasoning (DRE)], основанный на технологии обработки шаблонов, в которой применяются
методы нейронных сетей. В DRE используется концепция адаптивного вероятностного моделирования для реализации четырех главных
функций: выявления концепции, создания и обучения агента, стандартного поиска текста. DRE воспринимает запросы на естественном
языке или термины, связанные булевыми операторами, и возвращает
список документов, упорядоченных по релевантности, запросу. Этот
механизм является основой для всех продуктов системы агентов от
Autonomy. Описание сервера IDOL компании Autonomy приведено по
адресу: http://www.autonomy.com/content/Products/IDOL.
5.5.8. Galaktika-ZOOM
Система Galaktika-ZOOM – продукт российской корпорации
«Галактика» (http://zoom.galaktika.ru/content.htm). Основное назначение системы – интеллектуальный поиск по ключевым словам с учетом
морфологии русского и английского языков, а также формирование
информационных массивов по конкретным аспектам. При этом объемы информации могут достигать сотен гигабайт.
Именно ориентация на большие информационные объекты –
сообщения и статьи СМИ, отраслевую печать, нормативную документацию, деловую переписку и материалы внутреннего документооборота предприятия, информацию из Интернета – составляет главную
особенность продукта. При этом система предоставляет определенный
инструментарий для анализа объективных смысловых связей отобранных данных и формирования «образа» проблемы – многомерной
модели в информационном потоке в форме ранжированного списка
значимых слов, употребляемых совместно с темой проблемы.
Большое внимание в системе уделено выявлению тенденций
динамики развития изучаемой проблемы. Система содержит конверторы чаще всего встречающихся текстовых форматов: простой текст,
56
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
RTF, DOC, HTML. Система Galaktika-ZOOM функционирует в среде
ОС Windows 2000.
5.5.9. InfoStream
Технология InfoStream (http://infostream.ua) была создана для
охвата и обобщения больших динамических информационных массивов, непрерывно генерируемых в сети. Методы, применяемые в системе, тесно связаны с методологией контент-анализа, проводимого
непрерывно во времени.
Технология InfoStream ориентирована, прежде всего, на работу
с Web-документами, однако в корпоративной реализации она позволяет обрабатывать данные в форматах офисных систем [MS Word
(DOC, RTF), PDF] и других текстовых форматах (простой текст, XML
и пр.). Системы на основе технологии InfoStream в настоящее время
функционируют на платформах таких операционных систем, как
FreeBDS, Linux, Solaris, Microsoft.NET.
5.6. Text Mining не только для спецслужб
Весной 2001 года отдел современных информационных технологий, входящий в состав управления науки и техники Центрального
разведывательного управления США, продемонстрировал общественности технологии «извлечения текстовых данных» (Text и Data
Mining), используемые для поиска значимой информации в огромной
массе документов, а также в радио- и телепередачах на различных
языках. Поиск ведется как по систематизированным, так и по случайным источникам, причем объектами поиска являются тексты в печатных изданиях и в цифровом виде, графические изображения, аудиоинформация на 35 языках. Для отсеивания аудиоинформации используется методика Oasis, которая распознает речь и превращает ее
в
текст. При этом технология позволяет отделять мужские голоса от
женских, а также голоса, принадлежащие разным людям, и записывать их в виде диалогов. Однако выделяются из аудиопотока только те
голоса или та конкретная информация, которые заложены в настройках поиска.
Еще одна компьютерная технология под названием Fluent дает
возможность подразделениям ЦРУ искать информацию в текстовых
документах. Эта технология подразумевает поиск по ключевым словам, причем вводится слово и сочетание на английском языке, которое
тут же переводится на ряд других языков, и найденная информация из
базы данных на разных языках поступает исследователю после автоматического перевода. Такая программа, как Text и Data Mining, позволяет
автоматически создавать предметные указатели для текстовых докумен57
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
тов, а также получать данные по частоте употребления тех или иных
слов в документах. Эти технологии ЦРУ использует сегодня для отслеживания незаконных финансовых операций и наркотрафика.
Описанными выше технологиями занимается отдел Advanced
Information Technology (AIT) (Директората науки и технологии ЦРУ).
«Мы развиваемся не так быстро, чтобы поспеть за стремительным ростом информационных потоков, стекающихся сюда каждый день, –
сказал директор AIT Л. Ферчайлд. – Мы должны снабжать сотрудников технологией, которая поможет им справиться с гигантскими объемами оперативно обрабатываемых данных».
В плане профессионального использования инструментов Text
Mining ЦРУ – далеко не монополист. По прогнозам аналитической
компании IDC, спрос на подобные программы существенно возрастет
в течение ближайших четырех-пяти лет.
Такие возможности, как экспресс-анализ найденной информации, информационная разведка (выявление разрозненной прямой
и
косвенной информации по некоторой проблеме), формирование
и
ведение тематических досье с возможностью выявления тенденций и
взаимосвязей персон, событий, процессов, уже используются рядом
крупных предприятий и наверняка будут востребованы в дальнейшем.
Как утверждает эксперт Алессандро Занаси, бывший сотрудник МЕТА Group., к 2008 году такого рода программы станут доминирующими при анализе информации от клиентов в компаниях любого уровня, будь то телефонные центры поддержки, Интернет- или
аналитические агентства. Кадровые отделы будут использовать пр ограммы этого класса для поиска резюме, подходящих по сложной сетке показателей, а маркетинговые службы найдут применение таким
программам в качестве анализаторов ситуации на рынке, отслеживающих тенденции, положение конкурентов и другие показатели на основе информации из самых разных источников – новостных лент, отчетов о НИР, обзоров, патентов.
5.7. Автоматическое реферирование
Экспоненциальный рост темпов производства информации
существенно снижает эффективность ее обработки традиционными
методами. С самого начала компьютерной эры создавались программы автоматизированной обработки текстов, реализующие индексирование, аннотирование, реферирование, фрагментирование и другие
формы информационного анализа и синтеза.
Такие программы, с одной стороны, способствуют расширению информационного пространства, а с другой – являются един58
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ственным инструментом, который потенциально может обеспечить
охват современных информационных ресурсов. Особенно большое
значение приобрела задача автоматического реферирования (Automatic Text Summarization) [1, 11, 23] – составление кратких изложений
материалов, аннотаций или дайджестов, т.е. извлечение наиболее
важных сведений из одного или нескольких документов, и генерация
на их основе лаконичных и информационно емких отчетов. Сегодня
потребность в автоматическом реферировании текстов стабильно возрастает.
Вместе с тем нишу систем автоматического реферирования
нельзя считать заполненной. Большинство процессов создания аннотаций еще неэффективны, сохраняется необходимость в масштабируемых методологиях и программах. С учетом бурного роста технологий глубинного анализа текстов (Text Mining) ожидается большой
прогресс и в области автореферирования. Однако, несмотря на то, что
отдельные производители уже создали системы автореферирования,
порождаемые сегодня объемы информации не позволяют оперативно
получать аннотации с необходимой полнотой и релевантностью.
На сегодня существует множество путей решения задачи, которые достаточно четко подразделяются на два направления – квазиреферирование и краткое изложение содержания первичных документов. Квазиреферирование основано на экстрагировании фрагментов
документов, т.е. выделении наиболее информативных фраз и формировании из них квазирефератов.
Краткое изложение исходного материала состоит в выделении
из текстов с помощью методов искусственного интеллекта и специальных информационных языков наиболее существенной информации
и порождении новых текстов, содержательно обобщающих первичные
документы.
Конечно, применяя такой подход, можно получать более сложные аннотации, которые, в принципе, могут содержать информацию,
дополняющую исходный текст. Благодаря опоре на формальное представление семантики исходного документа, подобные системы теоретически могут быть настроены на очень высокую степень сжатия, необходимую, например, для рассылки сообщений на мобильные
устройства. Иначе говоря, главное различие между средствами реферирования состоит в том, что они, в сущности, формируют набор выдержек или краткое изложение документа.
Все существующие промышленные системы класса Text Mining включают средства автореферирования, которые являются неотъемлемыми компонентами таких систем промышленного класса. Одна
из базовых процедур систем этого класса – автоматическое формирование дайджестов – представляет собой автореферирование на основе
59
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
большого количества документов. Для дайджеста отбираются документы, в которых наиболее явно отражены тенденции всего входного
потока. Можно утверждать, что такие дайджесты должны в наибольшей степени соответствовать информационным потребностям пользователя, по запросу которого формируется входной информационный
поток.
Предполагается, что на основании реферата, составляющего по
объему незначительную часть исходного текста, пользователи смогут
составить обоснованное заключение о первичном документе, затратив
на это значительно меньше усилий в сравнении с его полным прочтением [4]. Как правило, при автореферировании объем реферата должен составлять от 5 до 30 % исходного текста. Подготовка документов, представляющих собой аннотации из нескольких источников
(дайджестов), предполагает еще большую степень сжатия. При этом
анализ качества реферирования – отдельная и очень важная задача, на
которую зачастую не удается получить однозначный ответ. Как показывает практика, даже люди редко приходят к согласию относительно
качества передачи основного смысла в одном и том же реферате.
5.7.1. Квазиреферирование
Несмотря на большую популярность методов искусственного
интеллекта в области автоматического реферирования, сегодня можно
констатировать тот факт, что получение семантически наполненных результатов оказалось возможным и без привлечения баз знаний и правил.
Вместе с тем разработчики средств автореферирования все больше внимания уделяют гибридным системам, успешно объединяющим статистические методы и методы искусственного интеллекта.
Большинство систем автореферирования сегодня используют
вариации статистических методов анализа, зачастую игнорируя при
этом лингвистическую взаимосвязанность и семантику естественного
языка. В большинстве известных систем автоматическое реферирование, по сути, является экстрагированием, т.е. квазиреферированием.
Развитой синтаксический разбор и применение баз знаний или хотя
бы тезаурусов встречаются очень редко.
Предложения, характеризующиеся как «обрывки», например,
начинающиеся со слов «При этом...», «Во-вторых...» и т.д., зачастую
просто игнорируются подобными системами. В наиболее развитых на
сегодня системах реферирования учитывается зависимость предложений друг от друга, что обеспечивает связность результирующих аннотаций – подбираются группы взаимосвязанных предложений, которые
для достижения большей связности слегка изменяются
на сты60
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ках.
Еще одно направление, заключающееся в формировании изложений на основе использования баз знаний и являющееся в целом более перспективным, в настоящее время, к сожалению, представлено
лишь экспериментальными исследованиями – до широкой реализации
дело еще не дошло.
Квазиреферирование сводится к экстрагированию (извлечению) из документов минимальных релевантных фрагментов. При этом
по сравнению с кратким изложением оно обладает той особенностью,
что основывается на анализе поверхностно-синтетических отношений
лексических единиц в тексте, выраженных в нем и не требующих обращения к семантическим процессам, изучения которых пока еще недостаточно для описания свойств любого текста.
Квазиреферирование предполагает акцент на выделение характерных фрагментов методом сопоставления фразовых шаблонов,
в
результате чего выделяются блоки наибольшей лексической и статистической релевантности. Автоматическое определение частот использования отдельных слов и сочетаний в исходном документе позволяет определять абзацы и предложения, в которых тематика документа представлена наиболее точно. Создание итогового документа в
данном случае представляет собой просто соединение выбранных
фрагментов. Формируемый квазиреферат при этом производит впечатление связного текста, что значительно облегчает его восприятие.
Однако качество реферирования при этом во многом зависит от жанра
обрабатываемого текста. Гладкость и содержательность квазиреферата также зависит и от других особенностей исходного текста. Так, для
больших текстов, монографий или интервью построение качественного реферата из фрагментов исходного документа без учета семантических закономерностей практически невозможно.
Основу аналитического этапа квазиреферирования составляет
процедура вычисления весовых коэффициентов для каждого блока
текста в соответствии с такими характеристиками, как расположение
этого блока в оригинале, частота появления в тексте, частота использования в ключевых предложениях, а также некоторые другие
показатели.
В рамках квазиреферирования выделяют три основных направления, применяемых совместно в современных системах:
1) Статистические методы, основанные на оценке
информативности различных элементов текста по частоте
использования, которая служит главным критерием информативности
слов, предложений или фраз.
2) Позиционные методы, опирающиеся на предположение о
61
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
том, что информативность элемента текста находится в зависимости
от его позиции в документе.
3) Индикаторные методы, основанные на оценке элементов
текста исходя из наличия в них специальных слов и словосочетаний –
так называемых маркеров важности («в заключение», «было
отмечено, что...» и пр.) [2], характеризующих их смысловую
значимость. Иными словами, индикаторные методы обеспечивают
оценку фраз первичного документа на основе специальных словарей
маркеров.
Для русского языка, например, существуют словари маркеров,
включающие свыше 1500 лексических единиц внетематической лексики, а также формулы выбора, отражающие требования к вторичным
документам, получаемым путем экстрагирования фраз на основе индикаторных методов. Эти элементы лексического аппарата обеспечивают достаточно точную идентификацию фрагментов исходного
текста.
5.7.2. Алгоритмы автореферирования
Большинство алгоритмов автоматического реферирования документов предполагают три основных этапа: анализ исходного текста,
определение весомых фрагментов (предложений или целых абзацев) и
формирование вывода.
Первый этап начинается с выделения из исходного текста лексических единиц (слов или словосочетаний), их взвешивания по некоторым критериям и определения массива самых весомых. При этом
сначала выполняется выделение из исходного текста всех лексических
единиц и построение из них последовательного словарного массива.
При этом каждой лексической единице присваивается предварительный коэффициент, зависящий от ее расположения в исходном тексте.
Затем выполняется их нормализация с помощью средств автоматического морфологического анализа (в настоящее время это уже решенная проблема).
Морфологический анализ решает задачу приведения всех слов
к каноническому виду. Цель морфологического анализа состоит
в
выделении основ слов, т.е. словоформ с отсеченными окончаниями, а
также при необходимости в подключении синонимических цепочек
для отдельных слов. Для выполнения последующего семантического
анализа каждой словоформе ставятся в соответствие значения грамматических категорий (род, падеж, число).
На этом этапе также выполняется удаление из словарного массива слов, не несущих явной смысловой нагрузки. Для этого применяются программные средства, основанные на использовании «стоп62
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
словаря». Затем все лексические единицы массива сортируются, и
устанавливается частота их появления. При этом каждой из лексических единиц присваивается весовой коэффициент, который определяется как результат учета нескольких составляющих: частоты появления, тематического словаря (определяемого, например, тематикой запроса пользователя) и «плюс-словаря», включающего наиболее важную лексику общего назначения.
Последний этап при формировании массива лексических единиц заключается в выборе некоторого ограниченного количества с амых весомых терминов. Полученный массив лексических единиц,
кроме задачи автореферирования, в дальнейшем может быть полезен
и при различных лингвистических исследованиях текста.
Определение веса фрагментов (предложений или абзацев) исходного текста выполняется по алгоритмам, разработанным еще
в
60–70-е годы XX века и ставшим уже традиционными. Общий вес
текстового блока на этом этапе вычисляется по формуле
Weight := Location + KeyPhrase + StatTerm.
Здесь коэффициент Location определяется расположением блока в исходном тексте и зависит от того, где появляется данный фрагмент – в начале, середине или в конце, а также используется ли он в
ключевых разделах текста, например в заключении. Ключевые
фразы (KeyPhrase) представляют собой резюмирующие конструкциимаркеры типа «в заключение», «в данной статье», «согласно результатам анализа» и т.п. Весовой коэффициент ключевой фразы может зависеть также от оценочного термина, например «отличный». Статистический вес текстового блока (StatTerm) вычисляется как нормированная по длине этого блока сумма весов входящих в него терминов –
слов и словосочетаний. После выявления определенного (заданного
коэффициентом необходимого сжатия) количества текстовых блоков с
наивысшими весовыми коэффициентами они объединяются для построения квазиреферата.
Конечно, преимущество методов квазиреферирования заключается в простоте их реализации. Однако выделение текстовых блоков, не учитывающее взаимоотношений между ними, часто приводит
к формированию бессвязных рефератов. Некоторые предложения могут оказаться пропущены либо в них могут встречаться слова или
фразы, которые невозможно понять без предшествующего, но пропущенного в автореферате текста. Попытки решить эту проблему,
в
основном, сводятся к исключению таких предложений из рефератов.
Реже делаются попытки разрешения ссылок с помощью методов
лингвистического анализа. В ряде человеко-машинных подходов со63
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
здаются специальные интерфейсы, с помощью которых можно определить наличие смыслового разрыва или «висящего» слова. Очевидно,
что такой подход не годится для сколько-нибудь массовой обработки
текстов.
5.7.3. Дайджест ы
Дайджест представляет собой аннотированный текст, построенный на основе анализа нескольких документов. При составлении
дайджестов методы автореферирования одного документа распр остраняются на массив из большого количества документов. Вместе с
тем дайджест можно также рассматривать как аннотированный источник гиперссылок на документы, лежащие в его основе.
При формировании дайджестов методами квазиреферирования
практически невозможно получить связный текст. Объединение рефератов каждого из документов неизбежно будет содержать избыточную
несвязную информацию. Однако при условии составления автореферата, содержащего определенное количество анонсов входных документов и разделенного на подразделы в соответствии
с этими
документами, описанный выше метод оказывается вполне приемлемым.
Как и в случае квазиреферирования одного текстового документа, на первом этапе формирования дайджеста происходит отбор
наиболее весомых лексических единиц, входящих в массив исходных
документов (входной информационный поток), на основании которых
строится словарь системы.
Выбор исходных документов из входного массива построения
дайджеста осуществляется также с учетом их весов. Вес каждого документа определяется с учетом нормированной по длине документа
суммы весов отдельных слов, входящих в этот документ. Этап выбора
документов для дайджеста состоит из таких шагов, как определение
веса каждого документа, сортировка входного потока документов по
весам, определение смысловых дублей документов по статистическим
критериям, отбрасывание документов, непригодных для построения
дайджестов (недопустимых типов документов, например обзоров), а
также смысловых дублей (выявляемых по частотным алгоритмам).
Последний этап выбора документов для формирования дайджеста заключается в выборе заранее определенного количества самых вес омых документов из отсортированного и отфильтрованного на предыдущих этапах массива.
Статистический алгоритм выявления дублирующихся документов из входного потока может базироваться, например, на определении цепочек ключевых слов и частоты их использования для от64
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
дельных документов и последующем сравнении между собой всех таких цепочек исходных документов.
Последний этап синтеза дайджеста заключается в выделении
из отобранных документов самых значимых предложений и постро ении из них единого текста, разделенного на подразделы. Для этого к
каждому из отобранных документов может применяться описанный
выше алгоритм квазиреферирования.
Отобранные документы представлены в дайджесте заранее заданным количеством весомых предложений. В случае формирования
дайджестов на основе динамически изменяющейся информации из
Интернета автоматически формируется гипертекстовое представление
самого дайджеста, который можно рассматривать как самостоятельный документ, обладающий ссылками на документы-первоисточники
в сети.
Приведенная выше процедура обеспечивает формирование
дайджеста, отражающего основные тенденции, представленные в исходном информационном массиве. Вместе с тем имеет смысл формирование «веерного» многоаспектного дайджеста, отражающего наряду
с главной тенденцией несколько других аспектов, игнорируемых
в
дайджестах первого типа. Многоаспектный дайджест можно постр оить, базируясь на технологических решениях, используемых при
предыдущем подходе, при реализации следующего алгоритма:
1-й этап – построение дайджеста, отражающего основную тенденцию;
2-й этап – удаление из входного информационного потока документов, соответствующих тенденции, определенной на предыдущем
этапе;
3-й этап – построение дайджеста, отражающего основную тенденцию остающейся части информационного потока;
4-й этап – объединение полученных дайджестов;
5-й этап – при необходимости (исходя из требуемых объемов
результирующего дайджеста) выполняется переход ко 2-му этапу.
5.7.4.
Поисковые образы документов
Задача полнотекстового поиска, в последнее время ставшая
особенно актуальной в связи с развитием ресурсов Интернета, предполагает проведение поиска документов, в том числе и больших объемов, с использованием весовых критериев и логических операторов.
Вместе с тем проведение поиска по всему тексту может оказаться неэффективным. Например, в романе Л.Н. Толстого «Война и мир»
можно найти большинство лексем русского языка. В таких случаях
65
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
проблему точности решает поиск по аннотированным текстам. Иначе
говоря, вместо поиска по полным текстам оказывается целесообразным выполнять поиск по аннотациям – поисковым образам документов.
При этом методы квазиреферирования легко настроить для обработки крупных массивов информации. Хотя квазиреферат часто для
больших текстов оказывается образованием, лишь отдаленно напоминающим исходный текст и при этом зачастую не воспринимаемым человеком, именно как поисковый образ документов, содержащий взвешенные ключевые слова и фразы, он может приводить
к вполне
адекватным результатам при полнотекстовом поиске. Поэтому можно
прогнозировать, что статистические методы реферирования, квазиреферирование получат широкое распространение в области автоматического индексирования.
5.7.5.
Информационные портреты
Портрет можно рассматривать как модель реального объекта
(или субъекта), выраженную его наиболее узнаваемыми чертами. Как
в связи с задачами автореферирования, так и для решения других аналитических задач возникает потребность оценить содержание документа, получить его «информационный портрет», т.е. статистически
значимую совокупность информационных характеристик.
В
большинстве из существующих реализаций такой портрет состоит из
статистически значимых слов и выражений, сопровождающих упоминание объекта.
Например, в качестве информационного портрета темы, соответствующей запросу, можно рассматривать множество ключевых
слов, наиболее точно (по статистическим и смысловым алгоритмам)
отражающее информацию, получаемую в результате поиска по данному запросу. Построение информационных портретов в реально
функционирующих системах выполняется на базе эмпирических
и
статистических методов, основу которых, как и в случае автореферирования, составляют частотно-лингвистические алгоритмы.
С помощью информационного портрета в ИПС может детализироваться и уточняться критерий поиска. Информационный портрет
может быть реализован как отдельная семантическая карта или как
таблица на экране с результатами поиска. Чаще всего в этих случаях
для уточнения запроса определенным словом из информационного
портрета достаточно просто активизировать гиперссылку, соответствующую этому слову. Для уточнения запроса сразу несколькими
словами из информационного портрета часто используется механизм
установки флажков опций (checkbox), находящихся рядом со словами
66
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
в информационном портрете.
5.7.6. Программы автореферирования
В настоящее время существует достаточно большое количество программ автореферирования, реализующих преимущественно
статистические алгоритмы. Одним из первых проектов таких программ была система Inxight Summarizer, созданная в 1995 году в Исследовательском центре корпорации Ксерокс. Эта система параллельно использовала несколько известных алгоритмов реферирования и
оценки качества рефератов. Кроме того, она распространялась не
только
в виде готовой программной системы, но и в виде модулей
реферирования в составе библиотек для платформ Win32 и Solaris.
Компания British Telecommunications Laboratories для экспериментальной онлайн-платформы TranSend в свое время создала Prosura
– систему реферирования, реализованную в виде cgi-сценария, встраиваемого в страницы Web-сайтов. В текстовом процессоре Microsoft
Word 2000 реализована функция Автореферат (AutoSummarize), которая обеспечивает формирование рефератов из фраз исходного текста,
наиболее информативных с точки зрения вхождения в них высокоранговых для данного текста слов. При этом пользователь может устанавливать относительный размер реферата (коэффициент сжатия первичного документа) от 50 до 10 % исходного объема.
Полученный в результате текст реферата является лишь
наброском, и пользователю необходимо будет дополнительно его
корректировать – сама совокупность фраз в реферате не обеспечивает
его смыслового единства. Для аннотирования текстов на русском языке существуют компонент системы ОРФО 5.0, созданной компанией
«Информатик» (www.informatic.ru), и программа Либретто 1.0 компании «МедиаЛингва» (www.medialingua.ru), выполняющая аннотирование русских и английских документов. Обе эти программы могут
быть встроены в среду Microsoft Word. Уже устаревший, но вполне
работоспособный вариант Либретто можно получить по адресу:
http://www.vlz.ru/books/pcmag/b.htm.
В программе Либретто коэффициент сжатия задается пользователем. Программа имеет два режима: собственно аннотирование
и выделение ключевых слов. В режиме аннотирования из текста отбираются предложения, в наибольшей степени характеризующие его содержание. В режиме выделения ключевых слов производится выборка
из текста наиболее информативных слов – построение его информационного портрета.
В настоящее время компания «МедиаЛингва» предлагает на
67
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
рынке другую систему – Аннотатор SDK 1.0, представляющую собой
набор средств, предназначенный для автоматического аннотирования
документов любого объема и степени сложности на русском и английском языках (рис. 5.9). В этой системе для каждого предложения
входного текста на основе вероятностных моделей, дополненных
лингвистическими методами и словарями, вычисляются весовые коэффициенты.
Из наиболее значимых и независимых предложений составляется реферат настраиваемого размера. Для придания реферату большей связности исходные предложения могут быть переформулированы. В результате получается аннотация, более связанная, чем построенная в режиме обычного квазиреферирования.
Кроме того, пакет Аннотатор SDK 1.0 обеспечивает построение некоторого подобия информационных портретов – системой
обеспечивается выделение в исходном тексте наиболее информативных ключевых слов. Система включает набор интерфейсов (API) для
использования в сторонних приложениях, написанных на языках программирования C/C++, Visual Basic и Java.
Рис. 5.9. Аннотатор SDK – конструктор рефератов
Российская компания AGCProduct выпустила бесплатную про68
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
грамму Content Analyzer (последняя версия 0.52 доступна по адресу:
http://www.agcproduct.com/rus/downloads/#са), предназначенную для
автореферирования и построения информационных портретов Webстраниц в режиме онлайн (рис. 5.10). Эта программа обеспечивает
анализ Web-страниц из Интернета или с локального диска на русском
и английском языках.
В свое время российская компания «Микросистемы» (Microsystems) выпустила программу TextReferent. Сейчас эта программа
распространяется бесплатно. TextReferent предоставляет возможность
составления квазирефератов – наборов предложений исходного текста, которые содержат ключевые термины. Система позволяет настраивать «подробность» получаемого реферата.
Система TextAnalyst была разработана этой же компанией как
инструмент для анализа содержания текстов, смыслового поиска информации и формирования электронных архивов. В то время как TextReferent реализует лишь одну из функций системы TextAnalyst – автоматическое составление реферата, полная версия системы предоставляет пользователю возможность выделения именных групп
и
построения на их основе семантической сети – структуры взаимосвязей между именными группами.
Рис. 5.10. Программа Content Analyzer
Система TextAnalyst обеспечивает:
69
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»

анализ
содержания
текста
с
автоматическим
формированием семантической сети с гиперссылками – получение
смыслового портрета текста в терминах основных понятий и их
смысловых связей;

анализ
содержания
текста
с
автоматическим
формированием тематического древа с гиперссылками – выявление
семантической структуры текста в виде иерархии тем и подтем;

смысловой поиск с учетом скрытых смысловых связей
слов запроса со словами текста;

автоматическое реферирование текста из наиболее
информативных фраз (рис. 5.11);
 кластеризацию информации – анализ распределения
материала текстов по тематическим классам;

автоматическую индексацию текста с преобразованием
в гипертекст;

ранжирование всех видов информации о семантике текста
с возможностью варьирования детальности;
 автоматическое/автоматизированное
формирование
полнотек-стовой базы знаний с гипертекстовой структурой и
возможностями ассоциативного доступа к информации.
70
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Рис. 5.11. Реферирование с использованием системы TextAnalyst
Возможности систем квазиреферирования ограничены выделением и выбором оригинальных фрагментов из исходного документа и соединением их в короткий текст. Подготовка же краткого описания предполагает изложение, т.е. краткий пересказ содержания текста. Вместе
с тем, когда рынок недорогих традиционных систем автоматического реферирования был практически заполнен, появились новые гибридные
решения, построенные на основе синтаксических анализаторов.
Современные системы. Ставшие уже традиционными программы TextAnalyst и TextReferent нашли свое развитие в мощной системе PolyAnalyst компании «Мегапьютер». Сегодня пакет PolyAnalyst – это один из немногих коммерческих продуктов, в котором реализованы методы Text Mining – глубинного анализа текстовой информации. Система PolyAnalyst предназначена для автоматического анализа числовых и текстовых данных с целью обнаружения в них ранее
неизвестных, нетривиальных, практически полезных и доступных пониманию закономерностей, необходимых для принятия оптимальных
решений во многих областях человеческой деятельности. Благодаря
технологии эволюционного программирования и другим математическим алгоритмам, PolyAnalyst сочетает в себе высокую производительность с относительно невысокой стоимостью.
Современная система Text Analysis, входящая в пакет PolyAnalyst, представляет собой средство формализации неструктурированных текстовых полей в базах данных. При этом текстовое поле представляется как набор булевых признаков, основанных на наличии
и/или частоте данного слова, устойчивого словосочетания или понятия (с учетом отношений синонимии и «общее-частное») в данном
тексте. При этом появляется возможность распространить на текстовые поля всю мощь алгоритмов Text Mining, реализованных в системе
PolyAnalyst. Кроме того, этот метод может быть использован для
лучшего понимания текстовых компонентов данных за счет автоматического выделения наиболее ключевых понятий.
Мощные современные системы класса Text Mining, включающие элементы автореферирования, разработаны сегодня такими производителями, как IBM (Intelligent Miner), Silicon Graphics (SGI
Miner), Integral Solutions (Clementine), SAS Institute (SAS). Неотъемлемой частью продуктов Oracle сегодня также являются средства глубинного анализа текстов, которые появились еще в составе
Oracle
7.3.3 (Text Server) и в Oracle 8i (interMedia Text). Для решения проблемы обработки текстовой информации на русском языке
в
Oracle Text компанией Гарант-Парк-Интернет был разработан модуль
Russian Context Optimizer (RCO), предназначенный для совместного
71
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
использования с interMedia Text (или Oracle Text). Помимо поддержки
русскоязычной морфологии, RCO включает в себя дополнительные
средства нечеткого поиска, тематического анализа и реферирования
документов. В состав системы входит мощный программный комплекс RCO КАОТ, который обеспечивает автоматический анализ содержания полнотекстовых документов и поддержку рабочего места
аналитика (рис. 5.12).
Одна из первых промышленных программ автореферирования
с элементами семантического анализа – Extractor – была создана
в
Институте информационных технологий Национального исследовательского совета Канады. Она обеспечивает выделение из входного
исходного текста наиболее информативных именных групп. Основной модуль Extractor используется в программных продуктах
фирм ThinkTank Technologies и Tetranet, а также в некоторых поисковых системах.
Рис. 5.12. Страница RCO KAOT на сервере Russian Context Optimizer
В настоящее время аннотирована технология анализа текстовой информации WebFountain, разрабатываемая в исследова-
72
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
тельском центре IBM Almaden Research Center. Эта технология
ориентирована на анализ слабоструктурированных и неструктурированных данных, получаемых из Интернета [17].
WebFountain обрабатывает не только статические страницы, но
и доступные корпоративные базы e-mail, каналы IRC, живые журналы
(Web-логи или просто блоги), электронные доски объявлений, специализированные хранилища бизнес-информации, а также новостные
ленты и периодику.
Основные новшества WebFountain заключаются в технологиях
контент-анализа и структурирования информации, которые обеспечивают точный тематический поиск. При этом сам контент-анализ выполняется специальными модулями-аннотаторами, которые могут
разрабатываться сторонними компаниями и не являются неизменной
частью системы WebFountain.
Реализация конкретных аннотаторов зависит от вида информации, на работу с которой настраивается система. Аннотатор вкладывает в исходные документы свои «знания», дополняя их исходные тексты специальными XML-тегами, содержащими расширенную информацию о понятиях, встречающихся в текстах. Иными словами, аннотатор связывает значение отдельных слов с некоторой дополнительной релевантной информацией. Это делается для того, чтобы последующая обработка текста велась уже с учетом дополнительных сведений о понятиях – словах или словосочетаниях, которые в нем встречаются. В дальнейшем текст, увеличившийся по объему в несколько
раз за счет тегов с дополнительными сведениями, поступает на обр аботку модулей анализа информации и синтеза выходных форм.
5.8.
Автореферирование на основе семантических
методов
Подход, опирающийся на методы искусственного интеллекта,
исходит из предположения, что если удается определить семантику
текста, то аннотация будет более качественной. Используемые при
этом базы знаний должны постоянно поддерживаться в актуальном
состоянии и сопровождаться экспертами [18]. Для подготовки рефератов при таком подходе требуются мощные информационные ресурсы
для обработки данных на естественных языках, в том числе базы
грамматических правил и словари для синтаксического разбора естественно-языковых конструкций. Для реализации этого метода нужны
многочисленные справочники, отражающие понятия, ориентированные на предметные области, необходимые для анализа и определения
наиболее важной информации.
В отличие от частотно-лингвистических методов, обеспечивающих квазиреферирование, подход, основанный на базах знаний,
73
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
опирается на автоматизированный качественный контент-анализ, состоящий, как правило, из трех основных этапов. Первый – сведение
исходной текстовой информации к заданному числу фрагментов, т.е.
единиц значения, которыми являются категории, последовательности
и темы. На втором этапе производится поиск регулярных связей между единицами значения, после чего наступает третий этап – формирование выводов и обобщений. Строится структурная аннотация, представляющая содержание текста в виде совокупности концептуально
связанных единиц значения.
Семантические методы формирования рефератов-изложений
предполагают два основных подхода: метод синтаксического разбора
предложений и методы, опирающиеся на понимание естественного
языка. В первом случае используются деревья разбора текста. Процедуры автореферирования манипулируют непосредственно деревьями,
выполняя перегруппировку и сокращение ветвей на основании структурных критериев. Такое упрощение обеспечивает построение автореферата – структурную «выжимку» исходного текста.
Второй подход основывается на системах искусственного интеллекта, в которых на этапе анализа также выполняется синтаксический разбор текста, но синтаксические деревья не порождаются.
В
этом случае формируются семантические структуры, которые накапливаются в базе знаний. В частности, известны модели, позволяющие
производить автореферирование текстов на основе психологических
ассоциаций сходства и контраста. В базах знаний избыточная и не
имеющая прямого отношения к тексту информация устраняется путем
отсечения некоторых концептуальных подграфов. Затем информация
подвергается агрегированию методом слияния графов или обобщения.
Для этих преобразований выполняются манипуляции логическими
предположениями, выделяется определяющий шаблон в текстовой
базе знаний. В результате преобразования формируется концептуальная структура текста – аннотация, т.е. концептуальные «выжимки» из
текста.
Многоуровневое структурирование текста с использованием
семантических подходов позволяет решать задачу реферирования различными методами:
 путем удаления малозначащих смысловых единиц.
Преимуществом метода является гарантированное сохранение
значащей информации, недостатком – низкая степень сжатия;
 посредством сокращения смысловых единиц, т.е. их заменой
основной лексической единицей, выражающей главный смысл;
 гибридным способом, заключающимся в уточнении
реферата с помощью статистических методов, с использованием
семанти-ческих классов, особенностей контекста и синонимических
связей.
Хотя применение семантических методов при реферировании
зачастую приводит к потере некоторых второстепенных смысловых
74
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
элементов, однако они не снижают качество реферата – его точность,
компактность и связность.
К программам, базирующимся на семантических методах,
можно отнести, например, интерактивный анализатор текстов DictaScope (http://www.dictum.ru/onlinedictascope.htm).
Программа ориентирована на работу с текстами на русском
языке и позволяет в пошаговом режиме наблюдать процесс автоматического построения дерева смысловых связей (рис. 5.13). Интерфейс
программы разработан для ее применения при изучении лингвистических составляющих языка. Модули анализатора DictaScope могут
быть использованы в информационно-поисковых системах, в системах извлечения знаний и автоматического реферирования.
Рис. 5.13. Интерактивный анализатор текста DictaScope
К немногим системам, построенным на основе когнитивных
подходов, можно отнести систему Астарта российской компании Cognitive Technologies Ltd. (http://www.cognxt.ve.ru/products/astarta.htm),
предназначенную для эффективного сбора, обработки и анализа неструктурированной информации. Эта программа обеспечивает следующие возможности:
 сбор информации из таких источников, как Web-сайты,
75
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
новостные ленты и т.д.;
 автоматическое определение тематики документов,
т.е. автоматическое отнесение документа к тем или иным рубрикам. При
этом реализовано автоматическое обучение рубрикатора, автоматическое построение списка терминов и понятий, определяющих
принадлежность документа к рубрике;
 формирование широкого спектра информационных отчетов
(рефератов и дайджестов) по разнообразным критериям. Стиль
отчетов определяется пользователем, в распоряжение которого предоставлено хранилище шаблонов, содержащее различные варианты
представления дайджестов.
Перспективы автореферирования. По сравнению с традиционными подходами использование технологий Text Mining при анализе ресурсов Интернета обеспечивает, наряду с включением рабочих
мест пользователей в динамическое информационное пространство,
получение оперативных количественных и качественных аналитических срезов, что раньше было практически невозможно.
Кроме того, растущий объем мультимедийной информации
в сети делает её также очень важным объектом для обработки средствами реферирования. Технологии автореферирования должны обрабатывать данные разного типа на этапах анализа и синтеза, реализуя
интеграцию информации всех типов. Следует заметить, что это
направление находится лишь в самом начале своего развития, но уже
достигнуты определенные успехи. Например, в новой версии
ЯndexНовостей появилась группировка по сюжетам не только текстовых сообщений, но и фото-, аудио- и видеофайлов.
Все сообщения о результатах поиска на сайте Яndex. Новости
сгруппированы по сюжетам, при этом ранжирование построено на
стандартных для Яndex принципах ранжирования сгруппированной
выдачи. Оно строится на количестве и рангах отдельных сообщений
внутри сюжетов, при этом ранг одной новости определяется ее оперативностью с учетом совпадений ключевых слов. В результате функционирования технологии выявления сюжетов на сайте www.yandex.ru представлены
пять главных новостей за последний час, а на сайте news.yandex.ru эти
новости представлены с цитатными аннотациями, а также имеется
еще десять новостей, следующих по важности.
Хотя сегодня подходы, не предполагающие использования методов искусственного интеллекта, будут доминировать, однако системы, основанные на экспертных системах, в ближайшее время смогут
получить большее распространение в тех областях, для которых с уществуют разработанные лингвистические механизмы и базы знаний.
Важно учитывать, что для работы с этими источниками нужны специалисты-эксперты, обладающие широкими познаниями в своей обла76
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
сти.
5.9. Инструментарий конкурентной разведки
Без глубинного анализа информации, неуправляемые потоки которой, скорее, искажают реальную ситуацию на рынках, невозможно
успешное ведение бизнеса.
У конкурентной разведки (competitive intelligence) [3], которая
заключается в сборе и аналитической обработке информации, необходимой для принятия оптимальных управленческих решений руководством высшего звена компаний при ведении конкурентной борьбы, в
последнее десятилетие появилось и развилось до невиданных раньше
масштабов новое информационное поле – Web-пространство сети Интернет.
Конкурентная разведка должна позволять получать данные
о рынках сбыта, конкурентах, партнерах, контрагентах, новых технологиях, нормативных актах. При этом, в отличие от промышленного
шпионажа, конкурентная разведка проводится строго в рамках правовых норм. Сбор и обработка информации при конкурентной разведке
принципиально отличаются тем, что используют исключительно легитимные методы. На Западе конкурентная разведка уже представляет
собой отдельную область экономики.
В настоящее время, по оценкам экспертов, Интернет по количеству информации находится на первом месте, опережая СМИ, отраслевые издания и получаемые от коллег новости (по 15 %), специальные обзоры (10 %), закрытые базы данных (8 %). При этом в открытых источниках и специализированных базах данных, доступных
в
Интернете, содержится большая часть информации, необходимой для
проведения конкурентной разведки, однако остается открытым вопрос
ее нахождения и эффективного использования. Последние исследования информационного Web-пространства показали, что доступные через
традиционные
информационно-поисковые
системы
10 млрд. Web-страниц – это лишь «поверхностная» крупица. Непознанных, скрытых (deep, invisible) ресурсов сети в сотни раз больше.
Это, прежде всего, динамически генерируемые страницы, файлы разнообразных форматов, информация из многочисленных баз данных,
которые представляют собой самый большой интерес для конкурентной разведки.
Существенно возросший объем информации в Интернете затруднил поиск и выбор действительно нужных сведений. Ведь сама по
себе информация, которая не служит для принятия решений, является
беспредметной, а следовательно, несущественной. Традиционные с етевые информационно-поисковые системы не в полной мере справляются с задачей поиска информации, необходимой для решения задач
77
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
конкурентной разведки. Их эффективным дополнением служат специализированные системы, широко распространенные
в настоящее
время. Это объясняет острую необходимость интеграции информации
из различных источников, в силу того, что, как известно, большая
часть полезной информации (около 95 %) не является секретом и находится в открытых источниках, т.е. является информацией общедоступной. Однако не вся «несекретная» информация доступна, скорее,
наоборот. Доступ к необходимой в каждом конкретном случае информации – сложная задача [12].
При проведении конкурентной разведки отправной точкой считается не информационный шум, а исследуемый объект. Поэтому, хотя использование информационного пространства Интернета можно
считать очень перспективным, одновременно следует учитывать
и
слабые стороны сети: большой уровень недостоверности информации,
неструктурированность необходимых данных и, как следствие, сложность их поиска. Но в целом возможности сети Интернет оцениваются
всеми экспертами в области конкурентной разведки достаточно высоко.
5.9.1. Задачи конкурентной разведки
Система конкурентной разведки должна позволять руководству,
а также аналитическому и маркетинговому отделам компании не
только оперативно реагировать на изменения ситуации на рынках, но
и оценивать дальнейшие возможности своего развития. Основная цель
систем конкурентной разведки – переход от традиционного метода
интуитивного принятия решений на основе недостаточной информации к управлению, основанному на знаниях.
Конкурентная разведка в современных условиях выполняется
для достижения двух основных целей – снижения рисков и обеспечения безопасности сделок, а также приобретения конкурентных преимуществ. Система конкурентной разведки должна предоставлять
возможность не только осуществлять мониторинг информации, но и
моделировать стратегию конкурентов, выявлять их партнеров, поставщиков, уяснять условия их сотрудничества.
Основные задачи системы конкурентной разведки относятся
к нахождению и обобщению информации о конкурентах, рынках, товарах, бизнес-тенденциях и операциях по таким объектам, как:
– партнеры, акционеры, смежники, союзники, контрагенты, клиенты, конкуренты (личности и компании);
– объединения компаний, слияния, поглощения, кризисные ситуации и т.п;
– кадровый состав как своей компании, так и партнеров, конку78
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
рентов, а также кадровые изменения, их динамика;
– торговый оборот, бюджет и его распределение по пунктам;
– заключенные договора, достигнутые соглашения или договоренности.
Интерес при проведении конкурентной разведки вызывает не
только непосредственная сфера деятельности компаний, но и сферы
их влияния и интересов. Эти знания могут применяться, например,
для оказания влияния на позиции партнеров и оппонентов в ходе деловых переговоров. Большое значение имеет информация, относящаяся к политике конкурентов, их намерениям, сильным и слабым сторонам, продукции и услугам, ценам, рекламным кампаниям, другим параметрам рынка.
5.9.2. Источники информации и базы данных
для конкурентной разведки
Сегодня для конкурентной разведки основными источниками информации служат Интернет, пресса, а также открытые базы данных.
Очень популярны среди специалистов по конкурентной разведке базы
данных государственных и статистических органов, торговопромышленных палат, органов приватизации и т.д. Большую пользу приносят и отдельные доступные базы данных других органов власти.
В последнее время становятся популярны базы данных на основе архивов СМИ, в том числе и сетевых. В России, например, большой популярностью пользуется крупнейшая архивная база данных
СМИ службы Интегрум, содержащая несколько сотен миллионов документов. С помощью другой российской базы данных «Лабиринт»,
составленной на основе публикаций ведущих бизнес-изданий, можно
получить обширную информацию о конкретных персонах, организациях и компаниях.
Традиционно конкурентная разведка опирается на такие источники информации, как опубликованные документы открытого доступа, которые содержат обзоры товарного рынка, информацию о новых технологиях, создании партнерств, слияниях и приобретениях,
объявлениях о рабочих вакансиях, выставках и конференциях и т.п.
Широко используются сведения, находящиеся в документах, уже
имеющихся в компаниях, ведущих конкурентную разведку, результаты маркетинговых исследований, информация, полученная на конференциях, при общении с клиентами и коллегами. Большая часть этих
данных попадает в сетевую прессу, пресс-релизы или публикуется на
корпоративных Web-сайтах.
Как правило, для успешного ведения конкурентной разведки
должен быть создан и непрерывно поддерживаться банк данных,
79
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
включающий следующие базы данных:
1. Конкуренты (действующие и потенциальные).
2. Информация о рынке (тенденции, номенклатурная, ценовая,
адресная информация).
3. Технологии (продукты, выставки, конференции, стандарты,
качество).
4. Ресурсы (сырье, человеческие и информационные ресурсы).
5. Законодательство (международные, центральные, региональные и ведомственные нормативно-правовые акты).
6. Общие тенденции – политика, экономика, региональные
особенности, социология, демография.
Система конкурентной разведки, использующая Интернет как
один из источников информации, должна настраиваться под специфику деятельности компании. Она должна включать в себя соответствующую классификацию, гибкие механизмы поиска, оперативной доставки данных, а также качественной оценки информации. Одной из
самых важных задач анализа информации является определение ее
достоверности, т.е. задача анализа и фильтрации шума и ложной информации. Без таких оценок всегда есть риск принять неверные решения. После анализа достоверности информации должны следовать
оценки ее точности и важности. Главным критерием достоверности
данных на практике является подтверждение информации другими
источниками, заслуживающими доверия. Например, не всегда стоит
доверять «желтой» прессе или информации, поступившей от недостаточно профессиональных источников, которыми переполнен Интернет.
5.9.3. Подходы к анализу контента
Процесс конкурентной разведки можно рассматривать как построение сети из исследуемых объектов и связей между ними. Результаты должны представлять собой аналитическую информацию, которая может быть использована для принятия решений. Аналитическая
информация может иметь вид схем: семантических сетей, дайджестов,
наборов сюжетных линий, взаимосвязей ключевых понятий, компаний, лиц, технологий и т.п.
Задачи конкурентной разведки породили спрос на специальные
информационные технологии, обеспечивающие возможность извлечения и обработки необходимой информации, что, в свою очередь,
вызвало поток предложений систем со стороны разработчиков пр ограммного обеспечения. Решать задачи конкурентной разведки на основе информации из Интернета помогают общедоступные и специальные программы и сервисы. Например, так называемые персонализированные разведпорталы, которые в последнее время приобрели популяр80
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ность и наделены способностью отбирать информацию по самым узким,
специфическим вопросам и темам и представлять ее заказчикам.
В настоящее время декларированы технологии и системы
«компьютерной конкурентной разведки», идея которых заключается в
автоматизации и ускорении процессов извлечения необходимой для
конкурентной борьбы информации из открытых источников и ее аналитической обработки.
При ведении конкурентной разведки все более широкое применение находят новые направления науки и технологий, получившие
названия «управление знаниями» (knowledge management) и «обнаружение знаний в базах данных» (knowledge discovery in databases), или
Data и Text Mining – глубинный анализ данных или текстов.
Если системы управления знаниями реализуют идею сбора и
накопления всей доступной информации как из внутренних, так и из
внешних источников, то технологии Data и Text Mining позволяют
выявлять неочевидные закономерности в данных или текстах – так
называемые латентные (скрытые) знания. В целом, эти технологии
еще определяют как процесс обнаружения в «сырых» данных ранее
неизвестных, но полезных знаний, необходимых для принятия решений. Системы данного класса позволяют осуществлять анализ больших массивов документов и формировать предметные указатели понятий и тем, освещенных в этих документах.
Характерная задача конкурентной разведки, обычно реализуемая в системах Text Mining, – это нахождение исключений, т.е. поиск
объектов, которые своими характеристиками сильно выделяются из
общей массы. Еще один класс важных задач, решаемых в рамках технологии Text Mining, – это моделирование данных, ситуационный и
сценарный анализ, а также прогноз.
Для обработки и интерпретации результатов Text Mining
большое значение имеет визуализация. Часто руководитель не всегда
адекватно воспринимает предлагаемую ему аналитическую информацию, особенно если она не вполне совпадает с его пониманием ситуации. В связи с этим служба конкурентной разведки должна стремиться представлять информацию в виде, адаптированном к индивидуальному восприятию заказчика. Любопытно, что ЦРУ представляло Рональду Рейгану ежедневную информацию в виде видеофильма, который снимали каждый день, поскольку бывший киноактер воспринимал такую подачу информации наиболее адекватно.
Визуализация используется как средство представления контента всего массива документов, а также для реализации механизма
навигации по семантическим сетям, который может применяться при
исследовании как отдельных документов, так и их классов.
81
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
5.9.4. Формирование запросов по конкурентной
проблематике
Для качественного проведения конкурентной разведки методами анализа текстов из Интернета необходимо поставить цели, построить базы данных для наблюдений и проведения исследований,
сформулировать требуемые запросы. Не следует ограничиваться одной информационно-поисковой системой даже для анализа такой информации, как Интернет-ресурсы. Целесообразно использовать лучшие глобальные и специальные информационно-поисковые системы,
такие как Google, Yahoo! или Яndex (http://www.yandex.ru), а для особых потребностей – законодательные, адресно-номенклатурные, ценовые базы данных, доступные как в Интернете, так и в локальных
версиях.
Формирование относящихся к конкурентной проблематике запросов можно показать на примере поисковых предписаний к информационно-поисковой системе InfoStream (http://infostream.ua).
Обычно поиск информации о компании или персоне начинается с указания различных способов написания названия компании или
полного имени персоны. Часто поиска в оперативных и ретроспективных данных по таким «примитивным» запросам вполне достаточно,
однако задача усложняется, если необходимо исследовать состояние
отдельной отрасли, отдельного региона или даже целой страны. В
таких случаях в соответствии с проблематикой строятся запросы, которые затем итеративно уточняются.
В качестве примера перечислим ряд проблем, поставим им в
соответствие запросы и рассмотрим найденные фрагменты текстов,
публикуемые различными источниками, которые затем можно будет
использовать для построения собственных аналитических справок.
Ниже приведены уточняющие запросы, относящиеся к финансовому положению компаний:
Уставный~капитал~/2/долл
Уставный~фонд~/2/грн
Финансовое~положение
принадлежит~/2/акций
В первых двух запросах подразумевается нахождение документов, в которые входят фрагменты, содержащие словосочетания
«уставный капитал» или «уставный фонд», с указанием значения в
долларах или гривнах («~/2/» на языке запросов означает расстояние
в два или менее слов между выражениями).
В результате поиска получены тексты, содержащие такие
фрагменты:
82
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Альфа-частицы украинского циркония
...в 1998 году было создано совместное предприятие «ТВЭЛЭнергия» с уставным капиталом 1 млн долл. СП было создано на
троих: «ТВЭЛ», «Энергоатом» и близкое к «Интерпайпу» украинскоандоррское предприятие АМП (руководили им братья Петр и Сергей
Устенко), которое позже фигурировало в скандале вокруг неудачного
приобретения 25%-го пакета акций харьковского «Турбоатома».
Позже 14,55 % из этого пакета оказались в собственности подконтрольного К. Григоришину белизского оффшора Parminter Group...
«Российский сайт ядерного нераспространения» 2004.07.20.
...За январь–июль текущего года финансовый результат КБ
«Приватбанк» (Днепропетровск) составил 144,7 млн. грн. Об этом
УНИАН сообщили в банке. Как говорится в сообщении, на 1 июля
2004 года чистые активы Приватбанка выросли до 14 млрд. 192 млн. грн.
(на 1 января 2004 года – 9 млрд. 842 млн. грн.), собственный капитал – 1
млрд. 202 млн. грн., уставный фонд – 700 млн. грн. ...
УНИАН 2004.07.22.
Куда делись деньги Parmalat
...Бонди не заявляет прямо, что банки участвовали в схемах
Parmalat, но утверждает, что реальное финансовое положение компании
можно было бы легко определить, сравнив информацию, представляемую
компанией, и данные независимых аналитиков относительно ее облигационных займов. «Операторы финансового рынка знали о беспорядке, который
царил в Parmalat», – говорится в отчете...
«Ведомости» 2004.07.26.
ФГИУ объявил конкурс по продаже 93,07 % ОАО «Криворожский железорудный комбинат»
...Правительство Украины 1 марта 2002 года передало 100 %
акций ОАО «Комсомольское рудоуправление» (Донецкая обл.), входившего в состав ГАК «Укррудпром», в управление ОАО «Мариупольский металлургический комбинат им. Ильича» сроком на пять лет с
правом их дальнейшего выкупа. ОАО «ММК им. Ильича» – одно из
трех крупнейших металлургических предприятий Украины. ЗАО
«Ильич-Сталь» принадлежит более 90 % акций комбината, остальные – физическим и юридическим лицам...
«Finance.com.ua» 2004.07.23.
Информация о слияниях и приобретениях в той или иной сфере
бизнеса, позволяющая следить за экспансией конкурентов в новые
рыночные ниши, может быть получена в результате отработки таких
уточняющих запросов, как:
приобрел/2/акций
83
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
приобрел~/2/пакет-акций (допустимо, например, «контрольный пакет акций»/
продал~/2/пакет~акций
(слияние~компаний) & (акций, активов)
Выполнение этих уточняющих запросов позволило получить
документы, содержащие следующие фрагменты:
ГУТА-банк открылся
...Уже 12 июля «ГУТА» начала принимать заявления от вкладчиков на выдачу денег, 16 июля ВТБ приобрел 85,8 % акций ГУТАбанка и получил большинство в совете директоров, а спустя неделю,
в минувшую пятницу, ГУТА-банк возобновил работу...
«Ведомости» 2004.07.26.
Покупатель «Укртелекома» получит в управление часть пакета акций ОАО, закрепленного в госсобственности
...Промышленный инвестор, который приобрел пакет акций
«Укртелекома», имеет право получить в управление пакет акций
компании в размере до половины пакета акций ОАО «Укртелеком»,
которые закреплены в государственной собственности. Условия передачи в управление промышленному инвестору этого пакета акций
определяются в соответствующем договоре. Такова одна из норм
Положения о порядке подготовки и проведения открытых торгов по
продаже пакета акций открытого акционерного общества «Укртелеком», утвержденного Приказом Фонда госимущества от
29.06.2004, номер 1256 (зарегистрирован в Минюсте 16 июля
2004
года под номером 893/9492)...
«Подробности» 2004.07.23.
«Альфа-Эко» купила весомый аргумент на переговорах с Sun
Interbrew
...На «Патре», однако, говорят, что сделка с акциями была.
По словам руководителя пресс-службы предприятия Сергея Салыгина, топ-менеджмент завода продал контрольный пакет акций
структурам «Альфа-Эко». Сумма сделки не разглашается. По оценкам аналитиков, она могла составить 20–25 млн. долл. ...
«Рынок продуктов питания» 2004.07.23.
«Силовые машины» не объединились с ОМЗ
...Запланированное слияние компаний «Силовые машины» и
ОМЗ не состоялось, пишут «Ведомости». По информации газеты,
причиной этому стал пропуск владельцем «Силовых машин» – холдингом «Интеррос» срока оплаты своей доли в ОМЗ акциями «Силовых
машин»...
84
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
«ПОЛИТ.РУ» 2004.07.21.
Для выявления публикаций об изменении финансового состояния и банкротствах можно использовать уточняющие запросы:
выпуск~/2/акций
(увеличить~уставный)&(фонд, капитал)
повысить~/1/долю~/1/акций
снизить~/1/долю~/1/акций
продать~/2/акций
объявить~/2/банкротство
Отработка указанных запросов позволила найти следующие
документы:
Нефтяная концентрация
...Л. Кучма также отдал поручение в максимально быстрые
сроки провести общее собрание акционеров «Укрнафты», чтобы оно
могло принять решение о повышении уставного фонда компании путем дополнительного выпуска акций, сохранив при этом за госуда рством 50 % +1 акция и передав в уставный фонд «Укрнафты» госпакеты акций «Укртатнафты» и НПК «Галичина»...
Газета «День» 2004.07.23.
фонд
Страховая компания «Веста» планирует увеличить уставный
...ГКЦБФР зарегистрировала новый уставный фонд страховой
компании «Веста» в размере 6,5 млн. грн. Однако компания не собирается останавливаться на достигнутом. Еще до конца года планируется увеличение уставного фонда до 7 млн. грн. А в начале следующего года компания планирует поднять УФ до 11-12 млн. грн. ...
«UABanker» 2004.07.23.
Составляются новые списки
...По словам аналитика банка «Зенит» Сергея Суверова, в
этой ситуации о вкладчиках должен позаботиться главный регулирующий орган – Центробанк: например, дать банку «Диалог-Оптим»
стабилизационный кредит или продать контрольный пакет акций
кредитного учреждения, как это было сделано в случае с ГУТАбанком.
В пик банковского кризиса, когда с проблемами столкнулся даже Альфа-банк, глава Центробанка Сергей Игнатьев заявил,
что проблем у банка нет и свои обязательства перед вкладчиками он
вы-полнит...
«ГАЗЕТА» 2004.07.23.
ЮКОС поднимает цены на нефть
…Судя по всему продажи «Юганскнефтегаза» не избежать.
Глава Федеральной службы по финансовым рынкам Олег Вьюгин да85
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
же рассказал, как собираются реализовывать на бирже основной
актив ЮКОСа: небольшими порциями. А это, как известно, главная
«дойная корова» ЮКОСа, добывающая для компании 60 % нефти.
И цена одних только запасов «Юганскнефтегаза» почти в 9 раз превышает сумму налоговых претензий к компании. Потерять ее – значит лишиться львиной доли прибыли. Вслед за чем остается лишь
объявить о банкротстве. По словам руководителей ЮКОСа, это
может произойти уже через три недели...
«Российская газета» 2004.07.23.
5.9.5. Конкурентная разведка и извлечение «скрытой»
информации
Как уже было замечено ранее, необходимой (в том числе и для
конкурентной разведки) информации в Интернете значительно больше, чем ее охватывают универсальные поисковые машины. Предполагается, что, в отличие от «познаваемой» части Интернета, «скрытая»
часть информации оказывается в сотни раз более объемной.
К разряду «скрытой» Web-информации, например, относится
и крупнейшая в мире полнотекстовая онлайновая информационная
система Lexis-Nexis, которая содержит более 2 млрд. документов
с глубоким архивом до 30 лет по бизнес-информации и более 200 лет
по юридической информации. Каждую неделю в архивы добавляется
еще 14 млн. документов. В отличие от неструктурированных массивов
«поверхностного» Web, пользователи Lexis-Nexis могут применять
мощные инструменты поиска для получения достоверной
и
классифицированной информации.
Еще один пример зарубежной базы данных из «скрытого»
Web- сайта. Корпорация ChoicePoint недавно представила сервис Auto
TrackXP, вошедший в список 20 крупнейших «скрытых» сайтов мира
(по рейтингу BrightPlanet). Auto TrackXP представляет собой базу
данных объемом 30 Тбайт, охватывающую все аспекты гражданской
жизни США. База данных системы Auto TrackXP содержит информацию практически о каждом гражданине США. Сайт TestProfiles.com –
часть службы ChoicePoint Online – содержит личные характеристики и
сведения о компетентности граждан США. Например, чтобы определить, не завладел ли человек чужими документами, на основе системы
организован платный сервис ProCheck, позволяющий сопоставить информацию из различных источников и государственных каталогов.
Для частных любителей составления «досье» ChoicePoint предлагает более скромный, но не менее любопытный набор сервисов
(www.choicetrust.com). Подозрительные пациенты с помощью Doctor
Check имеют возможность самостоятельно выбрать или проверить
86
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
квалификацию врачей 40 различных специализаций. Отчет, получаемый с помощью системы, может, например, служить для страховой
компании поводом в отказе выдачи полиса.
Система широко используется как легальный ресурс для задач
конкурентной разведки. Вместе с тем сегодня американцы повсеместно выражают возмущение, обнаруживая существование подобных
сервисов, усматривая в этом нарушение своих гражданских прав.
5.9.6. Перспективы систем конкурентной разведки
Актуальность конкурентной разведки в последнее время значительно возросла. Это связано с такими процессами, как глобализ ация экономики, а следовательно, и конкуренции, виртуализация экономики, развитие информационных технологий.
Широкому внедрению систем компьютерной конкурентной
разведки способствуют и законодательные акты многих стран мира.
Так, в США еще в 1996 году был принят Закон о свободе информации, который обязал федеральные ведомства обеспечить гражданам
свободный доступ ко всей своей информации. Ограничения касаются
лишь материалов, имеющих отношение к национальной обороне, личных и финансовых документов, а также документов правоохранительных органов. Отказ в доступе к информации можно обжаловать в
суде. Информация должна быть представлена в десятидневный срок, а
споры разрешаются в течение 20 дней.
Об актуальности конкурентной разведки на основе Интернетресурсов говорят многочисленные публикации, тренинги, конференции. Например, в ходе состоявшейся в 2004 году VIII международной
выставки-конгресса «Высокие технологии. Инновации. Инвестиции»,
проходившей в Санкт-Петербурге, был представлен проект системы
углубленного поиска и анализа данных в Интернете T2 Business Analysis Console (T2 BANC), разработанный российской компанией «Гипер-Метод». Система Т2 BANC представляет собой специализированный механизм изучения конкурентного окружения и прогнозирования
развития ситуаций на базе информации таких открытых ресурсов Интернета, как поисковые серверы, отраслевые каталоги, коммерческие
базы данных, сайты компаний, новостные порталы
и т.д. Система
Т2 BANC обеспечивает формирование структурированного запроса,
извлечение информации из различных баз данных, анализ и нахождение взаимосвязей. Результатом работы системы является представление клиенту систематизированных сведений, интересных как организациям из государственного сектора, так и инвестиционным фондам,
коммерческим и консалтинговым компаниям.
Сегодня задачи конкурентной разведки стимулируют развитие
систем управления знаниями, глубинного анализа данных и текстов. С
87
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
другой стороны, наиболее развитые из этих систем в явном виде содержат аналитические блоки, специально ориентированные на задачи
конкурентной разведки. Поэтому у пользователей имеется широкий
выбор средств автоматизации аналитической деятельности, причем
уровни функциональности таких систем могут быть очень разнообразными – от простых информационно-поисковых программ, необходимых на этапе становления систем конкурентной разведки, до дорогих и ресурсоемких систем управления знаниями и глубинного анализа данных и текстов [9].
Среди самых развитых систем управления знаниями, применяемых для решения задач конкурентной разведки, нельзя не назвать систему Hummingbird Enterprise канадской компании Hummingbird. Из
множества компонентов системы следует выделить Hummingbird Portal – платформу, позволяющую интегрировать информацию из информационного хранилища и приложения в едином Web-интерфейсе.
Эта платформа, как и портал IBM Lotus, является полнофункциональным порталом знаний.
Еще одна флагманская платформа для конкурентной разведки
–система американской корпорации Documentum, предназначенная
для управления неструктурированной информацией, хранящейся в
виде файлов различных форматов. Система Documentum (EMC Platform) основана на трехуровневой архитектуре, включающей хранилище содержания – репозитарий, службу управления содержанием –
контент-сервер и клиентские приложения для работы с неструктурированными данными, Web-контентом, XML-документами, мультимедиа-данными. Репозитарий системы обеспечивает как безопасность,
так и открытость хранения контента, позволяет объединять корпоративные данные в единую корпоративную информационную среду.
Для решения информационно-аналитических задач в настоящее время также широко используется система Cognos Business Intelligence корпорации Cognos (рис. 5.14).
Решение Cognos BI базируется на идеологии OLAP. Одна из
особенностей системы – это её возможность интеграции с компонентами других информационных систем, в том числе необходимых для
проведения бизнес-разведки систем финансово-экономического планирования и управления клиентской базой. В этом случае обеспечиваются широкие возможности сбора и консолидации данных из внутренних и внешних источников. Говоря о системе Cognos как о лидирующей в области Business Intelligence, следует отметить, что под
этим термином понимается набор инструментальных средств анализа
данных и их визуализации, в отличие от Competitive Imtelligence (конкурентной разведки), которая является очень широким направлением
информационной деятельности.
88
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Рис. 5.14. OLAP-система Cognos
He все из вышеперечисленных систем являются доступными
ввиду их стоимостных характеристик. Вместе с тем отдельные задачи
конкурентной разведки могут быть частично решены общедоступными средствами. Использование новых подходов, а также открытых,
доступных и относительно недорогих информационных источников
позволяет уже сегодня эффективно поддерживать принятие решений
не только в стратегических областях.
Контрольные вопросы
1. В чем заключаются проблемы поиска конкретной информации в современных информационных хранилищах?
2. В чем состоит задача «добычи данных» (Data Mining)?
3. Какова сущность метода эффективного анализа неструктурированных текстов (Text Mining)?
4. Какие возможности предоставляет метод анализа неструктурированных текстов технологии Text Mining?
5. Перечислите основные элементы Text Mining и дайте их ха89
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
рактеристику.
6. Какие виды приложений имеет технология Text Mining?
7. Какие частные задачи решает Text Mining?
8. В чем заключается контент-анализ?
9. Дайте определения контент-анализа Д. Джери и Дж. Джери,
Д. Мангейма и Р. Рич, В. Иванова, Б. Краснова, Е. Таршиса.
10. Какие действия осуществляются при реализации методов
и процедур процесса контент-анализа?
11. Какие методы сбора данных используются при контентанализе, отборе информации?
12. Каковы особенности семантического анализа при поиске
информации?
13. Раскройте содержание известных моделей поиска информации.
14. Что представляет собой булева модель поиска информации?
15. Раскройте содержание векторно-пространственной модели
поиска инфомации.
16. Дайте характеристику гибридных моделей поиска информации.
17. Каковы недостатки существующих моделей поиска информации?
18. Каково назначение группировки текстовых данных для
обеспечения эффективной обработки информации?
19. Какова роль методов кластеризации в реализации поисковой процедуры?
20. Какие существуют классы методов кластеризации документов информационно-поисковых систем?
21. В чем состоит основное значение определения тематической близости термов?
22. Раскройте содержание и особенности вероятностной модели поиска информации.
23. Как осуществляется извлечение «скрытых» контекстнозависимых значений термов на основе латентно-семантического анализа?
24. Какова сущность матричного латентно-семантического
анализа?
25. Как осуществляется анализ гипертекстовых ссылок?
26. Что представляет собой вероятностное латентносемантическое индексирование отдельных термов и документов
(PLSI)?
27. Как осуществляется аппроксимация образа нового документа в пространстве факторов?
28. Как происходит расширение запроса пользователя инфор90
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
мацией в ИПС?
29. Каково назначение и особенности метода суффиксных деревьев, применяемого в информационно-поисковых системах?
30. Опишите метод стабилизации центроидов кластеров
(K-means), применяемый в ИПС.
31. В чем заключается суть метода «папок поиска», применяемого в ИПС?
32. Каково назначение системы автоматических ответов на вопросы пользователей?
33. Дайте краткую характеристику основных технологий реализации систем Text Mining.
34. Перечислите особенности использования систем и технологий
Text Mining, применяемых в различных сферах деятельности человека.
35. Какова сущность автоматического реферирования?
36. В чем заключается квазиреферирование?
37. Дайте характеристику этапов алгоритмов автореферирования.
38. Что представляют собой дайджесты?
39. Для чего предназначены поисковые образы документов
в решении задачи полнотекстового поиска?
40. Какова роль информационных портретов при формировании запроса поиска информации?
41. Какие существуют программы автореферирования и каковы
их основные характеристики и особенности?
42. Как происходит автореферирование на основе семантических методов?
43. Каково назначение и содержание инструментария конкурентной разведки?
44. Какие задачи стоят перед конкурентной разведкой?
45. Что является источником информации в базе данных для
конкурентной разведки?
46. Какие существуют подходы к анализу контента?
47. Как осуществляется формирование запросов по конкурентной проблематике?
48. Как извлекается «скрытая» информация в ходе конкурентной разведки?
49. Каковы перспективы развития систем конкурентной разведки?
91
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ГЛАВА 6. НАПРАВЛЕНИЯ РАЗВИТИЯ ТЕОРЕТИЧЕСКОЙ
И ПРИКЛАДНОЙ ИНФОРМАТИКИ
Каждая наука и технология проходит через точки бифуркации
– радикальные смены парадигм, своего рода революции, приближение
которых иногда не осознается даже накануне начала новой фазы развития. Появление компьютера пятьдесят лет назад само стало точкой
бифуркации, изменившей практически весь спектр высоких технологий второй половины ХХ века. Однако, завоевав место одной из ведущих областей индустрии, информационные технологии сейчас
вплотную приблизились к первой в их короткой истории радикальной
революции, которая полностью сменит «незыблемые» основы современных средств информатизации.
В силу особого стечения обстоятельств у нашей страны есть
уникальная возможность возглавить эту революцию и вернуть себе
место среди лидеров ключевой для ее будущего отрасли, казалось бы,
навсегда утраченное ею на крутых поворотах последних лет.
Полувековая история современных информационных технологий (ИТ) полна контрастов. С одной стороны – стремительное развитие аппаратной базы с невероятным градиентом роста (на порядок в
год), просто немыслимым ни для какой другой области, с другой –
мало соответствующий темпу этого прогресса консерватизм основных
принципов, ведущий ко все более драматическому контрасту между
техническими возможностями компьютерных технологий
и достигнутым реальным уровнем ИТ.
Предмет исследования информатики как научной дисциплины
–информационные технологии и социально-коммуникативные процессы, т. е. сложные процессы сбора, хранения и преобразования информации, проблемы их развития и встраивания в социальную среду.
Важнейшим философским принципом информатики является
восприятие явлений внешнего мира как процессов преобразования
информации, а также признание единства законов преобразования
информации в искусственных, биологических и социальных системах.
К ним относятся: фиксация результатов познавательного процесса в
виде модели (математическое моделирование); реализация причинноследственных связей в виде направленного процесса обработки информации по формальным правилам (алгоритмизация); реализация
алгоритма на ЭВМ (программирование); получение нового знания об
изучаемом явлении с помощью вычислений (когнитивные аспекты
вычислительного эксперимента с визуализацией абстрактных пространственных структур) [1].
Эти законы детально изучаются в рамках обобщенного понятия «вычислительные науки». Развиваясь в составе кибернетики, они
92
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
приобрели статус ее алгебро-алгоритмического основания. Центральным ядром этих наук являются вычислительная математика, математическая логика и порожденные ею дисциплины (теория алгоритмов,
теоретическое программирование, теория формальных грамматик и
языков, теория автоматов) с их многочисленными приложениями к
различным естественным и гуманитарным наукам – физике, химии,
медицине, лингвистике, экономике, социологии, теории искусственного интеллекта. Кроме родства теоретических оснований, связь информатики с кибернетикой состоит также в общности объектов исследования. Так, сложные информационные технологии в их динамике
могут рассматриваться как кибернетические системы; с другой стороны, абстракции сложных кибернетических систем используют информационный подход.
Кроме того, кибернетика изучает теоретические возможности
алгоритмов; информатика ставит задачу разработки практических методов их синтеза и построения языков программирования. Вместо характерного для кибернетики интереса к принципиальной возможности
установления эквивалентности в тех или иных классах алгоритмов
информатика интересуется практическим аппаратом, удобным для эквивалентных преобразований. Взамен простейшей формы представления информации в виде слов в абстрактном алфавите информатика
изучает сложные структуры данных, необходимые для эффективной
реализации на ЭВМ. Такое же различие обнаруживается и при изучении информатикой других кибернетических объектов
(абстрактные автоматы, логические сети и др.) [2].
Представляет интерес и различие подходов рассматриваемых
научных направлений к аппарату математической логики. Вместо
максимального упрощения аксиом и правил вывода, без которого невозможен кибернетический анализ общих свойств и возможностей логических исчислений, информатика ставит задачу практической автоматизации дедуктивных построений и различных форм интеллектуальной деятельности. Связь между кибернетикой и информатикой
распространяется на взаимоотношения с вычислительной техникой,
техническими вопросами реального проектирования ЭВМ, где компетенцией информатики являются архитектура вычислительных систем,
организация вычислительных процессов и баз данных.
Исторически переход к ЭВМ с архитектурой 4-го поколения,
начатый созданием первой суперЭВМ Эльбрус-1, и качественный
скачок в элементной базе – на смену интегральным схемам (ИС) пришли большие интегральные схемы (БИС), технически и экономически
оправданные для массового применения, означал переход
к
функционально законченным компонентам ЭВМ, среди которых решающая роль принадлежит БИС-микропроцессорам. Их массовое использование можно квалифицировать как начало микропроцессорной
93
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
революции.
Действительно, созданные на их базе микроЭВМ и персональные ЭВМ стали самым дешевым и массовым классом вычислительной
техники (ВТ), обладающим к тому же свойством встраиваемости в
различное потребительское оборудование. Они пробили дорогу вычислительной технике в те сферы деятельности, для которых два барьера – стоимость и массовость – казались ранее непреодолимыми.
Открылась возможность построения мощных параллельных вычислительных систем на базе коллектива микропроцессоров.
Это привело к смещению центра интересов комплексной автоматизации производства в область средств децентрализованного
управления и распределенных сред (на базе сетей микроЭВМ и асс оциаций ПЭВМ), в область гибких автоматизированных модулей
и
производств (ГАП) с роботизированными линиями (вместо традиционных АСУТП), в область построения мощных комплексных АСУ,
создаваемых на основе системной интеграции.
Произошел перелом и в проблематике искусственного интеллекта, где начали преобладать прагматические ценности. Концепция
искусственного разума, способного заменить человеческий (на базе
биокибернетического понимания), много лет довлевшая над сознанием естествоиспытателя, сменилась многочисленными практическими
проблемами. Это проблемы естественно-языкового общения между
ЭВМ и пользователем, построения лингвистических процессоров, с емантических сетей, фреймов, баз знаний, экспертных систем и т. д.
Усилению социальной роли и бурному развитию информатики
послужила организация отрасли вычислительной техники (ВТ) и информатики (1986 г.), объединившей ВТ, средства связи, управления и
массовой информации. На повестку дня стали задачи наращивания
масштабов применения ЭВМ всех классов, обеспечения роста производства средств ВТ, повышения их надежности, продолжения создания эффективных вычислительных центров коллективного пользования (ВЦКП), интегрированных банков данных, сетей обработки и передачи информации.
Современные взгляды на мироустройство позволяют увидеть
множество неравновесных сложных открытых систем, самоорганизация которых демонстрирует роль хаоса как созидательного начала и
конструктивного нелинейного многовариантного механизма эволюции. Выход из хаоса всегда связан с генерацией информации благодаря тому, что самоорганизующаяся система совершает выбор одного из
представленных природой путей развития. Причем этот выбор случаен. Таким образом, эволюция любой самоорганизующейся системы –
это, прежде всего, повышение ценности ее информации. Важность
94
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
этих событий в эволюционном развитии очевидна. Тем не менее вопросы об участии информации в эволюции самоорганизующихся систем при всей их актуальности ставились лишь в отдельных работах
естественнонаучного профиля [3, 4].
В настоящее время осуществляется формирование информационного пространства России. Страна переживает телекоммуникационный бум, но создание инфраструктуры информационного пространства проходит без должной координации. В результате имеют место
дублирование работ, неравномерность распределения информационного потенциала на территории страны, ориентация на зарубежные фирмы, их аппаратные и программные средства. Указанные обстоятельства имеют два серьезных негативных последствия:
 во-первых, остаются без заказов отечественная наука и производство;
 во-вторых, информационное пространство России и ее информационные ресурсы оказываются под контролем соответствующих зарубежных политических, экономических и других структур.
6.1. Направления развития теоретической
информатики
Характерным явлением последнего пятнадцатилетия стали интенсивные процессы интеграции математической логики, теории алгоритмов, теории автоматов и теоретического программирования,
охватившего, в свою очередь, теорию формальных языков и грамматик, и такие темы, как параллельное программирование, структуры
данных, смешанные вычисления, доказательное программирование.
Совокупность вычислительных наук можно обобщенно рассматривать как основу теоретического базиса компьютеризации
и
информатизации, главная роль среди которых принадлежит теоретической информатике. Основная проблема здесь заключается в описании взаимоотношений ее объектов.
Математическое описание их взаимоотношений изучается математической логикой, алгеброй и теорией алгоритмов, занимающих
центральное место в теоретической информатике, которая,
в
свою очередь, подчинена интересам прикладных дисциплин – технологиям разработки и верификации программ, проектированию вычислительных систем, архитектур ЭВМ новых поколений, практическим
проблемам искусственного интеллекта.
Развитию теоретической информатики посвящены труды научных сообществ Москвы (школы А.Н. Колмогорова, В.Б. Кудрявцева,
О.Б. Лупанова, В.А. Успенского, С.В. Яблонского), Санкт-Петербурга
(школы С.С. Лаврова, А.А. Маркова, Ю.В. Матиясевича, Н.А. Шани-
95
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
на), Новосибирска (школы С.С. Гончарова, А.П. Ершова, Ю.Л. Ершова, В.Е. Котова).
В общей теории алгоритмов более четко выделилась дескриптивная теория (вопросы наличия и способы задания алгоритмов и исчислений); в то же время метрическая сторона, занимающаяся оценками сложности процессов порождения и вычисления, только в настоящее время начинает складываться в теорию. Проводилось дальнейшее уточнение представлений об алгоритмах и исчислениях, обобщающих понятие индуктивного порождения множеств.
Так, Н.А. Криницким были сделаны попытки общего описания
конструктивных объектов и дано определение конструктивного элемента; установлено, что вычислительные модели с нелокальными шагами, такие как машины с произвольным доступом к памяти, требуют
расщепления каждого шага на локальные шаги и, согласно работам
А.О. Слисенко и В.А. Успенского, не могут являться моделями колмогоровского типа [5 – 7].
Для достаточно представительного класса алгоритмов изучались модели машин с модифицируемой памятью (А.О. Слисенко),
названных алгоритмами Колмогорова – Шенхага или алгоритмами с
полулокальным преобразованием информации (по В.А. Успенскому).
Сформулировано фундаментальное понятие исчисления или дедуктивной системы (по С.Ю. Маслову), отражающее интуитивное
представление об индуктивном порождении множества. Э.Д. Стоцким
изучена достаточно простая природа правил, образующих исчисления (в
частности, исчисления с локальным преобразованием информации), к
числу которых относятся ассоциативные исчисления и грамматики математической лингвистики. Им же обозначена линия связи формальных
грамматик с алгеброй и открыта возможность предъявления грамматик
как представительных порождающих моделей.
Важные результаты получил А.О. Слисенко при изучении
сложности порождений и вычислений для различных вычислительных
моделей на основе оценки времени. В области метрических аспектов
классификации ему принадлежит определение конструируемости
функции (если время ее вычисления на любом аргументе не превосходит ее значения на этом аргументе).
А.П. Ершов, разделив класс всех вычислимых функций на алгоритмические, логические, функциональные и арифметические, дал
точные математические определения их вычислимости.
В области суперпозиции классов функций, вычислимых за
время, линейно зависящее от длины входа, и функций, время вычисления которых ограничено полиномом, имеется известное определение одного из самых важных классов вычислимых функций – класса
множеств Р (по В.А. Успенскому), вычислимых за полиномиально
ограниченное время на многоленточной машине Тьюринга. Ему экви96
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
валентен класс функций, аргументами и значениями которых служат
колмогоровские комплексы.
Важен и класс множеств NP (по Успенскому), распознаваемых
за полиномиальное время на недетерминированных машинах Тьюринга. Множества из классов Р и NP изучались также В.Н. Земляченко,
А.Л. Семеновым и др. Нерешенной проблемой остаются вопросы совпадения этих классов.
Из теоремы о диофантовости перечислимых множеств Ю.В.
Матиясевич открыл ряд новых представлений для множеств этого
класса, диофантовость любого породимого множества натуральных
чисел подтверждает особую роль операций сложения и умножения.
Изучение Тьюринговых (Т) степеней неразрешимости, стимулированных проблемой сводимости Поста, породило проблематику,
связанную с верхней полурешеткой Т-степеней (М.М. Арсланов).
А.Н. Дегтев получил результаты в изучении других видов сводимостей. В аксиоматическом определении понятия вычислимой
функции В.А. Успенским подтверждена важная роль алгоритма
с
оракулом; трудами А.Х. Шень доказано, что любой класс функций,
удовлетворяющий аксиомам класса вычислимых, есть класс всех
функций, вычислимых с фиксированным оракулом [5, 8 – 10].
Работы В.М. Глушкова и Е.Л. Ющенко по структурированным
схемам программ составили раздел созданной ими теории систем алгоритмических алгебр, позволили использовать алгебраические и логические методы для изучения схем программ и послужили основой
для интенсивно развивающейся дисциплины – программной логики.
Это важный итог плодотворного изучения специальных способов з адания вычислимых операторов – схем программ. Вычислимые операторы привели к понятию степени трудности сводимости совокупности
множеств конструктивных объектов. А.П. Ершов рассмотрел программы как объекты вычисления и порождения и вопросы универсальности для вычислительной модели, в частности свойства геделевости для модели; связал известную S-М-N-теорему Клини о выполнении этого свойства с программированием [11, 12].
А.А. Мучник ввел понятие вычислительных структур и показал
их изоморфностъ, в том числе относительно структур, отвечающих
тому же оракулу, что свидетельствует о релятивизуемости его теоремы. Изучена релятивизуемость свойств утверждений теории алгоритмов и возможность отделения релятивизуемо истинных от релятивизуемо ложных в терминах, определенных ученым.
М.М. Арслановым найден критерий полноты перечислимого
множества, связанный с преобразованием программ вычислимых
функций; сформулированы аналогичные критерии и для класса множеств арифметической иерархии. При изучении вопросов преобраз ования программ развиты теория нумераций и ее наиболее разработан97
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ный раздел – теория тотальных нумераций. Эффекты, возникающие
при переходе к нетотальным нумерациям, рассматривались А.Х.
Шень.
С.С. Гончаров установил существование семейств порождающих множеств и вычислимых функций, для которых число неэквивалентных однозначных вычислимых нумераций равно любому наперед
заданному натуральному числу.
Положено начало исследованиям по инвариантной теории
сложности вычислений (В.А. Успенский, А.Л. Семенов). Труды Р.В.
Фреинвалда внесли решающий вклад в становление метрической теории вероятностных алгоритмов; эти алгоритмы могут давать значительный выигрыш во времени и емкости вычислений. В области приложений теории алгоритмов исследованы решаемые и нерешаемые
массовые проблемы, образующие основное поле этих приложений;
введено понятие дедуктики как уточнение интуитивного представления о формальном доказательстве.
В приложении к формализованным языкам из теорем В.Е.
Плиско сформулирована неразрешимость для реализуемой семантики
предикатных формул; одним из приложений является вычислимый
анализ, в числе обобщенных понятий которого введено понятие эффективно топологического пространства (Ю.Н. Ногина).
Переходя к нумерованным структурам, С.С. Гончаров развил
теорию конструктивных алгебраических систем и доказал, что наличие
у теории (непротиворечивой совокупности формул, замкнутых относительно следствий) сильно конструктивных моделей является достаточным условием и что всякая счетная модель разрешимой теории, категоричной в счетной мощности, сильно конструктивизуема [13].
Одним из выдающихся приложений является определение индивидуальной случайной последовательности (из области теории вероятностей), к изучению которой применены частотный подход
(А.Х. Шень) и предложенные А.Н. Колмогоровым сложностный
и
теоретико-мерный подходы.
В области оценки сложности решения отдельных задач А.О.
Слисенко исследовал различные подходы и методы установления
верхней и нижней оценок; А.Л. Семенов изучил вопросы разрешимости элементарной теории свободной группы, для которой не найден
разрешающий алгоритм со сверхэкспоненциальной верхней оценкой.
Естественная формулировка многих теоретических выкладок,
практических задач и методов их решения, основанных на систематизации идей и приемов комбинаторно-логического характера, все
в
большей мере реализуется на языке теории графов. Совместно
с
комбинаторным анализом, рассматривающим вопросы существования, построения и перечисления объектов, построенных из большого
числа элементов, возникла современная теория графов (А.А. Зыков,
98
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Р.И. Тышкевич) как интенсивно развивающийся раздел теоретической
информатики [14, 15].
6.2.
Практические приложения теоретической
информатики
Наиболее широкое поле актуальных приложений теоретической информатики принадлежит проблемам компьютеризации и информатизации в виде формирования общей методологии построения
аппаратного, алгоритмического и программного обеспечения, а также
при выборе языков и вычислительных моделей (третьестепенную роль
следует отдать использованию конкретных теорем и алгоритмов).
Так, утверждение о существовании порождаемых каким-либо
исчислением множеств, для которых невозможен алгоритм распознавания принадлежности к ним, обосновывает представление о неразрешимости в смысле полноты и точности некоторых задач. Поэтому
возникает необходимость вырабатывать реалистические подходы, основанные на отказе от полноты, абсолютной достоверности и других
традиционных условий решения.
Возможность строгого абстрактного определения сложности
вычисления и порождения стимулировала разработку эффективных
алгоритмов, дала возможность их сравнения. Большую роль приобрели определение класса множеств NP, доказательство полиномиальной
эквивалентности многих переборных задач и гипотеза об отсутствии
для них достаточно быстрого алгоритма. Это, наряду с экспоненциальными нижними оценками, разрушило иллюзию о достаточности
одного только существования алгоритма для оценки задачи как практически решаемой, подтвердило важность нестандартных (эвристических, приближенных и пр.) подходов.
С другой стороны, нашли практическое приложение алгоритмы
с «хорошими» полиномиальными верхними оценками сложности [12, 13].
Очень важной для алгоритмической практики, т. е. программирования, стала идея отделения текста на том или ином языке от его
смысла, возможность сопоставления с текстом различных смыслов и
формальное определение семантики для языков логики. Это позволило достичь большей надежности программных и аппаратных средств.
С этой идеей связана постановка задачи доказательства утверждений о
программах (рассматриваемых как объекты порождения), их правильности, т. е. соответствия заданным спецификациям, и развития формальных систем, основанных на дедуктивных системах логики (Б.А.
Непомнящий). При этом необходимо учесть, что
в соответствии с
теоремой Геделя о неполноте таких систем имеются и ограничения на
доказательную силу.
99
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Дальнейшим развитием алгоритмического представления об
ЭВМ с интерпретатором (как об универсальном алгоритме) стала концепция смешанных вычислений как общей модели, позволяющей с
единой точки зрения взглянуть на многие различные способы обр аботки программ и данных (труды А.П. Ершова). Основана она на
SМ-N-теореме (по С.К. Клини), которая может рассматриваться как
подтверждение идеи автоматизации программирования – получения
из общего алгоритма его спецификации.
Актуальные приложения к программированию (в области методов и языков) прослеживаются в трудах А.П. Ершова, С.С. Лаврова,
Э.Х. Тыугу. Так, исходя из трансформационной модели смешанных
вычислений и идей оптимизации программ определена концепция
трансформационной машины – абстрактной модели, выполняющей
программы в «сверхязыке», действиями которой являются трансформации пар – программа, данные. Она стала важным вкладом в формирование трансформационного подхода к получению надежных
и
эффективных программ. Единое рассмотрение процессов вычисления,
компиляции и интерпретации, развитое В.Б. Бетелиным
и А.Г.
Кушниренко, стало одним из мощных принципов, позволяющим
сблизить человеческий и машинный языки и понятия [12].
Второй важный источник приложений – это формальные языки
логики и теории алгоритмов, большинство из которых вошло в языки
программирования, описание работы ЭВМ. Наряду с фундаментальным влиянием общего представления о языке (как выразителе повелительного, а в ходе развития – повествовательного, функционального
смысла) и идеи его формальной семантики существенно и влияние
конкретных языков. Так, непроцедурное описание вычислимых функций (м-рекурсивные, исчисление Эрбрана – Геделя и др.) начиная с
языка ЛИСП, сделавшегося инструментом общения с ЭВМ
5-го
поколения, вошло во многие языки программирования, стало основой
формальных определений семантики программ. А одной из идей языка Пролог является двоякая интерпретация предложений – повествовательная и повелительная. Еще важнее роль языка узкого исчисления предикатов для формулирования утверждений о хранимых данных в теории баз данных и при поиске вывода в задачах искусственного интеллекта. Возросла роль исчислений модальной логики, оперирующих, наряду с оценками утверждений, также и оценками «возможно», «правдоподобно» [12].
Наравне с формальными языками теоретическая информатика
рассматривает абстрактные вычислительные модели – машины Поста, Тьюринга, Колмогорова, служащие для исследования принципиальных возможностей создаваемых вычислительных устройств. Исследуются модификации представительных вычислительных и порождающих моделей, например, контекстно-свободные грамматики,
100
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
(служащие для задания синтаксиса языков программирования), магазинные автоматы (позволяющие создавать эффективные алгоритмы
обработки программ, например, алгоритмы трансляции). Показательны в этом смысле и абстрактные вычислительные модели, образованные семейством однородных вычислителей (автоматы Неймана –
Черча, клеточные автоматы, итеративные сети), впервые рассмотренные Дж. Нейманом. К ним применяется термин «однородные среды»
или «систолические структуры», нашедшие приложение в разработке
параллельных вычислительных систем и сверхбольших ИС, так называемых СБИС [16].
Разнообразие представительных вычислительных моделей оказалось осмысленным: для практики удобство записи алгоритмов стало
жизненно важным, в итоге уже в 70-х годах ХХ века число языков
программирования перевалило за тысячу, а создание больших пр ограмм, работающих со сложными спецификациями и не зависящих от
типа ЭВМ, вызвало необходимость формализации не только синтаксиса, но и представлений о семантике программных конструкций.
Однако создать достаточно простую, последовательную, строгую и непротиворечивую семантику для ряда языков программирования не удалось, прогресс был получен лишь для рекурсивных пр ограмм; эта семантика носит неалгоритмический характер, ее основой
послужила теорема о неподвижной точке. Перспективна и порожденная трансформационным подходом идея лексикона программирования
как общей языковой среды (труды А.П. Ершова), программа на котором содержит описание семантики в виде совокупности фактов о вычисляемой функции. Лексикон применим для описания объектов
предметных областей и построения баз знаний [12, 16].
Особое внимание, уделяемое логикой эффективности и алгоритмичности, привело к накоплению большого числа алгоритмов для
работы с цепочками символов, размеченными графами. Так, при синтаксическом анализе используют алгоритмы, разработанные при анализе скобочных и графовых структур логики. Особенно широко алгоритмы математической логики применяются в области логического
вывода и использования неклассических логик, где серьезные достижения принадлежат школам Н.А. Шанина и В.М. Глушкова, предложившего практический язык записи предложений и доказательств, реализацией которого является «алгоритм очевидности». Он ознаменовал новый шаг к слиянию языка математики с языком логики и теории
алгоритмов.
Общность моделей программирования и проектирования аппаратуры четко проявилась с переходом к параллельному программированию, в которое все больше проникают базирующиеся на теории автоматов, дискретных преобразователей и периодически определенных
101
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
преобразованиях методы проектирования структур (БИС, СБИС). Но
оно не может мыслиться без анализа алгоритмов функционирования
систем с использованием языков высокого и сверхвысокого уровней,
присущих области программирования. Поэтому в качестве общей
теоретической модели проектирования предложено понятие дискретной динамической системы, с равным успехом описывающей как процессы, порожденные программами, так и процессы функционирования аппаратуры (труды Ю.В. Капитоновой, А.А. Летичевского) [17].
С.В. Яблонским для подобных целей представлена общая абстрактная
модель функциональной системы [18].
Развитие В.М. Глушковым алгебраического аппарата периодически определенных преобразований привело к созданию алгебры
структур данных, позволившей разработать общую теорию операций
над массивами и эффективную технологию программирования для
распределенных суперЭВМ [19].
Подводя итог рассмотрения приложений теоретической информатики, актуальных для информатизации и построения средств
ВТИ, следует упомянуть зародившиеся на стыке с компьютерной инженерией приложения, которые сформировали новые направления современной теории ЭВМ (computer science). Это теория параллельной
архитектуры (труды В.М. Глушкова, Э.В. Евреинова, В.А. Мельникова, Д.А. Поспелова, В.А. Торгашева), теория многопроцессорных
вычислительных комплексов (труды Б.А. Бабаяна, В.С. Бурцева, В.М.
Пентковского), внутренняя интеллектуализация ЭВМ (работы В.М.
Глушкова, Г.С. Поспелова, З.Л. Рабиновича), теория сетей ЭВМ
(труды И.А. Мизина, В.С. Семенихина, Э.А. Якубайтиса).
Необходимо отметить чрезвычайно важную для широких приложений следующую особенность теоретической информатики. Как
все естественные и технические науки, она ввела и широко использует
эксперимент как метод изучения объектов и явлений – так называемое
машинное моделирование (математический эксперимент), позволяющее производить исследование поведения объектов по их абстрактным математическим моделям, без построения натурных
моделей.
Принципиально важным является то, что машинное моделирование охватывает значительно более широкие, чем классические дедуктивные математические методы, сферы возможных приложений,
практически все области знаний – естественных, технических, гуманитарных.
102
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
6.3. Информатика и численные методы
Обширную область вычислительных наук и приложений теоретической информатики составляет численный анализ, развиваемый
научными сообществами городов Москвы (школы П.С. Бахвалова,
А.А. Дородницына, Г.И. Марчука, А.А. Самарского, А.Н. Тихонова),
Новосибирска (школы М.М. Лаврентьева, С.Л. Соболева, Н.Н. Яненко), Санкт-Петербурга (школы Д.К. Фаддеева, В.Н. Фаддеевой), Воронежа (школа М.А. Красносельского). Современные исследования в
области новых и переосмысление старых численных методов группируются вокруг «типичных» задач, к которым относят задачи анализа
(приближение, дифференцирование, интегрирование), задачи алгебры,
решения дифференциальных и интегральных уравнений, задачи оптимизации (минимизация времени решения и памяти), экстремальные и
обратные задачи. Следует отметить бурное развитие методов решения дифференциальных уравнений с частными производными, методов отыскания экстремумов, применяемых не только в задачах физического цикла, но и оптимального управления в технических, административных, производственно-хозяйственных (экономических) сферах, и методов обработки экспериментальных данных.
Решение сложных задач и задач большой размерности (например, решение систем дифференциальных уравнений в частных производных с числом неизвестных 106 и более) вызвало к жизни исследование устойчивости методов и алгоритмов к различного рода ошибкам, в том числе ошибкам округления, методов решения неустойчивых, некорректно поставленных задач (обратные задачи, задачи обработки результатов экспериментов), потребовавших нахождения специальных приближенных и эвристических решений.
Первостепенная роль при решении сложных многомерных нелинейных задач и моделей стала принадлежать оптимизации методов
по точности, времени, памяти, изучаемой научной школой П.С. Бахвалова. При этом достигается такой качественный скачок за счет эффективности методов решения, как и при переходе к суперЭВМ с новой архитектурой [18, 19].
Мощные ЭВМ и улучшение математического образования,
обострившее понимание процессов и явлений науки, техники, общественной сферы, резко усилили роль математического эксперимента,
включающего построение и исследование математических моделей с
визуализацией пространственных регулярных структур в абстрактных
представлениях. При этом не только исследуются свойства новых методов решения и применимость моделей ко многим явлениям, сходным по формальной структуре, но и реализуется граничащий
с задачами искусственного интеллекта метод доказательных вычислений
103
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
в анализе, в доказательстве теорем и формулировке новых гипотез, в
игровых задачах и пр. (С.В. Емельянов, А.А. Самарский).
В тех областях вычислений, где аналитические подходы нерезультативны, организовывается математический эксперимент в сочетании с аналитическими выкладками; результативность эксперимента
определяется степенью оптимальности дискретизации, изучаемой
в рамках теории алгоритмов, концепции ненасыщаемых алгоритмов,
теории дискретизации функциональных компактов. Все чаще результаты математических экспериментов позволяют обнаруживать
и
предсказывать ранее не открытые явления в физике, химии, биологии,
экологии.
Многие разделы численного анализа переживают бурную перестройку в связи с переходом от однопроцессорных ЭВМ, где время
решения было пропорционально числу операций, к конвейерным процессам, параллельным системам, к существенно возросшим объемам
памяти.
Изменились взгляды на оценку оптимальности алгоритмов;
подчас предпочитаются те, которые хотя и содержат большее число
операций, но обладают высоким параллелизмом (В.В. Воеводин).
Вторая тенденция состоит в предпочтении алгоритмов, приводящих к заполненным матрицам, вместо ранее высоко оцениваемых
тех (например, в области краевых задач), что приводили к разреженным матрицам.
Новой областью научного творчества сделались широко применяемые аналитические выкладки с помощью ЭВМ в алгебре, анализе (компьютерная алгебра) и в других, еще недостаточно исследованных областях (труды С.А. Абрамова, А.А. Летичевского, Н.М. Глазунова).
Быстрое проникновение численных методов практически во
все сферы человеческой деятельности и математизация фундаментальных и прикладных наук привели к дальнейшему развитию вычислительной физики, химии, биологии, экономики и других областей
знаний, обеспечивающих непосредственную социальную отдачу и
оказывающих сильное стимулирующее воздействие на развитие информатики и кибернетики.
6.4. Теория информации в информатике
Как комплексное научное направление, включающее довольно
разрозненные научные дисциплины, сформировалась теория информации, предметом которой является установление предельных возможностей различных методов передачи, обработки и хранения со104
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
общений. Развитию теории, связанному как с расширением представлений об информационных процессах, так и с исследованием физических механизмов, лежащих в их основе, посвящены труды научных
школ Р.Л. Добрушина, А.Н. Колмогорова, В.А. Котельникова, Б.И.
Сифорова, Р.Л. Стратоновича. Одним из важных результатов пер еосмысления ранее развивавшихся теорий и представлений стало осознание возможности абстрактного, за счет отвлечения от смысла с ообщения, вычисления меры информации. Наиболее простым считается вычисление по Хартли, но оно неудобно в приложениях.
Теория Шеннона имеет, несомненно, больший успех, что вызвано ее «родством» с прикладными задачами передачи сообщений
(теорема кодирования в ней является центральной), но выбор только
вероятностной модели неопределенности накладывает ограничения на
приложения шенноновского определения меры информации. Продолжаются попытки усовершенствовать теорию Шеннона и Уивера путем
включения в нее дополнительных параметров, которые упрощенно
можно назвать «интеллектуальные факторы». Однако при этом имеется в виду прежде всего «технологическое» направление теории информации, т.е. анализ дискретных транзакций (однократных или множественных) сообщения от отправителя к получателю, без разграничения собственно понятия информации и количества информации.
Ряд обобщений по теории информации дал А.Н. Колмогоров,
определяя меру энтропии и средней взаимной информации в одном
объекте относительно другого. Им разработан комбинаторный подход
и мера эпсилон-энтропия, предложен алгоритмический подход к количеству информации в сообщении, т. е. к понятию энтропии сообщения. Колмогоровская энтропия объекта – это объем его самого короткого, оптимального описания.
В.Н. Агафонов и Я.М. Барздинь выяснили справедливость приложения формул случайных величин к индивидуальным объектам и
установили соотношения между шенноновской и колмогоровской энтропиями [20].
Изучены подходы к формализации понятия ценности информации и разработке практической теории ценности на основе колмогоровской меры информации; построена система оценок для задач
анализа и синтеза (Ф.Ф. Химушин, А.В. Шилейко). Проблемы изменения ценности информации со временем и приложения понятия выбора цели к объектам, имеющим информацию и способным к авторепродукции, рассмотрены в рамках формирующейся динамической
теории информации, оперирующей терминами синергетики (Н.М. Романовский).
М.П. Мариновым исследованы методы определения энтропийноинформационных характеристик систем, основанные на измерении пото105
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ков информации через подсистемы ЭВМ; намечены общие подходы к
исследованию вычислительных процессов по мере переноса информации
и введено понятие меры внутренних затрат (Ф.Ф. Химушин).
Р.Л. Стратонович открыл ряд интересных аналогий шенноновской теории с классической термодинамикой [21, 22].
Устранение ограничений на приложения шенноновского определения меры информации с сохранением шенноновских теорем кодирования составляет главное отличие теории, основанной на «пессимистическом» типе модели неопределенности, включающей меры нечетких множеств; она, по-видимому, сможет охватить семантические
аспекты понятия информации (Н.Н. Дидук).
Некоторые проблемы связи алгоритмической теории информации с семантическими аспектами исследованы Ю.И. Маниным
и
Ю.А. Шрейдером, предложившим тезаурусный подход. Значительная
часть трудов относится к кодированию источников сообщений. В
области дискретных источников изучались различные статистические
модели с определением скорости создания информации
(Ф.Н. Тарасенко); рассматривались свойства информации между сообщениями
и ансамблями, в том числе и непрерывными, и их относительной энтропии (М.С. Пинскер).
В.Д. Колесник исследовал нетривиальные методы кодирования
в дискретных и непрерывных каналах с помехами, позволяющие осуществить передачу сообщений с высокой достоверностью и скоростью. Изучались задачи кодирования с заданным критерием качества
– наименьшей достижимой ошибкой при передаче сообщения данного
источника по данному каналу (Р.Л. Добрушин).
Современная проблематика теории информации во многом
определяется достаточно трудными задачами кодирования в сетях
ЭВМ и системах передачи данных с большим числом пользователей;
основная задача при этом сводится к описанию множества всех наборов скоростей, при которых возможна передача сообщений источников по адресатам.
Ряд интересных идей разработан в рамках семантической концепции теории информации. Результаты заключаются в возможности
измерения содержания (предметного значения) суждений. Но содержание всегда связано с формой, поэтому синтаксические и семантические свойства информации взаимосвязаны, хотя и различны. Получается, что содержание все-таки можно измерить через форму,
т.е.
семантические свойства информации выразить через синтаксические.
Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности.
В настоящее время методы точного количественного определения смыслового содержания информации еще не разработаны, по-
106
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
этому целесообразно ограничиться только кратким описанием подходов к решению этой проблемы.
Первую попытку построения теории семантической информации предприняли Р. Карнап и И. Бар-Хиллел. Они положили начало
применению идей и методов символической логики и логической семантики к анализу информационного содержания языка науки. Ученые предложили определять величину семантической информации
посредством так называемой логической вероятности, которая представляет собой степень подтверждения той или иной гипотезы. При
этом количество семантической информации, содержащейся в сообщении, возрастает по мере уменьшения степени подтверждения априорной гипотезы. Если вся гипотеза построена на эмпирических данных, полностью подтверждаемых сообщением, то такое сообщение не
приносит получателю никаких новых сведений. Логическая вероятность гипотезы при этом равна единице, а семантическая информация
– нулю. Гипотеза здесь полностью вытекает из данных опыта.
И наоборот, по мере уменьшения степени подтверждения гипотезы, или запаса знаний, количество семантической информации,
доставляемой сообщением, возрастает. Чем больше логическая вероятность высказывания, тем меньше должна быть мера его содержания.
Иными словами, чем больше описаний состояния «разрешает» то или
иное высказывание, тем меньше должна быть его семантическая информативность, и, наоборот, чем больше описаний состояния им исключается, тем больше должна быть его информативность. Таким образом, семантико-информационное содержание высказывания определяется не тем, что содержит данное высказывание, а тем, что оно
исключает.
Концепция Карнапа – Бар-Хиллела, получившая впоследствии
развитие в трудах Кемени, является только началом исследований в
области измерения содержания передаваемой информации. Эта концепция позволяет, например, выявить связь гипотезы с начальным достоверным значением, в частности, сделать заключение о степени
подтверждения гипотезы.
Финский ученый Я. Хинтикка распространил основные идеи
семантической теории информации Карнапа и Бар-Хиллела на логику
высказываний. Для многих ситуаций (наблюдения, измерения, подтверждения гипотезы, научного предсказания, объяснения) он предложил метод определения уменьшения неопределенности, которое,
например, претерпевает гипотеза g после получения того или иного
эмпирического факта h или вообще изменения информационного содержания высказывания g при получении высказывания h.
Однако, несмотря на некоторые достижения, концепция Карнапа
– Бар-Хиллела оказалась малопригодной для анализа содержания
107
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
естественного языка. Эта теория, основанная на вероятностной логике, неприменима к анализу основного массива научного знания – достоверного знания. С точки зрения указанной теории, например, высказывание «На Луне есть нефть» содержит информацию, а высказывание «На Земле есть нефть» лишено информации, поскольку это достоверное знание. Такая ситуация представляется довольно парадоксальной!
В настоящее время развивается динамическая теория информации, в которой ставятся и решаются вопросы о механизмах генерации и рецепции информации, оценке ее ценности, а также эволюции
ценности, новизне, различии целей, математических моделях развития
систем. В этой теории стадии информационного процесса рассматр иваются с позиций синергетики.
Необходимо отметить, что методологические аспекты связи
информации и самоорганизация до сих пор не проработаны. Прич инами этого являются множественность разнообразных, непохожих
друг на друга трактовок понятия «информация», порой не выходящих
за пределы метафор; неопределенность интерпретации на уровне термодинамических аналогий.
6.5.
Теория вероятностей в информатике
Теория вероятностей поставляет для практики разнообразные
математические модели типичных случайных явлений. В рамках моделей изучаются присущие этим явлениям вероятностные характеристики и закономерности, разрабатываются методы решения задач
управления. Если при этом рассматриваются свойства конечных наборов случайных событий и величин в условиях сложившейся случайной ситуации (в статике), то в теории случайных процессов изучаются
бесконечные множества случайных событий и величин, разворачивающихся во времени, на которые воздействуют случайные факторы в
их динамике. Этим и определяется роль теории случайных процессов,
как получившей наиболее глубокие практические приложения научной дисциплины, основанной на теории вероятностей.
Одним из приложений является теория диффузионных процессов, обобщением которой стало представление процесса в виде решения стохастического дифференциального уравнения. На основании
соответствующих выводов строятся оптимальные алгоритмы распознавания, преследования и убегания в стохастических играх, находятся оптимальное управление движением в условиях неопределенности
и упреждающие допуски для меняющихся параметров радиоэлектронных элементов (при выходе из которых устройство отключается),
рассчитывается надежность устройства как вероятность пребывания
108
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
его параметров в пределах допусков.
В экономической кибернетике диффузионные процессы позволяют строить модели с учетом реальных отклонений от равномерного
течения, в теории массового обслуживания описывается поведение
очередей на удовлетворение спроса, в статистике – для обоснования
непараметрических критериев проверки гипотез; известны также их
применения для исследования роста биологических популяций
и
в экологии (труды И.И. Гихмана, А.В. Скорохода, А.М. Яглома).
Стационарные в широком смысле случайные процессы, построенные на временных «средних» измерений, вызвали развитие:
 линейной теории автоматического управления;
 оптимального управления реакторами и технологическими
процессами;
 теории прогнозирования и фильтрации случайных процессов;
 выявления периодичностей в экономических и экологических
процессах;
 распознавания и синтеза речи;
 исследования моделей жизнедеятельности живых систем и
мо-делей экологии.
В моделях выделения сигнала считается, что шумовой процесс –
стационарный; к этому же классу относят многие процессы экономической кибернетики.
Известны приложения теории стационарных в узком смысле
случайных процессов, выводы теории (ее эргодические теоремы) применимы к изучению устойчивости динамических систем, к условиям
безошибочной передачи данных по каналам и устройствам связи,
к
разработке алгоритмов кодирования-декодирования (И.А. Большаков,
В.С. Пугачев, Ю.А. Розанов, В.М. Шуренков) [23, 24].
Часто встречающейся ситуации, когда значения процесса образуются суммированием большого числа независимо воздействующих
случайных факторов, соответствуют гауссовские случайные процессы.
Это характерно, например, для статистической радиотехники – создана
теория нелинейных преобразований процесса при прохождении через
нелинейные звенья.
Важные приложения составили локальные свойства гауссовских
процессов – пиков, числа пересечений и пр. Все они используются
в
электронной инженерии при расчете надежности элементов ЭВМ;
близкая задача возникает при обосновании алгоритмов получения случайных чисел для целей статистического моделирования (Д.И. Голенко, Б.Р. Левин, Ю.А. Розанов, А.А. Свешников).
Моделью динамики размножения и гибели биологических популяций, отказа и восстановления технических систем, образования
очередей в системах обработки данных служат цепи Маркова. Ими
описывается функционирование устройств памяти ЭВМ, они приме109
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
няются в статистическом моделировании языка и машинном переводе,
в моделях развития экономики и моделях множественных искажений
передаваемых сообщений, в динамике конфликтных операций, в теории обучения и автоматическом чтении текстов, в импульсных САУ
и экологических моделях (А.Н. Колмогоров, Р.Л. Стратонович,
А.Н.
Ширяев).
Сохраняя свойство независимости будущего от прошлого при
фиксированном настоящем, марковские процессы находят приложения
не только к дискретным, но и к непрерывным системам; на них основана теория массового обслуживания при расчете телефонных
и
транспортных сетей, эффективности ремонтных, снабженческих, медицинских и других организаций, теория вероятности катастроф технических систем.
С помощью теории марковских процессов устанавливаются эргодические теоремы устойчивости поведения систем, в рамках теории
массового обслуживания рассчитываются оптимальные методы резервирования, профилактики и контроля технических устройств. Теория
марковских процессов применяется на всех уровнях организации вычислений – от проблемы гонок в микроэлектронике, оптимизации использования памяти ЭВМ, пакетного режима, разделения времени, алгоритмов обмена данными между процессорами системы, задач оптимальной организации критериев при обслуживании с помощью ЭВМ
потока требований и до организации совместной работы компонентов в
единой сети (Б.В. Гнеденко, И.Н. Коваленко, В.И. Левин).
Основным численным методом анализа случайных процессов
является метод статистического моделирования Монте-Карло, основанный на вероятностной интерпретации искомых величин и случайных испытаниях для их оценки.
Прикладные направления математической статистики – регрессия, факторный анализ, планирование экспериментов – дают методы оценки параметров и структур моделей, проверки гипотез, проведения экспериментов (В.Б. Калашников, И.Н. Коваленко, Н.А. Шишонок).
6.6. Математическая теория управляемых систем
и информатика
Тенденция к интеграции охватила и научные дисциплины, развивавшиеся в рамках теории управления (главного понятия теоретической и технической кибернетики), – общую теорию систем, системный анализ, теорию исследования операций, системотехнику, теорию
имитационного моделирования, – с которыми связаны труды ученых
Москвы (школы Н.П. Бусленко, А.А. Воронова, А.Б. Куржанского,
Ю.С. Осипова, А.С. Понтрягина, Я.З. Цыпкина), Киева (школы В.М.
110
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Глушкова, И.Н. Коваленко, А.И. Кухтенко, В.С. Михалевича), Свердловска (школа Н.Н. Красовского), Иркутска (школа В.М. Матросова).
Основная направленность математической теории управляемых систем – построение общенаучного базиса, единого для всей проблематики управления, для которого приемлем аксиоматический метод на основе порождающих математических структур (дедуктивный
подход). Наиболее часто используются семь уровней абстрактного
описания моделей и их возможные комбинации, дополненные моделями эвристического характера. Такие уровни обычно соответствуют
математическим структурам Бурбаки или их имманентным объединениям (труды А.И. Кухтенко). Этот подход предпочтителен и в других
дисциплинах, относящихся к проблематике управления. Очевидной
представляется и необходимость привлечения новых ветвей математических знаний, используя все их разнообразие [25].
Так, на логическом уровне абстрактного описания теории динамических управляемых систем рассмотрена логика их функционирования (А.А. Ляпунов), но определение всех их свойств оказалось затруднительным. Теоретико-множественный уровень также не отобразил многих свойств: определение условий устойчивости, например,
потребовало других методов (Е.А. Барбашин). Построение ветви теории, которая базируется на абстрактно-алгебраической структуре
(Ю.А. Урманцев), также оказалось недостаточным для создания общенаучного базиса; в то же время этот уровень описания (по М. Арбибу) вскрыл единство динамических свойств управляемых систем со
свойствами конечных автоматов. Топологический уровень описания
позволил изучить нестационарные системы и системы с распределенными параметрами, построить теорию устойчивости систем (В.И. Зубов). Использование дифференцируемых структур дало новые результаты при решении задач инвариантности, декомпозиции, чувствительности, привело к получению конструктивно удобных критериев
управляемости (В.В. Удилов).
В теории управляемых систем нашли широкое применение абстрактные алгебраические структуры – алгебра кватернионов при изучении гироскопических и бесплатформенных систем (В.Н. Бранец),
алгебра Кингмана в теории массового обслуживания (Л. Клейнрок),
алгебра Драймза, в которой элементом векторного пространства является оператор лага, а также многие другие операторные алгебры (Банаха, Дж. Неймана, Гельфанда) при изучении экономических
и
квантово-механических систем. Важно отметить алгебру Кодда-Дейта
для описания операций взаимодействия ЭВМ с базами данных (А.И.
Дешко) и алгебру Хиггинса, являющуюся обобщением на случай нескольких носителей (многоосновность) – в задачах проектирования
ЭВМ и ПО (В.М. Глушков). Широко используются алгебра изображе111
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ний Гренандера и алгебра эвристических алгоритмов Журавлева при
распознавании образов, алгебра Любича в генетике.
Известны и применения вероятностных итеративных методов
для задач оптимизации, адаптации, обучения, чувствительности
(Я.З. Цыпкин), методов тензорного исчисления, теории категорий и
функторов, теорий графов и катастроф.
Совокупность вышеперечисленных и других возможных методов может составить математическую теорию управляемых
систем (МТУС). Формирование МТУС осуществляется на единой для
теоретического естествознания математической основе, а высокий
уровень абстрактного изложения позволяет многим ученым получить
новые результаты. Очевидно, что математический базис имеет четкие
границы применимости, попытки уйти от ограничительных требований изоморфности или гомоморфизма объекта и модели привели
к квазианалоговому методу Г.Е. Пухова и методу сравнения В.М.
Матросова, облегчающим исследование объектов [26, 27].
Наряду с расширением области имитационного моделирования
(в том числе на сферу экологических и глобальных проблем) и вычислительного эксперимента (С.В. Емельянов, Н.Н. Моисеев, А.А. Самарский) развиваются способы исследования в интерактивном режиме на основе эвристических программ.
Это подтверждает необходимость объединения формальных
и неформальных методов, привлечения современных средств математики и различных уровней абстрактного описания при изучении
сложных систем и решении масштабных проблем. Итак, рассмотрение
различных трактовок позволяет сделать вывод о целесообразности
индуктивного пути построения МТУС, открывающего возможность
обобщения уровня результатов, полученных для каждого из первоначальных уровней описания. При этом используются не собственные
аксиомы теории систем, а аксиоматика математических структур,
проявляется синтезирующая роль математики [27 – 29].
6.7. Направления развития кибернетики как составной
части информационной науки
Характерные для современности идеи переосмысления наложили отпечаток и на развитие специальных разделов. Произошел перелом в оценке места экономической кибернетики: ряд ученых сделали вывод о нецелесообразности ее выделения в качестве особого
направления экономической науки. Построению инструментария,
пригодного для изучения и организации управления общественной
деятельностью в экономическом плане, служат экономико-математические методы, которые разрабатываются и совершенствуются учеными в Москве (школы А.Г. Аганбегяна, В.Л. Макарова, Н.Н. Моисе112
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ева, К.Я. Петракова, Д.Б. Юдина), в Санкт-Петербурге (школы В.Ф.
Демьянова, А.А. Корбут), в Киеве (школы Ю.М. Ермольева, Б.С. Михалевича, Б.Н. Пшеничного, Н.З. Шора), в Минске (школы В.А. Емеличева, В.С. Танаева), в Екатеринбурге (школы И.И. Еремина, Н.Н.
Красовского, А.Б. Куржанского).
Актуальной основой для возрождения престижа экономической кибернетики и консолидации сил исследователей представляются два взаимосвязанных направления: первое, принципиально новое –
смешанные модели взаимодействия различных экономических механизмов, так как многообразие хозяйственной жизни втиснуть в рамки
одного механизма оказалось невозможным; и второе, в котором до сих
пор чувствовалось отставание, – математические модели интенсивного научно-технического прогресса на современном этапе, когда возникают принципиально иные явления, критерии, показатели по сравнению с прошлыми экстенсивными этапами. Сложность здесь состоит
в привлечении разнообразного математического аппарата; например,
даже для сравнительно простого процесса требуются оптимизацио нные динамические модели экономики, модели распространения эпидемий (информации), модели типа «хищник – жертва», модели эволюции, естественного отбора, диффузии.
Важным инструментом исследований стал математический
эксперимент. В дополнение к имитационному моделированию, широко применяющемуся при грубом анализе, приходит метод моделирования «изнутри», копирующий не внешнюю сторону процесса, а его
внутреннюю структуру. Он очень трудоемок, связан со скрупулезным
описанием элементарных актов экономико-управленческой деятельности, сведением их воедино, синхронизацией, описанием взаимодействия и результатов осуществления этих актов. Но представляется, что
метод «изнутри» сыграет революционную роль в экономической
науке; построенные на его основе модели хозяйственного управления
становятся эффективным инструментом анализа технологии управленческой деятельности, ее рационализации и автома-тизации [30].
Для оперирования с машинными моделями различных процессов и управления на всех уровнях, а также со средствами их быстрого изменения и подключения новых, т. е. для опробования различных вариантов хозяйственного механизма и оценки любых сочетаний
хозяйственных и управленческих мероприятий, предполагается разработка принципиально новой теории – экономической логики. В качестве элементарных высказываний в ней выступают мероприятия по
совершенствованию хозяйственного механизма, а в качестве предложений – сочетания этих мероприятий, поскольку реальная результативность совместима только с определенными сочетаниями таких мероприятий (труды В.Л. Макарова).
113
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Выражением инструментальной основы экономической логики
уже нельзя назвать машинную модель. Это универсальное сообщество, комплексное образование для испытания различных экономикоматематических моделей новых поколений, представляющее наиболее
полный образ реальной экономики. Оно открывает возможность
наиболее полного и эффективного исследования на компьютерном
стенде принципиально важных проблем современной экономики –
механизмов хозяйственного управления, методик планирования нормативов и показателей, технологий управленческой деятельности.
Во многом определяющую роль играют направления математики – выпуклое, динамическое и стохастическое программирование,
дискретная оптимизация, теория расписаний. Практическая полезность экономико-математических исследований – это открытие
и
внедрение новых методов поиска и нахождения оптимальных режимов управления и построения систем обработки экономических данных. В условиях интенсификации производства и загрязнения окружающей среды, расширения кооперирования и перехода от административных к экономическим методам управления полезность и результативность этих исследований многократно возрастает.
Необычайно разрослась научная проблематика технической
кибернетики (в ее широком понимании), развиваемая многочисленными коллективами Москвы (школы А.А. Воронова, С.В. Емельянова, А.А. Красовского, В.В. Солодовникова, Я.З. Цыпкина), СанктПетербурга (школы В.А. Бесекерского, В.И. Зубова, А.А. Первозванского, В.А. Якубовича), Киева (школы А.Г. Ивахненко, В.М. Кунцевича, А.И. Кухтенко), Екатеринбурга (школа Н.Н. Красовского), Казани (школы В.М. Матросова, А.К. Сиразетдинова), Минска (школы
Е.А. Барбашина, Р.Ф. Габасова), Риги (школа Л.А. Растригина).
Получили завершение исследования, связанные с классическими направлениями теории линейных и нелинейных систем автоматического регулирования; развиты теории оптимальных, статистически
оптимальных и адаптивных систем. Большое внимание уделено развитию качественной теории управляемых процессов [14].
Основные направления исследований – это: процессы управления и принятия решений в условиях неопределенности; методы идентификации и построения математических моделей объектов и процессов управления; анализ и синтез адаптивных систем управления;
адаптивная обработка сигналов и обнаружение изменений в сигналах
и системах; оптимальные алгоритмы адаптивного управления в замкнутых системах и его устойчивость.
В качестве нового направления общее внимание привлекла выдвинутая В.Л. Харитоновым проблема робастности в управлении.
Развиты новые методы исследования динамики систем со
114
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
сложными нелинейностями, вариационные методы анализа систем
с недоопределенными параметрами и позиционные методы решения
обратных задач динамики.
Имеются достижения в развитии теории устойчивости, теории
управляемости и наблюдаемости (применительно к управлению объектами с распределенными и сосредоточенными параметрами)
и
в новом направлении – теории управления объектами микромира на
основе принципов квантовой механики.
Продолжаются работы в областях: теории управления стохастическими процессами; методов обработки многомерной информации в стохастических системах; методов исследования по проблеме многокритериальных решений; оптимизации систем массового обслуживания.
Активно развивается теория управления движущимися объектами, решались проблемы оптимального управления группами объектов при игровом взаимодействии [31, 32].
Большой объем исследований выполнен в области методологии разработки АСУ и систем управления различного уровня и разной
проблемной ориентации, включая социально-экономические, экологические, медицинские сферы; главным объектом стали децентрализованные системы с распределенной архитектурой.
Разработаны принципы многовариантности структур широкого
класса систем – АСУ ТП, АСНИ, САПР, САР (В.П. Авдеев, Л.П.
Мышляев) и принципы адаптивности систем организационного
управления класса АСУП, ОАСУ (И.М. Макаров, С.Б. Михалев, В.И.
Скурихин), существенно повысившие их эффективность, жизнеспособность, гибкость и «переносимость» на другие конкретные производства по сравнению с известными принципами многоструктурности, многоканальности, бинарности систем и систем с переменной
структурой.
Предложены современные методы оптимального модульного построения АСУ, автоматизации их проектирования, обеспечения надежности, повышения интеллектуальности и живучести АСУ и достоверности действий человека-оператора при работе в режиме советчика [33 – 40]. Продолжаются исследования по разработке САУ и информационно-управляющих систем в различных отраслях, в том числе
на транспорте, в энергетике, по методам оптимального управления
транспортными средствами; выполнены оригинальные работы в области
промышленных регуляторов, технических средств управления, в том
числе для манипуляционной и робототехники. Большой объем работ посвящен программным средствам промышленной автоматики – гибким
автоматизированным модулям и производствам (ГАП), обрабатывающим центрам, технологическим линиям. В связи с возросшей сложностью современных электронных систем управления и управляющих
115
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
комплексов встала исключительно важная проблема – автоматизация их
проектирования.
Перспективными для развития научного аппарата технической
кибернетики и автоматизации управления представляются алгебраические и дифференциально-геометрические методы исследования существенно нелинейных динамических систем, методы глобальных
оценок в управлении динамическими системами, новые методы
в
теории автоколебаний, робастное управление. В условиях комплексной автоматизации производства, перехода к интенсивным, безотходным, прецизионным технологиям и осуществления информатизации
общества фундаментальные результаты математической теории и техники управляемых систем должны сыграть решающую роль.
Развитию биомедицинской кибернетики, изучающей структурную и функциональную организацию биологических систем и их
связь с закономерностями преобразования информации и управления
в этих системах, посвящена деятельность ряда ученых Москвы (школы П.К. Анохина, Ю.И. Журавлева, М.Л. Быховского, В.И. Новосельцева), Санкт-Петербурга (школы В.М. Ахутина, Н.П. Бехтеревой, Н.Н.
Василевского), Киева (школы Н.М. Амосова, Ю.Г. Антомонова), Ростова (О.Г. Чораян), Новосибирска (В.П. Казначеев). Современный
этап характеризуется более четким самоопределением ее важнейших
научных разделов:
 кибернетики медицинской, получившей наибольшую популярность, предметом исследования которой являются: системы управления и связи, а также процессы диагностики и прогнозирования патологических изменений в человеческом организме; автоматизация
слежения за здоровьем, его контроля и интенсивной терапии. Научной
основой служат знания, накопленные медициной и системой здравоохранения. Близкие к медицинской кибернетике методы и подходы
находят применение и в ветеринарной практике;
 кибернетики физиологической. Предметом ее исследования
выступают регулирующие системы организма (синтез моделей клеток, органов, систем и моделей внутренней сферы; вскрытие закономерностей управления в биосистемах), а результатом являются теории
функционирования, адаптации и синтеза биотехнических систем исследования для обоснования понятия нормы функционирования с истем здорового организма и в патологии;
 нейрокибернетики, которая изучает структурную и функциональную организацию нервной системы при восприятии организмом
внешних сигналов, их преобразовании и переработке, построение моделей образов внешней среды, их запоминание и взаимодействие таких моделей в процессе мышления и выработки ответных действий
организмом. В основе построения математических и физических мо116
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
делей нейрона, нейронных ансамблей и сетей, сенсорных систем, отдельных функций разума, в том числе образования понятий, эмоций,
принятий решений, поведения, изоморфных изучаемым процессам,
лежит нейрофизиологический эксперимент;
 кибернетики психологической – нового раздела, заложенного
В.М. Беловым. Предметом ее изучения является структурнофункциональная организация взаимодействия анализаторных систем
живых существ, сфер сознания и подсознания в процессе формирования поведения и взаимоотношения с техническими, экономическими,
социальными системами. Моделирование памяти, сознания, подсознания и психических свойств, образующих личность человека с выделением наиболее важных личностных составляющих, позволяет
изучить методы управления телом, мышлением и поведением человека в различных ситуациях, главным образом – в экстремальных, в составе технических систем;
 бионики, использующей живую природу как источник новых
технических идей. Предмет ее исследования – технические аналоги
моделируемых биологических объектов. Большой интерес привлекли
аналоги анализаторных систем, содержащих сложные нейронные
комплексы, способные к классификации образов внешней среды, запоминанию и обучению, изменению уровня организации при взаимодействии с изменяющейся внешней средой и т. д. Действующие макеты на нейроструктурах (труды Э.М. Куссуль) способны решать нетрадиционные задачи распознавания образов, выработки ассоциативных
решений и пр. Но бионическое воплощение сложных инженерных
конструкций и биотехнологий оказалось чрезвычайно трудной пр облемой, что обусловило сравнительно невысокую практическую результативность работ [41 – 44].
Путь исследования биосистем на современном уровне в основном индуктивный, но используют и дедуктивный путь с опорой на ту
или иную гипотезу, соответственно планируя эксперименты. Непосредственно за их основной серией следует моделирование, которое, в
свою очередь, проходит несколько этапов, связанных с синтезом моделей, их всесторонним опробованием, выявлением принципов
и
закономерностей функционирования биосистем различных уровней
иерархии. Но обычные математические методы не всегда адекватны
таким задачам. Зарождение и развитие специальной биологической
математики, возникшей из самой сущности задач анализа и целенаправленного синтеза биосистем, формирование абстрактных представлений и теорий по обоснованию и обобщению ранее достигнутых
результатов стало второй характерной чертой современного этапа [42].
В результате использования достижений биомедицинской кибернетики на практике сложился новый специальный раздел – биоме117
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
дицинская информатика, развиваемая трудами Н.М. Амосова, Ю.Г.
Антомонова, А.А. Попова. Предметом ее исследования стали биомедицинские данные и современные информационные технологии их
обработки с помощью внедряемых информационных, биотехнических
и экспертных систем, банков знаний, автоматизированных лабораторий. Методами познания служат информационное моделирование,
экспертные оценки, диагностические консилиумы, а полученные знания используются для достижения качественно нового скачка в электронизации аппаратуры, массовом обследовании и диспансеризации
населения, ветеринарной практике, экологическом контроле [45].
Правовая кибернетика, основные направления которой изучены в трудах О.Л. Гаврилова, В.И. Иванова, Д.А. Керимова, В.Н. Кудрявцева, сформировалась как естественное следствие развития правоведения и потребностей практики правоохранительных органов,
криминалистики, судебной медицины, юстиции. Ее предметной областью являются: разработка ведомственных АСУ, информационнопоисковых и экспертных систем в сфере законодательства, криминологических и оперативно-розыскных данных, юридической литературы; системы централизованного учета государственных нормативных
актов и данных; конкретные задачи, возникающие в правотворчестве,
в социально-правовых исследованиях, при расследовании преступлений, в судебной экспертизе и в других сферах юридической деятельности. По мере формирования демократического правового государства социальная полезность правовой кибернетики будет возрастать
[46].
Предметом нового специального раздела кибернетики – социальной кибернетики, зарождению и развитию которой посвящены
труды В.Г. Афанасьева, Г.Т. Журавлева, С.Н. Плотникова, А.Д. Урсула, являются количественные, формально-логические и технические
стороны социальной (политологической, социологической, науковедческой, искусствоведческой, культуроведческой) информации, необходимые для цели развития цивилизации и научного управления обществом.
К основным направлениям социальной кибернетики относятся
социологический анализ, определение количества необходимых данных для принятия того или иного управленческого решения, прогностический анализ. Поскольку в силу разноплановости и нечеткого детерминизма социальных объектов (и, с другой стороны, требований
достоверности) необходима избыточность данных о состоянии тех
или иных аспектов и параметров, а на практике зачастую превалирует
их недостаток, проблема сбалансированности избыточности и недостатка данных, проблема синтеза теорий количества и ценности информации в целях принятия решений стали важной сферой интересов
118
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
социальной кибернетики [47].
Второй сферой социальной кибернетики является искусствометрия – идея количественной оценки в области культуры, искусства,
информационного измерения эстетической ценности художественных
произведений и силы их воздействия на общество, способствующей
более точному качественному анализу проблем искусствоведения и
культурологии, изучавшихся ранее лишь на феноменологическом
уровне, и прогнозированию количественных параметров.
Третья важная сфера – это моделирование элементов художественного творчества (музыкальной композиции и оркестровой партитуры, архитектурного и дизайнерского проектирования, стихосложения, мультипликации, оформления интерьеров и пр.) с целью овладения новыми навыками творчества и передачи этих процессов кибернетическим машинам. Для этого привлекается аппарат теоретической семиотики и математической лингвистики, создаются специальные языки (своего рода исчисления) для количественного выражения
рассмотренных феноменов. В условиях отказа от автократичных, волевых методов управления, развития демократизма, роста духовности
и эстетических потребностей общества полезность социальной кибернетики неоспорима.
6.8.
Направления развития теории искусственного
интеллекта
Центр интересов в проблематике работ по искусственному интеллекту (ИИ) переместился от господства антропоморфно-бионического понимания, ознаменованного эйфорической концепцией электронного мозга, к прагматическому пониманию, вызванному нуждами
новых информационных технологий и созданием интеллектуальных
компьютерных (когнитивных) систем, развиваемому трудами ученых
Москвы (школы М.М. Бонгарда, Ю.И. Клыкова, Д.А. Поспелова), Киева (школы Н.М. Амосова, В.М. Глушкова, В.П. Гладуна, Э.М. Куссуля), Новосибирска (школы Н.Г. Загоруйко, А.С. Нариньяни), Таллина
(школа Э.Х. Тыугу), Санкт-Петербурга (школа Н.А. Шанина), Владивостока (школа А.С. Клещева).
Первое направление проблематики – имитация творческих
процессов человека. Для этих программ характерна лабиринтная модель мышления с перебором массы вариантов; успех зависит от эвристических приемов. Оно включает машинное доказательство теорем,
игровые программы и перевод с одного языка на другой, машинное
обучение и использует аппарат теории поиска, дедуктивного вывода,
теории игр. Интеллектуальным продуктом здесь являются дедуктив119
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ные решатели, адаптивные системы; ближе других к «универсальному
решателю» типа Ньюзлла – Саймона примыкает семантическая модель В.Н. Пушкина, связанная с логико-лингвистическим моделированием и ситуационным управлением.
К этому направлению относятся также работы в области распознавания визуальных и звуковых (аудио) образов, их синтеза, а также
обработки изображений; с ними связано решение задач медицинской
диагностики, геологоразведки, машинной графики (труды Ю.И. Журавлева). При этом используются математические модели распознавания и модели речевого сигнала, аппарат теории случайных процессов,
марковских цепей, формальных грамматик, в том числе двумерных,
применяются методы обучения и самообучения. Следует выделить
распознавание, а также адаптацию, выработку решений с помощью
структурных моделей нейронных сетей – нейрокомпьютеров (труды
Э.М. Куссуля). Итоговым продуктом являются системы обработки
изображений, распознавания и синтеза естественной речи, машинной
графики; развиваются работы по разработке устройств ввода-вывода
(УВВ) со звуковым и картинным представлением информации и «видящих» роботов [48, 49].
Второе, бурно развивающееся направление проблематики – построение интеллектуального интерфейса ЭВМ, обеспечивающего общение с пользователем на его естественном профессиональном языке
(специальном подмножестве естественного), что связано с новой архитектурой: в состав ЭВМ вводятся реализуемые аппаратнопрограммным путем еще три компонента – процессор общения, база
знаний, программа-планировщик. При его построении используются
математические модели общения, аппарат теории представления знаний, языков и логик баз знаний и пр. Процессор общения объединяет
модели человеко-машинного диалога и лингвистические процессоры,
осуществляющие понимание и синтез текстов на естественных языках
с использованием моделей языков (словаря и грамматики) и моделей
предметных областей, а также анализ запросов и ответов, сформулированных с помощью базы знаний.
Центральной проблемой здесь является представление знаний
о предметной области. Главным компонентом, который строится при
этом, является семантическая модель, основанная на базе данных и
базе знаний. База знаний хранит уже не фрагменты декларативных
знаний, а процедурные знания, образованные в результате обработки
информации о проблемной области и реализованные в виде специальных помеченных графов – семантических сетей и фреймов. Своим появлением базы знаний обязаны логико-лингвистическим моделям,
120
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
впервые предложенным Д.А. Поспеловым в ситуационном управлении. Используя знания, программа-планировщик строит рабочие программы, что связано с системами дедуктивного вывода, нетрадиционным выводом, неклассическими логиками.
В зависимости от состава интеллектуального интерфейса на
основе существующих ЭВМ разрабатывается методология когнитивных систем различных классов для непрограммирующих пользователей, что составляет сферу третьего направления проблематики ИИ.
Оно включает модели параллельных процессов, предметных областей
и распределенных баз знаний, сетевые методы решения задач и языки
параллельного типа, стимулирует лингвистический анализ (разборку и
сборку) текстов (труды И.П. Белецкой) и их информационный анализ,
позволяющий извлекать кванты знания (Н.Н. Леонтьева), требует аппаратных средств поддержки нетрадиционных функций.
Первый класс когнитивных систем – естественно-языковые
вопросно-ответные системы, способные формировать релевантные
ответы даже тогда, когда вопрос не носит прямого характера; потр ебовались вопросно-ответные логики и специальные методы классификации и структуризации знаний.
Второй класс – экспертные системы, аккумулирующие знания, опыт и стиль суждений крупнейших специалистов в слабо формализуемых областях науки и способные выдавать квалифицированную
консультацию. Их качественно новым компонентом является система
объяснения, обосновывающая причины и истоки данной консультации.
Третий класс объединяет расчетно-логические системы управления экономическими объектами, проектирования технических конструкций. Кроме многочисленных программных модулей они содержат смысловую семантическую сеть предметной области и программу-планировщик (главный компонент), которая формирует цепочки
программных модулей в диалоге с экспертом на естественном языке.
Объединение разрозненных задач АСУ в семантическую сеть (представляемую обычно в виде ориентированного графа) с использованием базы знаний превращает АСУ в систему быстрого реагирования,
позволяет просматривать многочисленные варианты сбалансированных планов и проектов с выбором оптимальных. С помощью семантических сетей в них решается особо важная задача включения ЭВМ в
коммуникационные отношения плановиков, что качественно преобразует информационную технологию – возникает эффект коллективного
интеллекта при работе над общим полем информации.
Проектирование конструкций различной морфологии связано
с изменением семантической сети для каждого варианта, с переформулированием (трансляцией) описания из профессионального языка
121
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
проектировщика в математическую модель и из языка модели –
в
язык программ. Системы автоматического переформулирования с оставили новый класс наиболее сложных расчетно-логических систем,
существенно повышающих эффективность САПР. Для построения
служит прикладная база, содержащая фрагменты знаний (ролевые
фреймы). Каждый из них включает все известные варианты конструкций, их характеристики, рабочие тела и шаблоны связей. На программном уровне из соответствующих процедур разрешения отношений автоматически собирается рабочая программа [50].
Четвертый класс когнитивных систем составляют интеллектуальные пакеты прикладных программ, предоставляющие возможность
решать задачи по описаниям на непроцедурных языках и исходным
данным без программирования; оно осуществляется автоматически
планировщиком из набора программных модулей.
К сфере четвертого развивающегося направления проблематики ИИ
традиционно относят разработку теории интеллектуальных роботов,
при этом исследуются модели «глаз – рука», модели нормативного
поведения и применяется аппарат логики поведения, теория распознавания трехмерных сцен.
Проблематика ИИ широко распространилась и на область компьютеростроения и изготовления программных продуктов, что проявилось во «внутренней интеллектуализации» структур ЭВМ за счет
повышения уровня интерпретации языков пользователей, гибкой динамической реконфигурации структуры по ходу выполнения алгоритма и при компенсации неисправности, автоматического распараллеливания программ на большое число процессоров.
Новые информационные технологии на базе программноаппаратных средств ИИ, исключая традиционные промежуточные
звенья (математика-аналитика и программиста) из системы общения
«человек – ЭВМ», позволяют привлечь к ЭВМ значительное число
ученых и руководителей – непрограммирующих пользователей. Резкое
облегчение контакта с ЭВМ повышает эффективность научных исследований, распознавания классификации ситуаций, диагностики, прогноза и
принятия решений в математически слабо формализованных областях
знаний (социология, медицина, экология, геология). Решающую роль
здесь призваны сыграть «гибридные» экспертные системы, совмещающие свои функции с расчетно-логическими, в которых логиколингвистические модели используются совместно с математическими. В
общем, сформировавшаяся в предметной области проблематика, проведенное обобщение опытных данных, взглядов, идей и осознание ожидаемых результатов позволяют говорить о том, что начала складываться общая теория искусственного интеллекта [50, 51].
122
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
6.9. Тенденции развития ЭВМ и вычислительных систем
В настоящее время развитие средств вычислительной техники
идет по двум направлениям [52, 53]:
1. Электронные вычислительные машины и простейшие вычислительные системы.
Эти вычислительные средства основываются на эволюционных модификациях концептуальной последовательной машины Дж.
фон Неймана (1945 г.). Их процесс развития отражен в трех поколениях. Функциональные структуры ЭВМ первого поколения (1949 г.)
полностью основаны на машине Дж. фон Неймана и на ламповой
элементной базе. Создание ЭВМ второго (1955 г.) и третьего (1963 г.)
поколений сопровождалось не только отходом от принципа последовательной обработки информации, но и сменой элементной базы –
переходом на транзисторы и интегральные схемы соответственно.
Пределом в эволюционной модификации концептуальной
ЭВМ Дж. фон Неймана является конвейерный способ обработки информации в сочетании с векторизацией данных. Последний нашел воплощение уже в архитектурно развитых ЭВМ третьего поколения
(допускающих одновременное или параллельное выполнение небольшого числа операций). А такие ЭВМ, по сути, представляют с обой простейшие вычислительные системы.
Вычислительные средства данного направления постоянно совершенствуются. Однако расширение функциональных возможностей, повышение быстродействия и надежности, уменьшение стоимости и сокращение габаритных размеров ЭВМ и простейших ВС достигаются, главным образом, за счет улучшения физико-технических
характеристик элементов и внутренних информационных каналов.
Технический прогресс в этом направлении был настолько бурным, что уже после третьего поколения ЭВМ трудно выделить периоды для указания каких-либо новых поколений.
Для любого из трех поколений ЭВМ, для каждого из последующих этапов технического и технологического развития ВТ можно
указать суперЭВМ – машины, обладающие предельными характеристиками по эффективности. Особенность современного этапа состоит
в том, что архитектурные решения, которые были прерогативой
суперЭВМ 70-х и 80-х годов, переместились с макроуровня на микроуровень, т. е. нашли воплощение в современных микропроцессорах
(или в больших интегральных схемах [БИС]).
2. Вычислительные системы.
Эти средства базируются на принципе массового параллелизма
при обработке информации. Вычислительные системы (в концептуальном плане) являются диалектической противоположностью ЭВМ,
их функционирование основано на имитации работы не отдельных
123
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
людей, занятых расчетами, а коллективов людей-вычислителей. Это
позволяет преодолеть барьер производительности, существующий для
ЭВМ, достичь высокой надежности и живучести, осуществимости
решения задач, значительно улучшить технико-экономические показатели. Данное направление адекватно учитывает текущие достижения в технологии БИС и ориентировано на применение полупроводниковых пластин с большим количеством элементов обработки информации. Вычислительные системы относятся к четвертому и последующим поколениям средств обработки информации.
Современная ВТ представлена широким спектром средств обработки информации – от персональных компьютеров до ВС с массовым параллелизмом. Уровень быстродействия ЭВМ составляет миллиарды операций с плавающей запятой в секунду (GigaFLOPS). Вычислительные системы могут иметь в своем составе сотни, тысячи
и даже миллионы процессоров (арифметико-логических устройств).
Анализ самых мощных компьютеров мира, созданных в 2000 –
2004 гг., показывает, что число процессоров в них достигает 10 2 – 104.
При этом производительность компьютеров составляет 1012 ... 1014 операций с плавающей запятой в секунду (1... 100 TFLOPS).
Архитектура ВС постоянно совершенствуется, существует
четко выраженная тенденция к построению распределенных систем с
программируемой структурой. В таких ВС нет единого общего ресурса, отказ которого приводил бы к отказу системы в целом, средства
управления и обработки информации, а также память распределены
«в пространстве». Они обладают способностью автоматически реконфигурироваться, т. е. программно настраиваться под структуру и
параметры решаемой задачи, под сферу применения [59].
Прогресс в индустрии обработки информации обусловлен достижениями в архитектуре и теории функционирования «крупномасштабных» ВС, в параллельной вычислительной математике, в программном обеспечении систем, а также успехами интегральной технологии.
Очевидно, что будущие БИС – это ансамбли взаимосвязанных
процессоров (System-on-chip), размещенных на пластине большого
размера (с диаметром 200...500 мм). Такие интегральные схемы могут
быть названы системными БИС или системами на кристалле, так как
они, по сути, будут параллельными микроВС с массовым параллелизмом.
На смену технологическому процессу производства БИС на
основе кремния придут нанотехнологии. Многие компании уже инвестируют в «посткремниевые» технологии. Так, фирма IBM делает
ставку на углеродные нанотрубки. В ее лабораториях уже в 2001 г.
велись работы с образцами логических элементов на базе данной тех124
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
нологии.
В Bell Labs в 2001 г. создан «транзистор в одну молекулу» –
органический транзистор, основанный не на кремнии, а на углероде.
Он выращен методом химической самосборки молекул. Длина канала
органического транзистора Bell Labs (расстояние между электродами)
составляет всего лишь 1 ...2 нм (1 нм = 10-9 м), т. е. примерно
в 100
раз меньше, чем в последних достижениях кремниевой технологии
(130 нм).
Разработка вычислительных систем тесно связана с возникновением научного направления «Отображение проблем вычислительной математики на архитектуру вычислительных систем», создание
которого можно отнести к концу 70-х годов. Бурное развитие микроэлектроники позволило достичь в те годы невиданного ранее скачка
в развитии вычислительной техники. Стали функционировать вычислительные системы с производительностью несколько сотен миллионов операций в секунду, мощность проектируемых систем определялась миллиардами операций. Появились многочисленные устройства,
позволяющие очень быстро решать различные простые задачи, такие как
матричные и векторные преобразования, быстрое преобразование Фурье,
обработка сигналов, распознавание простейших изображений и т.п.
Основной целью создания этих устройств было ускорение и
упрощение процесса решения конкретных задач. Каждое из них имело свою собственную, связанную с конкретной задачей архитектуру,
и не было ничего общего между различными устройствами. Тем не
менее успехи в микроэлектронике привели к появлению весьма дерзкой по тем временам мысли о возможности в будущем построения заказных специализированных вычислительных систем, ориентированных на эффективное решение конкретных классов задач.
Кроме впечатляющих результатов и радужных надежд успехи
микроэлектроники поставили немало серьезных проблем в деле освоения вычислительной техники, в особенности больших параллельных
систем. Очень скоро стало ясно, что построение для таких систем эффективных численных методов является делом и трудным,
и малоизученным [56]. Трудности определялись, главным образом, знач ительным разнообразием архитектур самих систем и, как следствие,
таким же разнообразием способов организации вычислений. Разные
способы организации вычислений влекли за собой различные спос обы организации данных, требовали создания различных численных
методов и алгоритмов, различного численного программного обеспечения, новых средств и языков общения с вычислительной техникой.
Основные трудности развития нового направления были связаны с отсутствием строгих математических постановок нужных задач. Понятно, что нельзя даже было надеяться на существование или
125
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
разработку в ближайшее время математической модели процессов
функционирования ЭВМ, сколько-нибудь адекватно отражающей
действительность. Только число названий различных классов вычислительной техники измерялось десятками: векторные, конвейерные,
многопроцессорные, систолические, программируемые.
Тем не менее, несмотря на большое разнообразие, во всех
представителях из всех классов можно было увидеть применение нескольких идей, решающим образом влияющих на производительность. Это, в первую очередь, параллелизм [54] и конвейерность вычислений [58], иерархическая структура памяти, использование коммутаторов и коммуникационных сетей для связи функциональных
устройств между собой.
Поэтому было ясно, что, как минимум, эти идеи должны находить свое отражение в структуре численных методов. Несмотря на
длительный период развития вычислительной математики вообще и
численных методов и алгоритмов в частности, математики в действительности очень мало знают о том, как на самом деле устроены разрабатываемые и используемые ими методы и алгоритмы. Господствовавшая в течение нескольких десятилетий концепция однопроцессорных ЭВМ обращала внимание разработчиков алгоритмов лишь на две
характеристики, связанные с вычислительной техникой: число операций и объем требуемой памяти. Даже такой важный фактор, как влияние ошибок округления, чаще всего в конкретных разработках выпадал из сферы внимания.
Это привело к тому, что к моменту широкого внедрения достижений микроэлектроники в создание вычислительных систем вычислительная математика оказалась без нужного багажа знаний, касающихся структуры алгоритмов, так же как и смежные науки, в
частности связанные с разработкой алгоритмических языков, компиляторов и архитектуры вычислительных систем. Поэтому сразу появилось большое число вопросов, относящихся к тому, что же понимать под структурой алгоритмов, как ее конструктивно находить и
исследовать, как решать с ее помощью нужные задачи отображения
вычислительной математики на архитектуру вычислительных систем.
Вычислительная техника и алгоритмы – это две опоры, на которых строится проблема отображения. Но как бы ни велики были
достижения в области развития вычислительной техники, она является всего лишь инструментом для решения прикладных задач.
Поэтому представлялось естественным, что продвижение в
проблеме отображения должно начинаться с разработки фундаментального математического аппарата, позволяющего описывать и ис126
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
следовать детальную информационную структуру алгоритмов, которая показывает, как в процессе реализации алгоритма его отдельные
операции связаны между собой и с памятью ЭВМ.
Такой аппарат удалось разработать, и наибольшую сложность
вызывало отсутствие базового математического формализма, помогающего оценивать качество работы многих функциональных
устройств и соответственно этому предлагать схемы реализации алгоритмов. Одной из центральных идей, позволяющих получить дополнительное ускорение процесса решения задач, является одновременное использование многих функциональных устройств [55]. Для
оценки их работы были введены различные характеристики, такие
как пиковая и средняя производительность, ускорение, эффективность, загруженность.
С другой стороны, примерно в это же время в США, а под их
влиянием и в Европе начались активные исследования в области так
называемых систолических массивов, которые представляют простейшие вычислительные системы с многими функциональными
устройствами. Другой важнейшей идеей было использование конвейерного вычислителя.
Анализ процесса функционирования конвейерных вычислителей [57] позволил придать четкий математический смысл всем характеристикам, связанным с эффективностью использования многих
функциональных устройств. Были установлены различные соотношения между ними. Однако самым интересным оказался анализ структуры алгоритма, реализуемого конвейерным вычислителем. Выяснилось, что этот алгоритм представляет объединение не связанных между собой одинаковых алгоритмов, отличающихся друг от друга только значениями входных данных. Другими словами, информационный
поток, проходящий через конвейерный вычислитель, обязательно
расщепляется на независимые однотипные ветви. Число этих ветвей
определяется графом конвейерного вычислителя и может меняться
при изменении графа от единицы до бесконечности.
Таким образом, был получен важный для того времени результат: для того чтобы задача эффективно решалась на вычислительной
системе со многими функциональными устройствами конвейерного
типа, необходимо, чтобы ее можно было представить как множество
подзадач, состоящих из достаточно длинных, не зависимых друг от
друга однотипных ветвей вычислений.
При проведении исследований процессов функционирования
127
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
многих устройств не делалось никаких предположений о способах организации вычислений. Автоматически оказались в поле зрения параллелизм вычислений, конвейерность функциональных устройств,
возможность образовывать сложные конвейеры, векторные и матричные вычисления. Как показали результаты исследований, эффективное использование многих функциональных устройств эквивалентно возможности организовывать конвейерные вычисления. При
этом конвейеры надо понимать не в традиционном, а в более широком смысле, в том числе с изменяемыми связями.
Много лет назад академик Г.И. Марчук настоял на открытии
рассматриваемого научного направления. Выяснилось, что к нему
примыкают такие разные области, как вычислительные и операционные системы, компиляторы и автономные программные системы,
языки программирования, численные методы, дискретная математика,
теория оптимальных процессов. Специалисты в этих областях говорят
на разных языках и далеко не всегда понимают или даже хотят понимать друг друга. Тем не менее в интересах эффективного решения
прикладных задач как на существующих вычислительных системах,
так и на системах, которые только еще проектируются, возникает
необходимость свести все это в нечто общее. Сейчас создан фундамент нового направления и пройдено несколько шагов.
Новое направление оказалось на острие многих проблем, связанных с вычислениями:
 анализ ошибок округления;
 быстрое вычисление градиента и производной;
 быстрое восстановление линейного функционала;
 декомпозиция алгоритмов;
 восстановление математических формул;
 использование распределенной и иерархической памяти;
 построение систолических массивов;
 адаптация программ к конкретным компьютерам;
 выбор оптимальной архитектуры компьютера;
 обнаружение узких мест алгоритмов;
 конструирование параллельных численных методов;
 создание портабельного численного программного
обеспечения;
 сравнение языков программирования.
128
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
6.10.
Элементная база информатизации и ее роль
в развитии национальной информационной
инфраструктуры
Элементную базу информатизации составляют нейрокомпьютеры, транспьютеры и оптические ЭВМ, квантовые компьютеры,
а их развитие включает следующие направления:
 разработку специализированных параллельных алгоритмов прикладных задач;
 стандартное системное программное обеспечение; языки
параллельного программирования и системы отладки для них;
 специализированные на реализации функций нейрокомпьютеров, транспьютеров и оптической обработки микропроцессорные кристаллы;
 проблемно-ориентированные вычислительные системы;
 новые архитектуры, учитывающие особенности нетрадиционной элементной базы.
Технология создания нейрокомпьютеров, транспьютеров и
оптических ЭВМ позволяет производить массово-параллельные вычисления с использованием новых подходов к алгоритмам, архитектуре и элементной базе. Основные характеристики технологии: снимаются ограничения по производительности, габаритам, энергопотреблению для постановки и решения нового большого круга задач,
в том числе с неформализованными алгоритмами, связанных с самообучением, искусственным интеллектом, интеграцией вычислительных, телекоммуникационных ресурсов и баз данных.
В настоящее время наиболее освоенным применением технологии является решение сложных научно-технических задач. Перспективно использование указанных направлений в больших базах
данных, системах распознавания образов, обработки сигналов и изображений, автоматического перевода, управления манипуляторами и
роботами, в целях разработки высокоэффективных стратегических систем вооружений, проектирования и создания новых технических систем, медицинской диагностики, дистанционных технологий образования, мониторинга в интересах сельского хозяйства.
Технология нейрокомпьютеров, транспьютеров и оптических
ЭВМ важна по ряду причин:
 она имеет универсальный характер, так как позволяет адекватно моделировать различные искусственные и естественные явления и процессы;
 системы, создаваемые с ее использованием, имеют малые
массогабаритные характеристики, высокие значения показателя «производительность/стоимость»;
129
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 модульность их построения и унификация интерфейсов позволяют получать высоконадежные, реконфигурируемые, развиваемые
системы с простым обслуживанием;
 эта технология соответствует передовому уровню в области
микропроцессорной техники и создания систем на ее основе.
В настоящее время созданы опытные образцы системы с массовым параллелизмом на транспьютерах, идет разработка математических методов решения задач на них. Научно-исследовательские заделы в области систем на базе нейрокомпьютеров, оптических и оптоэлектронных ЭВМ развиваются недостаточно. Следует сконцентрировать усилия на создании национальной информационной инфраструктуры. Для этого необходимо:
 резкое повышение эффективности использования вычислительных средств путем обеспечения общенационального доступа
к
массово-параллельным системам посредством скоростных информационных магистралей;
 достижение производительности до 1012 оп/с и выше, необходимой для решения сложных научно-технических задач, известных
как проблемы «большого вызова», путем создания массовопараллельных систем следующих поколений;
 развитие сетей связи интегрального обслуживания на основе
проводных, спутниковых, оптоволоконных линий и высокоскорос тных коммутаторов;
 создание параллельных баз данных большого объема, с периодом обработки запросов на порядки меньшим существующих аналогов, обеспечение удаленного доступа к ним;
 разработка прикладных программ для решения как хорошо
формализованных научно-технических задач, так и трудно формализуемых проблем, поддающихся решению, в том числе на основе
нейросетевого подхода, а также параллельных систем управления базами данных.
За рубежом эта технология входит в число приоритетных
направлений и соответствующим образом поддерживается. Подготовлена
элементная база проблемно-ориентированных вычислительных устройств,
осуществляется коммерческая реализация готовых продуктов.
6.11.
Направления развития программирования
и современных программных систем
За последние несколько десятков лет входило в моду и выходило из моды несколько парадигм программирования, внося в развитие этой области вклад разного уровня важности.
130
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Функциональное программирование. Функциональные
языки происходят от языка Lisp [60]. Они подверглись большому числу расширений и изменений и используются для реализации как небольших, так и крупных программных систем.
Что характеризует функциональные языки? Всегда оказывалось, что они характеризуются своей формой, что вся программа с остоит из вычислений функций – вложенных, рекурсивных, параметрических и т.д. Отсюда происходит термин «функциональный». Однако ключевая идея состоит в том, что функции по своему существу
не имеют состояний, откуда следует отсутствие переменных и присваиваний. Вместо переменных используются неизменяемые параметры функций – переменные в математическом смысле. Вследствие этого только что вычисленные значения невозможно присвоить той же
переменной, затирая ее старое значение. Это объясняет, почему повторение должно выражаться через рекурсию. Структуру данных в
лучшем случае можно расширить, но невозможно изменить ее существующую часть. Это приводит к очень высокому уровню рециркуляции памяти – необходимым компонентом является «сборщик мусора»
(garbage collector). Реализация без автоматической сборки мусора является немыслимой.
Постулирование модели вычислений без состояний поверх
машины, наиболее значительной характеристикой которой является
состояние, кажется, по крайней мере, странной идеей. Между моделью и машиной существует широкая пропасть, возведение моста через
которую обходится дорого. Это невозможно исправить с помощью
какой-либо аппаратной поддержки: идея остается плохой и на практике.
Сторонники функциональных языков также со временем поняли это. С помощью разнообразных хитрых приемов они ввели состояние и переменные. Тем самым чисто функциональный облик языков
был дискредитирован.
Логическое программирование. Другая парадигма заключается в использовании логики в качестве языка программирования.
Программа в этом случае представляет собой описание модели решаемой задачи в виде логических аксиом. Здесь формулируются сведения о задаче и предположения, достаточные для её решения.
Программа может выполняться путем постановки задачи, описанной в виде логического утверждения – целевого утверждения (вопроса). Выполнение программы состоит в попытке решить задачу, т.е.
доказать целевое утверждение, используя предположения, заданные в
131
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
логической программе.
Наиболее известным языком логического программирования
является Пролог [61], созданный на рубеже 60 – 70-х годов ХХ в.
в Марсельском университете А. Колмерором и его сотрудниками на
основе теоретических работ Р.А. Ковальского. Теоретической основой
Пролога является раздел символьной логики, называемый исчислением предикатов.
Прологу присущ ряд свойств, которыми не обладают традиционные языки программирования, что делает его мощным средством в
области логического программирования. К таким свойствам относятся
механизм вывода с поиском и возвратом, встроенный механизм сопоставления с образцом и простая, но выразительная структура данных с
возможностью ее изменения. Пролог отличает единообразие программ и данных, которые лишь две различные точки зрения на объекты Пролога. В единой базе данных можно свободно создавать и
уничтожать отдельные элементы. Поскольку не существует различия
между программами и данными, можно менять программу во время ее
работы.
Программа на Прологе состоит из фактов и правил для получения других фактов и ответов на вопросы. Использование фактов
и
правил является основой для языка экспертных систем. Экспертная
система состоит из базы данных, содержащей факты и называемой
иногда базой знаний, и машины вывода, которая обращается к базе
данных, чтобы получить ответы на любые запросы. Обе части оболочки экспертной системы могут быть реализованы на Прологе.
Пролог предоставляет средства для добавления и изменения
информации в базе данных во время выполнения программы или з апроса. Модификация базы данных, а следовательно, и программы позволяет повышать их информационное содержание. Программа может
взаимодействовать с внешним источником информации, а затем использовать полученную информацию для изменения своей базы данных. Этот аспект является очень существенным также и в области искусственного интеллекта.
Большие надежды здесь возлагались на японский проект компьютера пятого поколения – Prolog-машины вывода, и организаторы
потратили огромные объемы ресурсов на реализацию этой идеи.
Ст рукт урное программирование. В 70-х годах XX века
Э. Дейкстра предложил методологию программирования, основу которой
составляла разработка программы в виде иерархических блоков.
Главный постулат этой методологии – разработка программы
«сверху вниз» с помощью выстраивания иерархических блоков с ис132
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
пользованием трех типов базовых конструкций:
 последовательность операций;
 ветвление (выполнение некоторого заданного условия);
 цикл (повторение некоторого участка программы до тех пор,
пока выполняется некоторое заданное условие).
В виде процедур (не предполагает возврат результата) или функций (возвращает результат) оформляются отдельные участки кода программы, которые могут использоваться повторно или представляют собой отдельные логические блоки программы – подпрограммы.
Методология структурного программирования появилась как
следствие возрастания сложности решаемых на компьютерах задач [62] и
соответственного усложнения программного обеспечения. Сложность
программ достигла того уровня, когда их «интуитивная» разр аботка,
которая была нормой в более раннее время, перестала удовлетворять
потребностям практики. Поэтому необходимы были четкая структуризация и упрощение разработки.
Следование принципам структурного программирования сделало тексты программ, даже довольно крупных, нормально читаемыми. Серьёзно облегчилось понимание программ, появилась возмо жность их разработки в нормальном промышленном режиме.
Структурное программирование стало предшественником программирования, ориентированного на объекты.
Объект но-ориент ированное программирование. В отличие от функционального и логического программирования, объектноориентированное программирование (ООП) [68] основывается на
тех же принципах, что и традиционное, структурное программирование. Процесс здесь описывается как последовательность преобразований состояния. Новшество состоит в разбиении глобального состо яния на отдельные объекты и связывании с объектом преобразователей
состояния, называемых методами. Объекты представляются как акторы, которые посылают другим объектам сообщения, побуждая их изменять свое состояние. Описание шаблона объекта называется определением класса.
Эта парадигма непосредственно отражает структуру систем реального мира и поэтому хорошо подходит для моделирования сло жных систем со сложным поведением. Не удивительно, что истоки
ОПП лежат в области имитационного моделирования систем. Успех
ООП в области разработки программных систем говорит сам за себя
начиная с языка Smalltalk [63] и продолжая линией Object Pascal, C++,
Eiffel, Oberon, Java, и C#.
Существуют мнения о том, что процедурное программирова133
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ние лучше подходит для случаев, когда важны быстродействие и потребляемые ресурсы, объектное – когда важна управляемость проекта
и его модифицируемость, а также безопасность программ [64]. И для
этого есть основания, поскольку в системном программировании позиции ООП не очень сильны.
Компонентно-ориентированное программирование. Данное
программирование возникло как своего рода дисциплина, т.е. набор
определенных ограничений, налагаемых на механизм ООП, когда стало ясно, что бесконтрольное использование ООП приводит к проблемам с надежностью больших программных комплексов.
Понятие программного компонента (software component) является одним из ключевых в современной инженерии программного
обеспечения (ПО). Этим термином обозначают несколько различных
вещей, часто не уточняя подразумеваемого в каждом конкретном случае смысла.
Если речь идет об архитектуре ПО, под компонентом имеется
в виду то же, что часто называется программным модулем. Это достаточно произвольный и абстрактный элемент структуры системы,
определенным образом выделенный среди окружения, решающий некоторые подзадачи в рамках общих задач системы и взаимодействующий с окружением через определенный интерфейс. Здесь употребляется термин «архитектурный компонент», или «компонент архитектуры».
На диаграммах компонентов в языке UML часто изображаются
компоненты, являющиеся единицами сборки и конфигурационного
управления, – файлы с кодом на каком-то языке, бинарные файлы, какие-либо документы, входящие в состав системы. Иногда там же появляются компоненты, представляющие собой единицы развертывания системы, – это компоненты уже в третьем, следующем смысле.
Компоненты развертывания являются блоками, из которых
строится компонентное программное обеспечение. Эти же компоненты имеются в виду, когда говорят о компонентных технологиях, компонентной или компонентно-ориентированной (component based) разработке ПО, компонентах JavaBeans, EJB, CORBA, ActiveX, VBA,
COM, DCOM, .Net, Web-службах (web services), а также о компонентном подходе. Такой компонент представляет собой структурную единицу программной системы, обладающую четко определенным интерфейсом, который полностью описывает ее зависимости от окружения [65]. Компонент может быть независимо поставлен или не поставлен, добавлен в состав некоторой системы или удален из нее, в
том числе может включаться в состав систем других поставщиков.
134
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Понятие компонента в третьем смысле имеет несколько аспектов. Компонент в этом смысле – выделенная структурная единица
с
четко определенным интерфейсом. Он имеет более строгие требования к четкости определения интерфейса, чем архитектурный компонент. Абсолютно все его зависимости от окружения должны быть
описаны в рамках этого интерфейса. Один компонент может также
иметь несколько интерфейсов, играя несколько разных ролей
в
системе.
При описании интерфейса компонента важна не только сигнатура операций, которые можно выполнять с его помощью. Становится
важным и то, какие другие компоненты он может задействовать при
работе, а также каким ограничениям должны удовлетворять входные
данные операций и какие свойства выполняются для результатов их
работы.
Эти ограничения являются так называемым интерфейсным
контрактом или программным контрактом компонента. Интерфейс
компонента включает набор операций, которые можно вызвать у любого компонента, реализующего данный интерфейс, и набор операций, которые этот компонент может вызвать в ответ у других компонентов.
Интерфейсный контракт для каждой операции самого компонента (или используемой им) определяет предусловие и постусловие
ее вызова. Предусловие операции должно быть выполнено при ее вызове, иначе корректность результатов не гарантируется. Если эта операция вызывается у компонента, то обязанность позаботиться о выполнении предусловия лежит на клиенте, вызывающем операцию. Если же эта операция вызывается компонентом у другого компонента,
он сам обязуется выполнить это предусловие.
С постусловием все наоборот – постусловие вызванной у компонента операции должно быть выполнено после ее вызова, и это –
обязанность компонента. Постусловие операции определяет, какие ее
результаты считаются корректными. В отношении вызываемых компонентом операций выполнение их постусловий должно гарантироваться теми компонентами, у которых они вызываются, а вызывающий компонент может на них опираться в своей работе.
Например, сайт Интернет-магазина. В рамках этого приложения может работать компонент, в чьи обязанности входит вывод списка товаров заданной категории. Одна из его операций принимает на
вход название категории, а выдает HTML-страничку в заданном формате, содержащую список всех имеющихся на складе товаров этой категории. Предусловие может состоять в том, что заданная строка действительно является названием категории. Постусловие требует, что135
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
бы результат операции был правильно построенной HTML-страницей,
чтобы ее основное содержимое было таблицей со списком товаров
именно указанной категории, название каждого из которых представляло бы собой ссылку, по которой можно попасть на его описание,
а в остальном – чтобы эта страница была построена в соответствии
с принятым проектом сайта.
Более аккуратно построенный компонент не требовал бы ничего в качестве предусловия (оно было бы выполнено при любом значении параметра), а в случае некорректного названия категории в качестве результата выдавал бы HTML-страницу с сообщением о неправильном названии категории товаров.
При реализации интерфейса предусловия операций могут
ослабляться, а постусловия – только усиливаться. Это значит, что, реализуя данную операцию, некоторый компонент может реализовать ее
для более широкого множества входных данных, чем это требуется
предусловием, а также может выполнить в результате более строгие
ограничения, чем это требуется постусловием. Однако внешним компонентам нельзя опираться на это, пока они работают с исходным интерфейсом, – реализация может поменяться. Точно так же, если интерфейс компонента требует наличия в системе других компонентов с
определенным набором операций, это не означает, что данная реализация интерфейса действительно вызывает эти операции.
Набор правил определения интерфейсов компонентов и их реализаций, а также правил, по которым компоненты работают в системе и взаимодействуют друг с другом, принято объединять под именем
компонентной модели (component model) [66]. В компонентную модель входят правила, регламентирующие жизненный цикл компонента, т.е. то, через какие состояния он проходит при своем существовании в рамках некоторой системы (незагружен, загружен и пассивен,
активен, находится в кэше и пр.) и как выполняются переходы между
этими состояниями.
Существуют несколько компонентных моделей. Правильно
взаимодействовать друг с другом могут только компоненты, построенные
в рамках одной модели, поскольку компонентная модель определяет
«язык», на котором компоненты могут общаться друг с другом.
Помимо компонентной модели, для работы компонентов необходим некоторый набор базовых служб (basic services). Например,
компоненты должны уметь находить друг друга в среде, которая, во зможно, распределена на несколько машин. Компоненты должны
уметь передавать друг другу данные, опять же, может быть, при помощи сетевых взаимодействий, но реализации отдельных компонен-
136
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
тов сами по себе не должны зависеть от вида используемой связи и от
расположения их партнеров по взаимодействию.
Набор таких базовых, необходимых для функционирования
большинства компонентов служб вместе с поддерживаемой с их помощью компонентной моделью называется компонентной средой или
компонентным каркасом (component framework). Примеры известных
компонентных сред – различные реализации J2EE, .NET, CORBA. Эти
среды сами по себе являются спецификациями компонентных моделей и набора базовых служб, которые должны поддерживаться их реализациями. Компоненты, которые работают в компонентных средах,
по-разному реализующих одну и ту же компонентную модель и одни
и те же спецификации базовых служб, должны быть в состоянии свободно взаимодействовать. На практике этого, к сожалению, не всегда
удается достичь, но любое препятствие к такому взаимодействию рассматривается как серьезная, подлежащая скорейшему разрешению
проблема.
Соотношение между компонентами, их интерфейсами, компонентными моделью и средой можно представить в виде схемы (рис. 6.1).
Хотя рынок ПО существует достаточно давно, а компонентные
технологии разрабатываются уже около 20 лет, рынок компонентов
развивается довольно медленно. Поставщиками компонентов становятся лишь отдельные компании, тесно связанные с разработчиками
конкретных компонентных сред, а не широкое сообщество индивидуальных и корпоративных разработчиков, как это представляли себе
создатели компонентных технологий при их зарождении.
По-видимому, один из главных факторов, мешающих развитию
этого рынка, – это «гонка технологий» между поставщиками основных компонентных сред. Ее следствием является отсутствие стабиль-
137
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Рис. 6.1. Основные элементы компонентного
программного обеспечения [61]
ности в их развитии, а также появление большого количества компонентных языков программирования (рис. 6.2). Новые версии выпускаются слишком часто, и достаточно часто при их выходе изменяются
элементы компонентной модели.
Поэтому при разработке компонентов для следующей версии
приходится следовать уже несколько другим правилам, а старые компоненты с трудом могут быть использованы в них.
Сложность большинства современных программных систем
обусловлена многими причинами, главной из которых является логическая сложность решаемых ими задач [70].
В настоящее время, когда созданы мощные компьютерные сети, появилась возможность переложить на них решение сложных ресурсоемких задач, о компьютеризации которых раньше никто и не думал. В процесс компьютеризации вовлекаются совершенно новые
предметные области, а для освоенных областей усложняются уже
сложившиеся постановки задач.
Дополнительными факторами, увеличивающими сложность
разработки программных систем, являются [69, 71]:
 сложность формального определения требований к ним;
138
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 отсутствие удовлетворительных средств описания поведения
дискретных систем с большим числом состояний при недетерминированной последовательности входных воздействий;
 коллективная разработка;
 необходимость увеличения степени повторяемости кодов.
Сложность определения требований к программным системам
обусловливается двумя факторами. Во-первых, при определении требований необходимо учесть большое количество различных факторов.
Во-вторых, разработчики программных систем не являются специалистами в автоматизируемых предметных областях, а специалисты в
предметной области, как правило, не могут сформулировать проблему
в нужном ракурсе.
Рис. 6.2. Языки программирования и место среди них
компонентных языков программирования
Отсутствие удовлетворительных средств формального описания поведения дискретных систем. В процессе создания программных
систем используют языки сравнительно низкого уровня. Это приводит к
ранней детализации операций в процессе создания программного обеспечения и увеличивает объем описаний разрабатываемых продуктов, который, как правило, превышает сотни тысяч операторов языка программирования. Средств же, позволяющих детально описывать поведение
сложных дискретных систем на более высоком уровне, чем универсальный язык программирования, не существует.
Коллективная разработка. Из-за больших объемов проектов
разработка программного обеспечения ведется коллективом специалистов. Работая в коллективе, отдельные специалисты должны взаимодействовать друг с другом, обеспечивая целостность проекта, что
139
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
при отсутствии удовлетворительных средств описания поведения
сложных систем, упоминавшемся выше, достаточно сложно. Причем,
чем больше коллектив разработчиков, тем сложнее организовать процесс работы [65, 67].
Необходимость увеличения степени повторяемости кодов. На
сложность разрабатываемого программного продукта влияет и то, что
для увеличения производительности труда компании стремятся к с озданию библиотек компонентов, которые можно было бы использовать в дальнейших разработках. Однако в этом случае компоненты
приходится делать более универсальными, что в конечном счете увеличивает сложность разработки.
Вместе взятые, эти факторы существенно усложняют процесс
разработки. Однако все они напрямую связаны со сложностью объекта разработки – программной системы.
6.12.
Современные автоматизированные системы
управления
Начатая в стране радикальная экономическая реформа и курс
на непосредственную рыночную конъюнктуру, как традиционный для
мирового сообщества регулятор общественного производства, обос трили необходимость решения глобальной оптимизационной задачи
управления предприятием, объединением, отраслью с целью получения максимума рентабельности при соблюдении определенных ограничений в системе показателей [78 – 80].
Успех современного производства определяется степенью реализации прецизионных («тонких») технологий, основанных на высокоточной синхронизации процессов, благодаря чему падает энерго- и
материалоемкость изделий, достигаются их принципиально новые потребительские качества. В связи с этим резко возросла роль гибких
адаптивных управляющих систем технологической ориентации, дающих прямой эффект в производствах военно-промышленного комплекса, аэрокосмического цикла атомной энергетики.
Важным звеном технологического цикла является разработка
проектных решений и программ для гибких автоматизированных производств (ГАП) с помощью систем классов САПР, АСТПП, АСУП,
АСУ ТП.
Повышение уровня и качества НИР, возможность управления
ходом научного эксперимента на основе экспресс-обработки текущих
данных и испытание сложных объектов новой техники в реальном
времени достигаются с помощью систем научно-исследовательской
ориентации (АСНИ, САНЭ, АСПИ, различные АСОД и автоматизированные лаборатории), выдающих обобщенную информацию об ис140
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
следуемых объектах. Они позволяют построить и откорректировать их
математические модели, служащие для последующего проектирования, построения новых гипотез управления, прогнозирования, что породило тенденцию интеграции творческих процессов в едином с истемном комплексе, включающем АСНИ, САПР, ИПС, АСУТП, экспертные системы. Главными сферами их применения являются ядерная физика и атомная энергетика, космический эксперимент
с использованием бортовых вычислителей, обработкой спутниковой информации, прогнозированием экстремальных ситуаций.
С помощью методов математического эксперимента, который
сделался органической частью эксперимента физического, исследованы
вопросы неустойчивости высокотемпературной плазмы в токамаках и
стелларагорах, определились структурно-модельные представления в
области биохимических полимеров, образующих основу жизни, позволяющие проводить исследования в области генетических и онкологических заболеваний; построены модели функционирования организма в
экстремальных физиологических условиях, регламентирующие выживаемость человечества при ухудшении экологического
климата [81
– 83].
В промышленной автоматизации активно развивается концепция Transparent Factory (TF) [84, 85], выдвинутая компанией Шнейдер
Электрик.
К сожалению, большинство технических специалистов увидело
за словами Transparent Factory только встроенный в контроллер webсопроцессор с представлением данных от узла системы АСУ ТП в виде HTML-страниц. При таком подходе преимущества Transparent
Factory перед системами, построенными по традиционным схемам или
с использованием компонентов на базе ПК, действительно не очевидны. Стоимость web-сопроцессоров кажется несравнимой
с webсервером на персоналке, изучение принципиально новых технологий
web-дизайна – нерентабельным.
На самом деле концепцию Transparent Factory кратко можно
охарактеризовать как набор расширенных коммуникационных сервисов, доступных на каждом уровне и в каждом компоненте системы
АСУ ТП, причем, как построенной по классическим иерархическим
схемам, так и реализованной с применением чистых TF-технологий.
В классическом варианте (рис. 6.3) эти коммуникационные
возможности являются дополнительными каналами обмена данными
и обслуживания узлов системы, а во втором – основными.
При этом использование именно ftp- или http-сервера не является единственной или обязательной возможностью.
141
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Рис. 6.3. Традиционная структура системы автоматизации
С использованием концепции Transparent Factory впервые
в АСУ ТП становится возможным построение сложной системы с
непосредственным прямым доступом на все уровни, к каждому
устройству (рис. 6.4).
Исследования независимых экспертов и целых лабораторий
убедительно показали, что архитектура Industrial Ethernet ни в чем не
уступает другим принятым в промышленности интерфейсам, а иногда
и превосходит их. В исследовании, результаты которого опубликованы в журнале Control Engineering [85], сравнению подверглись архитектуры PROFIBUS (EN 50170) и Industrial Ethernet (IEEE 802.3) на
физическом уровне модели OSI по критерию гарантированного времени доставки сообщений. Не отставали и соответствующие промышленные конструкторские решения сетей Ethernet.
Компания Шнейдер Электрик продолжила развитие направления TF-компонентов и предстала в неожиданном виде – как поставщик активного и пассивного сетевого оборудования для создания
промышленных сетей Ethernet. В настоящее время пользователям доступны компоненты структурированной кабельной системы, а также
все необходимые активные сетеобразующие элементы (трансиверы,
мосты и коммутаторы). Это семейство продуктов получило наименование ConneXium, но на каждом изделии осталась марка Modicon.
Следует отметить, что простые многопортовые повторители в пр омышленном варианте Ethernet не применяются [86].
142
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Рис. 6.4. Архитектура Transparent Factory
Замена одного физического стандарта телекоммуникаций на
другой сама по себе не несет существенных изменений, но в данном
случае множественность доступа, развитость сервисов диагностики и
управления, по-настоящему высокая степень совместимости приводят
к качественным изменениям в архитектуре построения и идеологии
функционирования систем управления.
Если вся индустрия автоматизации склонна к применению технологий Интернет/Интранет, то компания Шнейдер Электрик остается
лидером среди первой тройки производителей контроллеров на сегодняшний день. Компания Сименс прикладывает значительные усилия
по развитию Industrial Ethernet, но одновременно продолжает политику развития и лицензирования интерфейсов полевых шин собственной
разработки. Компания Rockwell Automation видит будущее открытых
систем в замене классических ПЛК машинами на платформе WinNT
RTE. Достоинством поэтапного эволюционного подхода компании
Шнейдер Электрик является отход от собственных протоколов к широкому применению стандартных сетевых средств во всех классических компонентах автоматики от частотно-управляемого привода до
оборудования электроподстанций [84].
В каких целях это может быть использовано, в конечном счете
решает создатель системы, но основными критериями при этом остаются цена, надежность, функциональность системы в целом.
Концепция TF позволяет повысить надежность и управляемость архитектуры автоматизированных систем управления [85]:
в случае отказа узла сети или сегмента линии связи в традиционной схеме становятся недоступными все подключенные к нему
143
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
устройства. С использованием TF-компонентов они остаются досягаемыми, как минимум, для удаленной диагностики происшедшего;
процедура полной инсталляции супервизора на новый компьютер занимает не один час даже при наличии свежей резервной копии проекта, а запуск браузера с любого компьютера корпоративной
сети – несколько минут;
разработчик ПО для контроллеров будет испытывать серьезные трудности в отладке собственной программы, если он оторван от
своего рабочего места и инструмента. Использование универсальных
механизмов доступа к компонентам системы не заменит пакета программирования, но доступно всегда и везде за счет:
 применения массовых компонентов Ethernet, вместо дорогостоящих каналообразующих элементов промышленных сетей, если
нет агрессивных внешних воздействий;
 широкого использования существующей инфраструктуры
каналов связи, серверов и программного обеспечения, в том числе
сторонних фирм.
В концепции TF заложены новые функциональные возможности:
применение карманных и портативных компьютеров и терминалов без специального ПО, мобильных телефонов и иных средств
связи в дополнение к традиционным средствам HMI либо вместо них,
что ведёт к мобильности рабочих мест и персонала;
использование в целях связи с АСУ ТП корпоративной сети
на неограниченные расстояния;
применение широчайшей гаммы компонентов Industrial
Ethernet от различных производителей, например, выполненных по
стандартам взрывозащиты;
развитие существующей АСУ, не ограниченной числом подключаемых устройств;
создание принципиально новых систем полностью автоматизированного производства, включающих в себя АСУ ТП, АСУП
и прочие информационные подсистемы предприятия.
Особые преимущества концепция TF имеет при слаборазвитой
инфраструктуре связи в проектах, объекты которых разброс аны на
значительном удалении. К таким объектам можно смело относить всю
отечественную энергетическую и горнодобывающую промышленность, коммунальное хозяйство. Создание и дальнейшее поддержание
собственной инфраструктуры на отдельно взятом предприятии этих
отраслей заведомо дороже использования сетей общего доступа.
144
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
6.13.
Направления развития современных
информационных и телекоммуникационных
сетей
Основой развития информационных технологий, по взглядам
специалистов, являются три базовые технологии: услуг, телекоммуникационных сетей и компонентов, а ключевыми областями обработки
информации – обработка и распознавание речи и образов, визуальная
связь, объединение компьютеров в сети [72].
Ведущие телекоммуникационные компании предлагают свое
видение эволюции систем электросвязи. Например, компания NTT
выдвинула концепцию VI&P – «Visual, Intelligent and Personal
Communication Services» («Визуальные, интеллектуальные и персональные телекоммуникационные услуги»), специалисты Siemens разработали концепцию «Vision O.N.E». Аббревиатура O.N.E (Optimised,
Network и Evolution) определяет содержание концепции как оптимальную эволюцию сети. Принципиальные идеи, заложенные в концепциях, практически идентичны (рис. 6.5), а основой создания телекоммуникационных систем должно стать развитие компонентной технологии [72].
Технология
услуг
Технология
телекоммуникационных
услуг
Виртуальные
услуги
Персональные
услуги
Интеллектуальные
услуги
Архитектуры
сетей
Техническая
поддержка
Системы
передачи
Фотоника
Технология
компонентов
Микроэлектроника
Рис. 6.5. Технологии, поддерживающие услуги связи
Современный этап развития связи и информатики характеризуется
схожестью их технологических баз, что обеспечивает экономичное решение задач по передаче, хранению и обработке информации (рис. 6.6).
Для модернизации сети доступа и транзитной сети предлагает145
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ся использование телекоммуникационных технологий синхронной
цифровой иерархии (SDH), пассивных оптических сетей (PON), асимметричных цифровых абонентских линий (ADSL), гибридных систем
на основе оптического волокна и коаксиального кабеля (HFC), кабельного телевидения (CATV), асинхронного режима переноса
(АТМ), используемого в широкополосной сети (В ISDN), поскольку
именно широкополосные сети будут в ближайшее время определять
тенденции развития услуг связи.
Рис. 6.6. Взаимосвязь информатики и телекоммуникаций
В частности, ожидается широкое использование сетей сотовой
подвижной связи стандарта GSM, цифровой европейской бесшнуровой системы (DECT), услуг универсальной подвижной связи (UMTS),
универсальной персональной связи (UPT).
Развивается интеллектуальная сеть (IN), сеть технической эксплуатации средств электросвязи (TMN), мощным стимулом для создания которой стал проект TINA, основанный на совместной разработке TMN и IN [73].
146
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
XXI век – это эпоха бурного развития и конвергенции информационных и телекоммуникационных технологий, призванных сегодня
ускорять развитие мировой экономики и социальной среды общества.
Подвижность, способность к передаче и получению разнообразной информации в планетарном масштабе становится характерным признаком
человеческой жизни и деятельности. Особая роль принадлежит здесь сотовой связи. Она вбирает в себя функции приема-передачи не только голосовой информации, но и данных, включая видеоизображение. Таким
образом, с помощью технологий сотовой связи уже сегодня может быть
реализовано одно из требований глобального информационного общества – предоставление абоненту возможности доступа к информации в
любой точке мира в нужный момент времени [72, 73].
В настоящее время коммерческие услуги сотовой связи, основанной на новейших технологиях, предоставляются более чем в 90 странах мира: развернуто более 150 сетей стандарта CDMA2000 (1МТ-МС) и
более 100 сетей стандарта WCDMA / UMTS (IMT-DS). Общее число
абонентов сетей нового поколения составляет 260 миллионов и ежемесячно увеличивается более чем на 7 миллионов (рис. 6.7).
Рис. 6.7. Динамика развития сетей связи нового поколения
Экономической основой распространения технологии связи новых поколений является тот факт, что при переходе от сетей 2G к 3G
емкость сети возрастает в 8 раз, а себестоимость передачи данных падает с нескольких долларов до нескольких центов за Мбайт. Ожидается,
что сети связи нового поколения скоро станут основной составляющей
мировой информационной инфраструктуры [72].
Растущий спрос на неголосовые услуги в Москве, СанктПетербурге и других крупных городах страны привел к внедрению
технологий GPRS, EDGE и MMS, развитию сети IMT-MC-450, росту
числа точек доступа Wi-Fi и созданию сети, использующей технологию pre-WiMAX. Однако ограниченность ресурсов существующих сетей сотовой связи не позволяет в достаточной мере удовлетворить
потребности абонентов в услугах высокоскоростной передачи данных, препятствует реализации имеющегося в России творческого потенциала для развития индустрии «мобильного контента» [73].
147
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Сотовая связь третьего поколения призвана обеспечить выс окоскоростную передачу данных, мультимедиа и глобальный роуминг
независимо от местоположения абонента и скорости его перемещения в пространстве. Телефон становится персональным коммуникатором, предоставляя пользователю практически неограниченные
возможности доступа к информационным ресурсам мирового соо бщества, в том числе через Интернет.
Успешное развитие сетей связи третьего поколения возможно
только при внедрении широкого спектра новых услуг, привлекательных
для большого числа абонентов в их повседневной жизни (рис. 6.8).
Большинство новых услуг требуют содержательного наполнения информацией различного характера, предназначенной для определенных групп абонентов. Это меняет сегодняшнее представление о
бизнес-модели операторской деятельности в сетях сотовой связи, так
как наряду с предоставлением доступа и осуществлением транспортных функций важную роль приобретает разработка сервисных приложений и поставка контента.
Рис. 6.8. Услуги нового поколения
По мере того как новые технологии воплощаются в жизнь, значимость традиционных коммерческих моделей будет сокращаться.
Стратегия же развития бизнеса не может состоять в том, чтобы попытаться сохранить старое только потому, что оно хорошо известно.
Оператор сетевой инфраструктуры 3G – профессиональный
связист, он не владеет в достаточной степени спецификой контента и
не в состоянии взять на себя его формирование и развитие. На рынке
сотовой связи появляются новые участники – поставщики услуг (контент- и сервис-провайдеры, операторы виртуальных сетей подвижной
148
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
связи, агрегаторы контента), доля их дохода в совокупной стоимости
предоставления услуг абоненту может достигать 90 %. К наиболее востребованным услугам относятся высокоскоростной доступ в Интернет
и корпоративные сети, информационные услуги, услуги позиционирования, мобильная коммерция, мультимедийные сообщения, мобильное
телевидение.
Сети связи 3G подвержены атакам нарушителей информационной безопасности, причем функциональные преимущества сетей
связи нового поколения по сравнению с сетями предыдущих поколений порождают новые угрозы и уязвимости. Хотя в сетях связи 3G и
предусмотрены разнообразные механизмы защиты информации, однако они охватывают не весь спектр вопросов, связанных с безопасным
использованием информационных ресурсов сети. В связи с этим возникает необходимость в разработке дополнительных механизмов
обеспечения информационной безопасности.
Анализ нормативно-правовой базы по вопросам информационной безопасности показывает, что на сегодняшний день существуют
документально оформленные требования, обязывающие операторов
сетей связи обеспечивать безопасность информационных ресурсов,
как служебных, так и пользовательских. Одним из основных принципов достижения указанной цели является обязательность применения
механизмов минимального базового уровня информационной безопасности, а также построения системы защиты информации, обладающей свойствами, позволяющими проводить наращивание уровней
информационной безопасности. Концепция информационной безопасности в сетях связи 3G, разработку которой возглавляет НТЦ
«Атлас», определяет основные положения по обеспечению информационной безопасности в сетях связи 3G и, возможно, станет базовым документом для определения принципов построения системы обеспечения
информационной безопасности в сетях связи нового поколения.
Одной из основных тенденций дальнейшего развития телекоммуникаций является конвергенция сетей (услуг) мобильной и
фиксированной связи. Растущее внимание операторов мобильной связи к фиксированным сетям объясняется перспективами быстрого распространения широкополосных услуг: абоненты желают пользоваться
мультимедийным контентом непрерывно – дома, в офисе, в автомобиле и на улице. Из-за широкого распространения и удобства применения мобильный телефон часто используется в офисе и дома,
т.е. в зоне фиксированного доступа. Абоненту важно получить высокоскоростные услуги по минимально возможной цене, и ему все равно, к какой именно сети доступа в данный момент времени подключено его терминальное устройство. Фиксированная связь может стать
149
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
прекрасным дополнением к мобильной, обеспечивая повышение качества услуг, предоставляемых абоненту сотовой связи, с использованием единого, удобного и привычного в обращении терминала. Как
ожидается, в первую очередь конвергенция затронет сегмент корпоративных клиентов, а в дальнейшем распространится и на потребительский рынок. Ассоциация 3G планирует продолжить исследования
взаимодополнения сетей сотовой связи и беспроводного широкополосного доступа – в области построения эффективных бизнес-моделей и
совершенствования нормативно-правового обеспечения [73].
С целью практической реализации Концепции формирования
рынка услуг связи третьего поколения в Российской Федерации (рис. 6.9),
разработанной Ассоциацией 3G, было принято решение о проведении
масштабных исследований по основным направлениям формирования
рынка новых услуг на существующих сетях связи, потенциал которых
еще далеко не исчерпан – на наших глазах происходит их эволюция в
направлении к 3G.
Определены наиболее актуальные темы исследований:
 разработка универсальной электронной платежной платформы;
 обеспечение деятельности операторов виртуальных сетей подвижной связи;
 взаимодействие поставщиков контента с операторами;
 внедрение мобильного цифрового телевидения.
Рис. 6.9. Концепция формирования рынка услуг связи третьего поколения в Российской Федерации
Разработка универсальной электронной платежной
платформы. Для успешного развития рынка услуг нового поколения необходим прозрачный и удобный механизм совершения плате150
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
жей в реальном времени – платежная платформа, которую можно
применять в различных сетях связи и в Интернете. В некоторых странах преимущества мобильных платежей уже успешно используются,
обеспечивая ускоренное развитие рынка новых услуг.
Обеспечение деят ельност и операт оров вирт уал ьных сет ей подвижной связи. Ассоциация 3G провела исследования по проблематике совместного использования сетей сотовой связи,
которое стало в повестку дня европейских стран из-за желания способствовать ускоренному формированию рынка новых услуг после выдачи
операторам 3G-лицензий. Уже тогда был поставлен вопрос о всестороннем изучении под практическим углом зрения возможности применения
этого опыта с учетом особенностей России. Ведь, чтобы организовать
движение транспортных средств, их владельцам незачем сооружать
свои собственные дороги, когда есть возможность пользоваться магистралями совместно, договариваясь о взаиморасчетах. Сегодня свидетельством успешной реализации одного из возможных вариантов совместного использования сетей является появление и быстрое развитие во
многих странах операторов виртуальных сетей подвижной связи
(BCHC)-MVNO.
В мире название MVNO закрепилось за операторскими компаниями подвижной связи, которые не обладают собственным радиочастотным ресурсом и, соответственно, не имеют подсистемы базовых станций.
Такие операторы на договорных началах используют инфраструктуру
оператора классического типа, который выступает в качестве базового
оператора. В связи с повышенной себестоимостью использования сети
для оператора ВСПС становится важным предоставлять персонализированные услуги, сосредотачивая свое внимание на определенных группах
абонентов и максимально учитывая их потребности в новых услугах
[73].
Взаимодействие поставщиков контента с операторами.
Ассоциация 3G приступила к практическому осуществлению давнего
замысла объединить организационные и интеллектуальные возможности
тех, кто избрал предметом своей деятельности наполнение сетей связи
содержанием (контентом) [74]. Вступление в Ассоциацию 3G поставщиков и агрегаторов контента дает возможность сделать весьма содержательной разработку основных принципов взаимодействия поставщиков
контента с операторами сетей связи. Это будет еще одним шагом к претворению в жизнь разработанной Ассоциацией 3G и одобренной государственным регулятором Концепции формирования рынка услуг связи
третьего поколения.
Предполагается рассмотреть проблемы во взаимоотношениях
участников рынка контент-услуг и предложить пути их решения с уче151
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
том отечественного и зарубежного опыта, подготовить рекомендации в
следующих областях:
 экономические, технологические и юридические модели
взаимодействия операторов и поставщиков услуг;
 способы взимания платы с потребителей услуг, взаимодействие с платежными системами;
 методы снижения рисков операторов сетей связи;
 защита авторских прав и методы защиты прав потребителей;
 информационная безопасность предоставления контентных услуг.
Научное сопровождение Ассоциацией 3G проводимых исследований должно обеспечить тесное взаимодействие всех участников
рынка новых услуг: операторов сетей сотовой связи, поставщиков
контента, сервис-провайдеров, научных центров, органов законодательной и исполнительной власти, других заинтересованных сторон.
Как предполагается, практическая реализация результатов работы будет способствовать созданию условий для развития добросовестной
конкуренции: лучшие контент-услуги будут определяться рыночным
спросом на них. Это приведет к быстрому увеличению числа поставщиков услуг с одновременным расширением спектра предоставляемых услуг и повышением их качества.
Развитие рынка новых услуг будет стимулировать развитие экономики и повышение конкурентоспособности России на мировом рынке,
обеспечит привлечение капиталов, позволит сдержать «утечку мозгов»,
создать новые рабочие места и удвоить ВВП.
Внедрение мобильного цифрового телевидения. Услугой,
обладающей большим потенциалом, является мобильное телевидение,
которое позволяет просматривать прямые трансляции телепрограмм с помощью мобильного терминала. При внедрении мобильного телевидения
возникают следующие задачи [75]:
 определение принципов взаимодополнения сетей сотовой связи
и телевизионного вещания;
 использование многомодовых терминалов;
 выделение радиочастотного ресурса.
Реализация уникальных отечественных разработок может
ускорить внедрение мобильного телевидения не только в России, но
и в мире. Для решения вопросов взаимодополняющего развития сетей
цифрового телевизионного вещания и сотовой связи в Ассоциации 3G
создана специальная рабочая группа. Планируется на основе результатов анализа современного этапа развития систем мобильного телевидения обосновать возможные способы их сопряжения с существующими и перспективными сетями сотовой связи и во взаимодействии
со всеми заинтересованными сторонами разработать Концепцию развития мобильного телевидения в Российской Федерации. В дальней152
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
шем предполагается развертывание и опытная эксплуатация фрагмента сети мобильного телевидения [76, 77].
По результатам исследований будут разработаны предложения
по нормативно-правовому регулированию в области предоставления
услуг мобильного телевидения. В сферу деятельности рабочей группы
входит также организация сотрудничества с отечественными и зарубежными производителями аппаратно-программных средств, с ведущими теле- и радиовещательными компаниями страны, с поставщиками контента и услуг.
Контрольные вопросы
1. Каковы предпосылки IT-революции?
2. С какими проблемами сталкивается теоретическая информатика в своем развитии?
3. Что такое NP-задачи?
4. В чем суть концепции трансформационной машины?
5. Какова роль языков логики и теории алгоритмов в развитии
приложений информатики?
6. Что способствовало переходу к параллельному программированию?
7. Каковы новые направления современной теории ЭВМ?
8. Что такое численные методы и каковы тенденции их
развития?
9. Какие научные школы занимались и занимаются проблемами теории информации?
10. Чем занимается теория семантической информации?
11. Для чего используются диффузионные процессы в экономической кибернетике?
12. Что такое цепи Маркова?
13. Перечислите уровни абстрактного описания модели.
14. Какие методы моделирования вы знаете?
15. Чем занимается техническая кибернетика?
16. Перечислите основные направления развития кибернетики
в целом.
17. Возможно ли, на ваш взгляд, сымитировать деятельность
человека с помощью искусственного интеллекта и в какой степени?
18. Что такое когнитивные системы?
19. Какие существуют тенденции и проблемы развития ЭВМ
и вычислительных систем?
20. Что составляет элементную базу информатизации? Можно
ли к этой категории отнести людей, занятых в сфере ИТ?
153
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
21. Какие парадигмы программирования вы знаете?
22. В чем заключается функциональное программирование?
23. Какой математический аппарат используется в функциональном программировании?
24. В чем состоит особенность парадигмы логического программирования?
25. Какие языки логического программирования вы знаете
и каковы их особенности?
26. Опишите характерные черты структурного программирования.
27. Какие структуры программ используются в структурном
подходе?
28. В чем заключается объектно-ориентированный подход
в программировании?
29. Приведите пример класса.
30. Что такое компонентно-ориентированное программирование?
31. Что такое САПР, АСТПП, АСУП, АСУ ТП, АСНИ, ИПС,
САНЭ?
32. Чем характеризуется Transparent Factory?
33. Какие технологии являются основой развития ИТ?
34. В чем основное различие и сходства концепций эволюции
систем электросвязи?
35. Какие технологии телекоммуникаций вы знаете?
36. Какие услуги в области телекоммуникаций могут получить
наиболее широкое применение?
37. Каковы перспективы внедрения мобильного телевидения?
154
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ЛИТЕРАТУРА
К главе 1
1. Системная информатика: Методы и модели современного
программирования: сб. науч. тр. / З. В. Апанович [и др.]; под ред. А.Г.
Марчука; [предисл. А.Г. Марчук, В.А. Непомнящий и др.]; Рос. акад.
наук, Сиб. отд-ние, Ин-т систем информатики имени А.П. Ершова –
Новосибирск: Издательство СО РАН, 2006. – Вып. 10. – 244 с.
2. Goncharov S.S., Ershov Yu.L., Sviridenko D.I. Semantic programming // Information processing: Proc. IFIP 10-th World Comput.
Congress. – Dublin, 1986. – Vol. 10. – P. 1093-1100.
3. Goncharov S.S., Ershov Yu.L., Sviridenko D.I. Semantic foundations of programming // Lect. Notes Comput. Sci. – 1987. – Vol. 278. –
P. 116-122.
4. Манцивода, А.В. Язык Флэнг и обработка XML-документов
/А.В. Манцивода // Научный сервис в сети Интернет-2004: тр. Всерос.
научной конф. – М.: Изд-во МГУ, 2004. – С. 236-239 (Электронная
версия http://www.teacode.com/public/abrau-2004-l.txt).
5. Веб-страница Флэнг-проекта [Электронный ресурс]. – Режим доступа: http://teacode.com/flang, 2002-2004.
6. Web-страница системы МЕТА: документация и дистрибутив ранней версии [Электронный ресурс]. – Режим доступа:
http://teacode.com/meta, 2004.
7. Манцивода, А.В. МЕТА: разработка метаописаний образовательных ресурсов /А.В. Манцивода, А.А. Малых// Телематика'2003:
тр. Всерос. конф. – СПб., 2003. – С. 169-170.
8. Малых, А.А. Система МЕТА и открытые модели знаний
/А.А. Малых, А.В. Манцивода// Научный сервис в сети Интернет2004: тр. Всерос. научной конф. – М.: Изд-во МГУ, 2004. – С. 173-175
(Электронная версия http://www.teacode.com/public/abrau-2004-2.txt).
9. Малых, А.А. МЕТА: метаописания и образовательные пакеты /А.А. Малых, А.В. Манцивода// Телематика'2004: тр. Всерос.
конф. – СПб., 2004. – С. 552-553.
10. Открытое образование: стандартизация описания информационных ресурсов / Е.И. Горбунова, С.Л. Лобачев, А.А. Малых и др.;
отв. ред. С.Л. Лобачев и А.В. Манцивода. – М.: РИД «Альфа»
МГОПУ им. М.А. Шолохова, 2003. – 215 с.
11. Основы открытого образования / А.А. Андреев, Е.И. Горбунова, С.Л. Лобачев и др.; отв. ред. В.И. Солдаткин. – М.: Российский государственный институт открытого образования; НИИЦ РАО,
2002. – Т. 4. – 640 с.
155
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
12. Манцивода, А.В. Электронные учебные материалы: стандарты и решения /А.В. Манцивода, А.А. Малых, А.В. Петухин// Телематика'2002: тр. Всерос. конф.– СПб., 2002. – С. 85-86.
13. Манцивода, А.В. Порталы, обработка структурированной
информации и языки искусственного интеллекта /А.В. Манцивода,
В.А. Петухин// Телематика'2003: тр. Всерос. конф. – СПб., 2003. –
С. 168-169.
14. Нартов, Д.С. Онлайновая консультация по математике /Д.С.
Нартов, О.А. Романова, Н.О.Стукушин// Телематика'2003: тр. Всерос.
конф. – СПб., 2003. – С. 203-205.
15. Горбунова, Е.И. Подход к стандартизации в информационно-образовательной среде открытого образования /Е.И. Горбунова,
С.Л. Лобачев, А.А. Малых, А.В. Манцивода// Телематика'2003:
тр.
Всерос. конф. – СПб., 2003. – С. 423-425.
16. Манцивода, А.В. Метаописания и логическая структура
электронных образовательных ресурсов /А.В. Манцивода, А.А. Малых// Новые инфокоммуникационные технологии: достижения, проблемы, перспективы: тр. Международного форума. – Новосибирск,
2003. – С. 73-77.
17. Манцивода, А.В. Математические формулы и электронные
образовательные ресурсы /А.В. Манцивода, В.В. Липовченко, А.А.
Малых// Новые инфокоммуникационные технологии: достижения,
проблемы, перспективы: тр. Международного форума. – С. 78-84.
18. Манцивода А.В., RTF, LaTeX и логическая разметка документов /А.В. Манцивода, В.А. Петухин, М.И. Шивторов // Телематика'2004: тр. Всерос. конф. – СПб., 2004. – С. 108-109.
19. Липовченко, В.А. Трансляция математических формул из
документов MS WORD в стандартный формат /В.А. Липовченко, А.В.
Манцивода// Телематика'2004: тр. Всерос. конф. – СПб., 2004. – С.
107-108.
20. Куроптев, А.А. Изображение математических формул в
формате MathML /А.А. Куроптев, А.В. Манцивода// Телематика'2004:
тр. Всерос. конф. – СПб., 2004. – С. 110.
21. Малых, А.А. QTI-плейер: онлайновый сервис поддержки тестирования /А.А. Малых, А.В. Манцивода, О.А. Романова, Н.О. Стукушин// Телематика'2004: тр. Всерос. конф. – СПб., 2004. – С. 555-556.
22. Манцивода, А.В. Сплан: «человеко-ориентированный» язык
для построения формальных онтологии и спецификаций /А.В. Манцивода. – Иркутск: 2004. – 55 с. – (Препр. / Иркутский государственный
университет).
23. Semantic Web activity. – http://www.w3.org/2001/sw/
24. World Wide Web Consortium. – http://www.w3.org
25. Uniform Resource Identifiers (URI): Generic Syntax. 1998. –
http://www.ietf.org/rfc/rfc2396.txt
156
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
26. Спецификация Unicode [Электронный ресурс]. – Режим доступа: http://www.unicode.org/
27. Extensible Markup Language (XML) 1.0 (Third Edition). W3C
Recommendation 04 February 2004. – http://www.w3.org/TR/2004/RECxml-20040204
28. St. Laurent S. XML: A Primer. 2nd ed. – Foster City, CA: M &
T Books, 1999.
29. XML Schema Part 2: Datatypes, W3C Recommendation, World
Wide Web Consortium, 2 May 2001. – http://www.w3.org/TR/2001/RECxmlschema-2-20010502/
30. Web Ontology Working Group. – http://www.w3.org/2001/sw/WebOnt/
31. OWL
Web
Ontology Language.
Overview.
–
http://www.w3.org/TR/2004/REC-owl-features-20040210/
32. Horrocks I., Patel-Schneider P., van Harmelen F. From SHIQ and
RDF to OWL: The making of a Web Ontology Language. –
http://www.cs.man.ac.uk/horrocks/Publications/download/2003/HoPH03a.pdf
33. Connolly D., van Harmelen F., Horrocks I. et al. DAML+OIL
(March 2001) reference description. W3C Note, 18 December 2001. –
http://www.w3.org/TR/2001/NOTE-damH-oil-reference-20011218
34. Sowa J. F. Ontology, Metadata, and Semiotics. –
http://users.bestweb.net/ sowa/peirce/ontometa.htm
35. Berners-Lee Т., Hendler J., Lassila O. The Semantic Web // The
Scientific American. – 2001. – Vol. 284(5). – P. 35-43.
36. Lassila O., Swick R. R. Resource Description Framework
(RDF) Model and Syntax Specification. W3C recommendation, Feb. 1999.
– http://www.w3.org/TR/1999/REC-rdf-syntax-19990222
37. Brickley D., Guha R. V. Resource Description Framework
(RDF) Schema Specification. W3C proposed recommendation, Mar. 1999. –
http://www.w3.org/TR/1999/PR-rdf-schema-19990303
38. RDFCore: Resource Description Framework (RDF) Schema Specification 1.0. – http://www.w3.org/2001/sw/RDFCore/Schema/20010618/
39. Champin P.-A. RDF Tutorial. 2001. – http://www710.univlyonl.fr/ champin/rdf-tutorial/
40. Пространства имен в XML [Электронный ресурс]. – Режим
доступа: http://www.w3.org/TR/REC-xml-names (Пер.: http://www.rol.ru/
/news/it/helpdesk/xnamsps.htm).
41. Dublin Core Metadata Initiative (Дублинское ядро: инициативная группа по метаописаниям) [Электронный ресурс]. – Режим доступа: http://dublincore.org
42. Hillmann D. Using Dublin Core. Dublin Core Metadata Initiative. – http://dublincore.org/documents/2003/08/26/usageguide
43. Dublin Core Projects. – http://dublincore.org/projects
44. Lagoze K. Keeping Dublin Core Simple. Cross-Domain. Dis157
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
covery or Resource Description? // D-Lib Magazin. – 2001. – Vol. 1. –
http://www.dlib.org/dlib/january01/lagoze/011agoze.html
45. Baker T. A Grammar of Dublin Core. – D-Lib Magazin. – 2000.
– Vol. 10. – http://www.dlib.org/dlib/october00/baker/10baker.html
46. DCMI Metadata Terms [Электронный ресурс]. – Режим доступа: http://dublincore.org/documents/dcmi-terms/
47. Guidelines for implementing Dublin Core in XML
[Электронный ресурс]. – Режим доступа:
http://dublincore.org/
/documents/dc-xml-guidelmes/
48. Universal Decimal Classification Consortium [Электронный
ресурс]. – Режим доступа: http://www.udcc.org
49. Проект TeaCode UDC [Электронный ресурс]. – Режим доступа: http://teacode.com/online/udc/
50. Информационная безопасность систем организационного
управления. Теоретические основы: в 2 т. / Н.А. Кузнецов, В.В. Кульба, Е.А. Микрин и др.; [отв. ред. Н.А. Кузнецов, В.В. Кульба]; Ин-т
проблем передачи информ. РАН. – М.: Наука, 2006. – Т.1. – 495 с.
51. ГОСТ 34.003-90. Информационная технология. Комплекс
стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения [Электронный ресурс]. – Режим доступа: http://www.admhmao.ru/inform/law/gost_5.htm
52. Березовский, С.В. Реальная автоматизация реальных предприятий. Возможна ли она? [Электронный ресурс] /С.В. Березовский,
А.В. Зубенко, А.В. Кривицкий. – Режим доступа: http://www.bkg.ru.
53. Захарушкин, В.Ф. Особенности создания информационного
обеспечения корпорации [Электронный ресурс] /В.Ф. Захарушкин. –
Режим доступа: http://zhurnal.ape.relarn.ru/articles/2003/062.pdf
К главе 2
1. Ломоносовские чтения-2006: сборник докладов научной
конференции «Россия в XXI в. и глобальные проблемы современности» МГУ им. М.В. Ломоносова. – М., 2006. – С. 238, 596.
2. Доктрина информационной безопасности Российской Федерации // Российская газета. – 2000. – 28 сентября.
3. О текущей ситуации развития промышленного производства (январь-декабрь) [Электронный ресурс]. – Режим доступа:
http://www.minprom.gov.ru/activity/light/stat/8
4. Федеральная целевая программа «Развитие электронной
компонентной базы и радиоэлектроники» на 2008 – 2015 годы: утверждена Постановлением Правительства Российской Федерации от 26
ноября 2007 г. № 809 [Электронный ресурс]. – Режим доступа:
http://www.fasi.gov.ru/fcp/electro/fzp.doc
158
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
5. Голышко, А. Новый век сотовой связи /А. Голышко// Радио.
– 2001. – № 1. – С.70 – 71.
6. Рынок бытовой техники в России: текущее состояние и
перспективы развития [Электронный ресурс]. – Режим доступа:
http://planovik.ru/mark/research/36/562949953426636.html
7. Россия наращивает производство бытовой техники и электроники
[Электронный
ресурс].
–
Режим
доступа:
http://www.finmarket.ru/z/nws/news.asp?rid=1&fid=6522&id=758844&ref
=AnketaOrg
8. Рогожин, М.Ю. Справочник по делопроизводству /М.Ю.
Рогожин. – М.: Юстицинформ, 2005.
9. О первичных учетных документах. Постановление правительства от 8 июля 1997 г. № 835 [Электронный ресурс]. – Режим доступа: http://nalog.consultant.ru/doc15087
10. Общероссийский классификатор управленческой документации ОК 011-93: утв. Постановлением Госстандарта РФ от 30 декабря 1993 г. № 299. Russian Classification of Management Documentation
(с изменениями 1/96, 2/98, 3/98, 4/99, 5/99, 6/2000, 7/2000, 8/2000,
9/2001, 10/2001, 11/2001, 12/2001, 13/2001, 14/2002, 15/2002, 16/2002,
17/2002, 18/2003, 19/2003, 20/2003, 21/2004, 22/2004, 23/2005, 24/2005,
25/2005, 26/2005, 27/2005, 28/2005, 29/2006, 30/2006, 32/2006) [Электронный ресурс]. – Режим доступа: http://base.consultant.ru/cons/
/cgi/online.cgi?req=doc;base=LAW;n=70591
11. Фрадков, М. Федеральная целевая программа «Развитие
инфраструктуры наноиндустрии в Российской Федерации на 2008 –
2010 годы» (утверждена Правительством РФ 2 августа 2007 г. № 498)
[Электронный ресурс] / М. Фрадков. – Режим доступа: http://mon.gov.ru/
/dok/prav/nti/4035/
12. Программа координации работ в области нанотехнологий и
наноматериалов в Российской Федерации (одобрена Правительством РФ
25 августа 2006 г., № 1188-р) [Электронный ресурс]. – Режим доступа:
http://www.portalnano.ru/read/documents/government/1188_06/1188_06_1
13. Рахманов, М. Электроника России: «восстановить нельзя
похоронить» [Электронный ресурс] / М. Рахманов. – Режим доступа:
http://www.microbot.ru/modules/Static_Docs/data/zoo/040531_cnews_the
_state_of_russian_electronic/index.htm
14. Христенко, В.Б. Приказ Министерства промышленности
и энергетики РФ от 7 августа 2007 г. № 311 «Об утверждении Стратегии развития электронной промышленности России на период до 2025
года» [Электронный ресурс] / В.Б. Христенко. – Режим доступа:
http://ruspravo.org/list/44779/1.html
159
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
15. Чубуков, А. Новая электроника России: тенденции развития
[Электронный ресурс] / А. Чубуков. – Режим доступа:
http://www.isbox.ru/content/news/index.php?news=2789
16. Гражданский кодекс Российской Федерации (ГК РФ). Часть
первая от 30 ноября 1994 г. № 51-ФЗ, часть вторая от 26 января 1996 г. №
14-ФЗ, часть третья от 26 ноября 2001 г. № 146-ФЗ и часть четвертая от 18
декабря 2006 г. № 230-ФЗ (с изменениями и дополнениями) [Электронный ресурс]. – Режим доступа: http://base.garant.ru/10164072/
17. Указ Президента Российской Федерации от 9 марта 2004 г.
№ 314 «О системе и структуре федеральных органов исполнительной
власти»; Постановление Правительства РФ от 7 апреля 2004 г. № 178
«Об утверждении Положения о Федеральной службе по интеллектуальной собственности, патентам и товарным знакам» [Электронный
ресурс]. – Режим доступа: http://www.intelpress.ru/lib.htm
К главе 3
1. Теоретические
основы
развития
информационнотелекоммуникационной среды (организационно-правовые и социокультурные аспекты) /Д.С. Мишин, С.В. Скрыль, О.В. Третьяков, А.В.
Чуев. – Орел: ОрЮИ МВД России, 2005. – С.183, 192.
2. Шляхтина, С. Рынок информационных технологий в 2005 –
2007 годах: цифры, тенденции, прогнозы [Электронный ресурс] / С.
Шляхтина. – Режим доступа: http://www.compress.ru/article.aspx?id=
=17113&iid=792
3. Заседание президиума Государственного совета «Об информационных и коммуникационных технологиях в Российской Федерации»
[Электронный
ресурс].
–
Режим
доступа:
http://www.kremlin.ru/ /text/appears2/2006/02/16/103997.shtml
4. Концепция формирования информационного общества
в России: одобрена решением Государственной комиссии по информатизации при Государственном комитете Российской Федерации по
связи и информатизации от 28 мая 1999 г. № 32 [Электронный ресурс]. – Режим доступа: http://www.iis.ru/library/riss/
5. Зубков, В. Федеральная целевая программа «Развитие электронной компонентной базы и радиоэлектроники» на 2008 – 2015 годы:
утверждена Постановлением Правительства Российской Федерации от 26
ноября 2007 г. № 809 [Электронный ресурс] / В. Зубков. – Режим доступа:
http://www.businesspravo.ru/Docum/DocumShow_DocumID_132737.html
6. Чубуков, А. Новая электроника России: тенденции развития
[Электронный ресурс] / А. Чубуков. – Режим доступа:
http://www.isbox.ru/content/news/index.php?news=2789
160
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
7. Солонин, В. Российский телеком: слияния и поглощения
2007 [Электронный ресурс] / В. Солонин. – Режим доступа:
http://www.cnews.ru/reviews/free/telecom2007/articles/records_telecom.shtml
8. Стратегия развития информационного общества в Российской Федерации: утверждена Распоряжением Президента Российской
Федерации от 7 февраля 2008 г. № Пр-212 [Электронный ресурс]. –
Режим доступа: http://www.ifap.ru/ofdocs/rus/sdisr.htm
9. Доклад о результатах и основных направлениях деятельности Министерства промышленности и энергетики Российской Федерации на 2007-2009 годы [Электронный ресурс]. – Режим доступа:
http://www.minprom.gov.ru/ministry/dep/eapp/report/2
10. Аналитический вестник № 5 «Возможные пути возрождения электроники в России» / Аналитическое управление Аппарата
Государственной Думы. – М., 2008.
11. Палташев, Т. Гражданская электроника как основа инновационной экономики России. Взгляд из Кремниевой долины [Электронный
ресурс] / Т. Палташев. – Режим доступа: http://www.promved.ru/
/articles/article.phtml?id=1115&nomer=41
К главе 4
1. Hayek FA. The Use of Knowledge in Society // American Economic Review. 1945. Sept.
2. Schiller D. Digital Capitalism: Networking the Global Market
System. Wiley, 1999.
3. Lynch D.C., Heeter L. Digital Money: The New Era
of Internet Commerce. 1995.
4. Перминов, С. Б. Современные рыночные технологии/ С.Б.
Перминов. – М.: ЦЭМИ РАН, 1998.
5. Когда же появится единая глобальная информационная
инфраструктура // Компьютерик. – 1996. – № 9. – С. 22-23.
6. Некоторые аспекты формирования информационных ресурсов в России // Информационные ресурсы России. – 2001. – №1. – С.7–
11.
7. Электронная экономика: от информационных ресурсов до
электронного бизнеса // Информационные ресурсы России. – 2000. –
№ 6. – С. 15-18.
8. Специализированные маркетинговые исследования
(Ad-Hoc)
[Электронный
ресурс].
–
Режим доступа:
http://www.romir.ru/products/spheres/marketing/
9. Аналитический отчет «Основные тенденции в области защиты конфиденциальных данных от утечки информации ILDP на российском рынке» [Электронный ресурс]. – Режим доступа:
http://leta.ru/ildp_research
161
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
10. Аналитический отчет «Навстречу переменам: рынок информационной безопасности 2007 – 2008» [Электронный ресурс]. –
Режим доступа: http://leta.ru/http://leta.ru/research2008
К главе 5
1. Автоматизация
индексирования
и
реферирования
документов // Информатика. Сер. «Итоги науки и техники». – М.:
ВИНИТИ, 1983. – Т. 7. – 246 с.
2. Блюменау, Д.И. Формализованное реферирование с использованием словесных клише (маркеров) /Д.И. Блюменау, Н.И. Гендина,
И.С. Добронравов, Д.Г. Лахути, В.П. Леонов, Е М.Федоров// НТИ. –
Сер. 2. – 1981. – № 2. – С. 16 – 20.
3. Дувихин, B.B. Конкурентная разведка в Интернет / В.В.
Дувихин. – М.: ACT, 2004. – 229 с.
4. Горькова, В.И. Реферат в системе научной коммуникации.
Направления совершенствования лингвистических и структурных
характеристик /В.И. Горькова, Э.Л. Борохов// Информатика. Сер.
«Итоги науки и техники» – М.: ВИНИТИ,1987. – Т.11. – 232 с.
5. Кириченко, К.М. Обзор методов кластеризации текстовых
документов [Электронный ресурс] / К.М. Кириченко, М.Б. Герасимов
// Диалог'2001: материалы международной конференции. – Режим
доступа: http://www. dialog-21. ru/Archive/2001/volume2/2_26.htm.
6. Ландэ, Д.В. Агенты новостей в сети Интернет /Д.В. Ландэ//
CHIP/Украина. – 2001. – № 5. – С. 108 – 111.
7. Ландэ, Д.В. WAP: прибытие вовремя /Д.В. Ландэ//
СHIР/Украина. – 2002. – № 3. – С. 86 – 90.
8. Ландэ, Д.В. Информационно-поисковый сервер InfoReS для
работы в среде WWW /Д.В. Ландэ, В.Ю. Зубок// Компьютеры плюс
программы. – 1996. – № 5. – С. 65-69.
9. Михайлов, А.Л. Основы информатики /А.Л. Михайлов, А.И.
Черный, Р.С. Гиляревский. – М.: Наука, 1968. – 756 с.
10. Печенкин, И.А. Информационные технологии на службе
разведки. Обзор современных программных средств обеспечения
принятия управленческих решений. Защита информации /И.А.
Печенкин// Конфидент. – 2004. – № 4. – С. 2 – 15.
11. Питц-Моултис, Н. XML: [пер. с англ.] /Н. Питц-Моултис,
Ч. Кирк. – СПб.: БХВ-Петербург, 2001. – 736 с.
12. Попов, А. Поиск в Интернете – внутри и снаружи
[Электронный ресурс] /А. Попов// Internet. – 1998. – № 2. – Режим
доступа: http://www.citf orum.ru/pp/search_03.Shtml.
13. Хан Удо, Мани Индервжиет. Системы автоматического
реферирования [Электронный ресурс] / Удо Хан, Индервжиет Мани. –
162
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Режим доступа: http://www.osp.ru/os/2000/12/067.htm.
14. Auerback F. Das Gesetz der Bevolkerungskonzentrationen //
Peterraan's Mittelungen. – 1913. – V.59. – P. 74-76.
15. Chakrabarti Soumen. Mining the web. Discovery knowledge
from hypertext data // Publisher: Morgan Kaufmann, 2002. – 344 p.
16. Goertzel B. Meaning is a fuzzy Web of patterns:
Semiotics/autonomy feedback in the Webmind Internet AI system //
Proceedings of the 1998 IEEE International Symposium on Intelligent
Control, Piscataway, NJ, USA,98CH36262, 1998. – P. 689 – 693.
17. Google Search Appliance for Intranets // Google Inc., 2004
(http://www.google.com/appliance/pdf/ds_GSA_intranets. Pdf ).
18. Graham P. A Plan for SPAM, 2002 (http://www.paulgraham.com/spam.html).
19. D. Gruhl, L. Chavet, D. Gibson, J. Meyer, P. Pattanayak,
A. Tomkins, J. Zien. How to build a WebFountain: an architecture for very
large-scale text analytics // IBM Systems Journal, March, 2004.
20. Kleinberg Jon. Bursty and Hierarchical Structure in Streams //
Data Mining and Knowledge Discovery, October 2003. – Volume 7 Issue 4.
21. Landauer Т.К., Foltz P.W., Laha. D. An introduction to Latent
semantic analysis // Discourse Processes, 1998. – Volume 25. – P. 259 – 284.
22. Mark T. Maybury. Extraction of Knowledge from Unstructured
Text // MITRE Corporation, 2001 http://www.mitre.org/work/tech
_papers/tech_papers_01/maybury_unstructured/maybury_unstructured.pdf).
23. Pareto V. Cours d'economie politique // Rouge, Lausanne et
Paris, 1897.
24. Quin Liam. Extensible Markup Language (XML) (http:
//www.w3.org/XML).
25. RFC 1625 – WAIS over Z39.50-1988. Network Working Group
Request for Comments: 1625. M. St. Pierre, J. Pullton, K. Gamiel,
J. Goldman, B. Kahle, J. Kunze, H. Morris, F. Schiettecatte, 1994
(http://www.faqs.org/rfcs/ rfcl625.html).
26. Salton G. et al. Automatic Text Structuring and Summarization //
Information Processing & Management. – 1997. – V. 33. – Ns2. –
P. 193-207.
27. Salton G., Buckley C. Improving retrieval performance by
relevance feedback // Journal of the American Society of Information
Science. – 1990. – 4 41: – P. 288-297.
28. Salton G., McGUl MJ. Introduction to Modern Information
Retrieval // New York [etc.] : McGraw-Hill, 1983.
29. Text Mining With Oracle Text // Oracle White Papers
163
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
(http://www.oracle.сom/technology/products/text/pdf/10gR1text_mining.pdf).
30. The Deep Web: Surfacing Hidden Value // BrightPlanet.com
LLC, 2000. – 35 p. (http://www.dad.be/library/pdf/BrightPlanet.pdf).
31. Ландэ, Д.В. Поиск знаний в Internet. Профессиональная
работа: [пер. с англ.] /Д.В. Ландэ. – М.: Издательский дом «Вильямс»,
2005. – 272 с.
К главе 6
1. Еременко, В.Т. Методологические, технологические и социокультурные аспекты информатики: монография /В.Т. Еременко,
С.Ю. Лачинов, О.В. Третьяков. – Орел: Изд-во ОРАГС, 2007. – 188 с.
2. Глушков, В.М. Основы безбумажной информатики / В.М.
Глушков. – М.: Наука, 1982. – 324 с.
3. Мелик-Гайказян, И. В. Информация и самоорганизация:
Методологический анализ / И.В. Мелик-Гайказян. – Томск: Изд-во
ТПУ, 1995. – 180 с.
4. Мелик-Гайказян, И.В. Информационные процессы и реальность / И.В. Мелик-Гайказян. – М.: Наука, Физматлит, 1997. – 192 с.
5. Успенский, В.А. Теория алгоритмов: основные открытия
и приложения / В.А. Успенский, А.Л. Семенов. – М.: Наука, 1987. –
288 с.
6. Семенов, А.Л. Математическая логика в вычислительных
науках и вычислительной практике / А.Л. Семенов, В.А. Успенский //
Вестник АН СССР. – 1986. – № 7. – С. 93 – 103.
7. Марков, А.А. Теория алгоритмов / А.А. Марков, Н.М.
Нагорный. – М.: Наука, 1985. – 400 с.
8. Маслов, С.Ю. Теория дедуктивных систем и ее применение
/ С.Ю. Маслов. – М.: Радио и связь, 1986. – 133 с.
9. Слисенко, А.О. Сложностные задачи теории вычислений
/А.О. Слисенко // Успехи мататических наук. – 1981. – Т. 36. – Вып. 6. –
С. 21–103.
10. Ершов, А.П. Вычислимость в произвольных областях и базисах / А.П. Ершов // Семантика и информатика. – М.: ВИНИТИ,
1982. – Вып. 19. – С. 3 – 58.
11. Глушков, В.М. Алгебра. Языки. Программирование / В.М.
Глушков, Г.Е. Цейтлин, Е.Л. Ющенко. – К.: Наук. думка, 1974. – 328 с.
12. Фрейнвалд, Р.В. Сложность вычислений на вероятностных
детерминированных односторонних машинах Тьюринга // Кибернетика и вычислительная техника. – М.: Наука, 1986. – Вып. 2. – С. 147–
179.
13. Словарь по кибернетике / под ред. В.С. Михалевича. – К.:
Глав. ред. УСЭ, 1989. – 151 с.
164
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
14. Ершов, А.П. Смешанные вычисления / А.П. Ершов // В мире науки. – 1984. – № 6. – С. 28 – 42.
15. Семенов, А.Л. Математическая логика в вычислительных
науках и вычислительной практике / А.Л. Семенов, В.А. Успенский //
Вестник АН СССР. – 1986. – № 7. – С. 93–103.
16. Красовский, Н.Н. Позиционные дифференциальные игры /
Н.Н. Красовский, Л.И. Субботин. – М.: Наука, 1974. – 456 с.
17. Яблонский, С.В. Дискретная математика и математические
вопросы кибернетики / С.В. Яблонский, О.Б. Лупанов. – М.: Наука,
1974. – Т. 1. – 312 с.
18. Глушков, В.М. Теория автоматов и формальные преобразования микропрограмм / В.М. Глушков // Кибернетика. – 1965. – № 5. –
С. 1–10.
19. Колмогоров, А.Н. Теория информации и теория алгоритмов
/ А.Н. Колмогоров. – М.: Изд-во АН СССР, 1987. – 304 с.
20. Шилейко, А.В. Введение в информационную теорию систем / А.В. Шилейко, В.Ф. Кочнев, Ф.Ф. Химушин; под ред. А.В. Шилейко. – М.: Радио и связь, 1985. – 280 с.
21. Колесник, В.Д. Курс теории информации / В.Д. Колесник,
Г.Ш. Полтырев. – М.: Наука, 1982. – 416 с.
22. Коваленко, И.Н. Случайные процессы / И.Н. Коваленко,
Н.Ю. Кузнецов, В.М. Шуренков. – К.: Наук. думка, 1983. – 365 с.
23. Розанов, Ю.А. Теория вероятностей, случайные процессы
и математическая статистика / Ю.А. Розанов. – М.: Наука, 1989. – 320 с.
24. Кухтенко, А.И. Абстрактная теория систем: современное
состояние и развитие / А.И. Кухтенко, В.Н. Семенов, В.В. Удилов //
Кибернетика и вычислительная техника. – 1972. – Вып. 15. – С. 4–22.
25. Кухтенко, А.И. Кибернетика и фундаментальные науки /
А.И. Кухтенко. – К.: Наук. думка, 1987. – 144 с.
26. Матросов, В.М. Методы сравнения в математической теории систем / В.М. Матросов, Л.Ю. Анапольский, С.Н. Васильев. – Новосибирск: Наука, 1980. – 481 с.
27. Михалевич, В.С. Вычислительные методы исследования
и проектирования сложных систем / В.С. Михалевич, В.Л. Волкович. –
М.: Наука, 1982.– 286 с.
28. Сергиенко, И.В. Моделирование и исследование процессов
в неоднородных средах / И.В. Сергиенко, В.В. Скопецкий, В.С. Дейнека. –
К.: Наук. думка, 1991. – 430 с.
29. Полтерович, В.М. Экономическое равновесие и хозяйственный механизм / В.М. Полтерович. – М.: Наука, 1990. – 256 с.
165
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
30. Кунцевич, В.М. Синтез оптимальных и адаптивных систем
управления. Игровой подход / В.М. Кунцевич, М.М. Лычак. – К.:
Наук. думка, 1985. – 248 с.
31. Бутковский, А.Г. Управление квантово-механическими
процессами / А.Г. Бутковский, Ю.И. Самойленко. – М.: Наука, 1984. – 256
с.
32. Иваненко, В.И. Проблема неопределенности в задачах принятия решений / В.И. Иваненко, А.А. Лабковский. – К.: Наук. думка,
1990. – 345 с.
33. Скурихин, В.И. Адаптивные системы управления машиностроительным производством / В.И. Скурихин, В.А. Забродский, Ю.В.
Копейченко. – М.: Машиностроение, 1989. – 208 с.
34. АСУ на промышленном предприятии: Методы создания:
справочник / С.Б. Михалев, Р.С. Сегедов, А.С. Гринберг и др. – М.:
Энергоатомиздат, 1989. – 400 с.
35. АСУТП. Теория и технология / В.И. Скурихин, В.В. Дубровский, В.Б. Шифрин и др. – К.: Наук. думка, 1988. – 284 с.
36. Романенко, В.Д. Адаптивное управление технологическими
процессами на базе микроЭВМ: уч. пособие для вузов / В.Д. Романенко, Б.В. Игнатенко. – К.: Вища шк., 1990. – 134 с.
37. Норенков, И.П. Основы теории и проектирования САПР /
И.П. Норенков, В.Б. Маничев. – М.: Высш. шк., 1990. – 335 с.
38. Кузьмичев, Д.А. Автоматизация экспериментальных исследований: уч. пособие для вузов / Д.А. Кузьмичев, И.А. Радкевич, А.Д.
Смирнов. – М.: Наука, 1983. – 391 с.
39. Вуколиков, В.М. О концепции развития автоматизации
научных исследований в 1991– 95 гг. / В.М. Вуколиков, Л.Н. Выставкин, Ю.В. Гуляев. – М.: ИРЭ АН СССР, 1988. – 21 с. – (Препр./АН
СССР. Ин-т радиоэлектроники. – № 18[493]).
40. Воробьев, Е.И. Медицинская кибернетика / Е.И. Воробьев,
А.И. Китов. – М.: Радио и связь, 1983. – 240 с.
41. Методы математической биологии: В 8 кн.: уч. пособие для
вузов / под ред. В.М. Глушкова, Ю.Г. Антомонова и др. – К.: Вища
шк., 1980–1983.
42. Иванов-Муромский, К.А. Мозг и память / К.А. ИвановМуромский. – К.: Наук. думка, 1987. – 136 с.
43. Куссуль, Э.М. Ассоциативные нейроподобные структуры /
Э.М. Куссуль. – К.: Наук. думка, 1992. – 144 с.
44. Минцер, О.П. Основы информатики вычислительной техники: учебное пособие / О.П. Минцер, И.Ю. Козачук, В.П. Лещенко. –
К.: Вища шк., 1988. – 278 с.
166
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
45. Правовая кибернетика: проблемы, направления, результаты
исследований / Д.А. Керимов, В.Н. Кудрявцев, С.С. Москвин и др. //
Кибернетику на службу коммунизму. – М.: Радио и связь, 1981. –
Т. 10. – С. 149–168.
46. Афанасьев, В.Г. Специальная информация и управление
обществом / В.Г. Афанасьев. – М.: Политиздат, 1975. – 408 с.
47. Искусственный интеллект: справочник. В 3 кн. – М.: Радио
и связь, 1990. – Кн. 1. – 461 с.; кн. 2. – 304 с.; кн. 3. – 368 с.
48. Нейрокомпьютеры и интеллектуальные роботы / под ред.
Н.М. Амосова. – К.: Наук. думка, 1991. – 272 с.
49. Поспелов, Г.С. Искусственный интеллект – основа новой информационной технологии / Г.С. Поспелов. – М.: Наука, 1988. – 280 с.
50. Мелихов, А.Н. Ситуационные советующие системы с нечеткой логикой / А.Н. Мелихов, Л.С. Бернштейн, С.Я. Коровин. – М.:
Наука, 1990. – 272 с.
51. Хорошевский, В.Г. Архитектура вычислительных систем:
учеб. пособие для вузов / В.Г. Хорошевский. – М.: Изд-во МГТУ
им. Баумана, 2005. – 512 с.
52. Хорошевский, В.Г. Инженерный анализ функционирования
вычислительных машин и систем / В.Г. Хорошевский. – М.: Радио и
связь, 1987.– 256 с.
53. Воеводин, В.В. Параллельные вычисления / В.В. Воеводин,
Вл.В. Воеводин. – СПб.: БХВ-Петербург, 2004. – 608 с.
54. Воеводин, В.В. Отображение проблем вычислительной математики на архитектуру вычислительных систем / В.В. Воеводин //
Вычислительные методы и программирование. – 2000. – Т.1. – С. 37 – 44.
55. Малиновский, Б.Н. Введение и кибернетическую технику.
Параллельные структуры и методы / Б.Н. Малиновский, В.П. Боюн,
Л.Г. Козлов. – К.: Наук. думка, 1989. – 248 с.
56. Смирнов, А.Д. Архитектура вычислительных систем / А.Д.
Смирнов. – М.: Гл. ред. Физматлит., 1990. – 320 с.
57. Каляев, А.В. Многопроцессорные системы с программируемой архитектурой / А.В. Каляев. – М.: Радио и связь, 1984. – 240 с.
58. Гринченко, Т.А. Машинный интеллект и новые информационные технологии / Т.А. Гринченко, А.А. Стогний. – К.: Наук. думка, 1993. – 168 с.
59. Хювёнен, Э. Мир Лиспа. Т.1 Введение в язык Лисп и функциональное программирование / Э. Хювёнен, И. Сеппянен. – М.: Мир,
1990.– 447 с.
60. Интернет-университет информационных технологий [Электронный ресурс] // Intuit.ru – дистанционное образование. – Режим доступа: http://www.intuit.ru
167
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
61. Дал, У. Структурное программирование / У. Дал, Э.
Дейкстра, К. Хоор. – М.: Мир, 1975. – 97 с.
62. Иванова, Г. С. Технология программирования / Г.С. Иванова: учебник для вузов / Г.С. Иванова. – 3-е изд., перераб. и доп. – М.:
Изд-во МГТУ, 2006. – 334 с.
63. Киллелиа, П. Тюнинг веб-сервера / П. Киллелиа. – 2-е изд. –
СПб.: O’Reilly, 2003. – 528 c.
64. Szyperski, C. Component Software Beyond Object-Oriented
Programming / C. Szyperski – Boston, MA: Addison-Wesley and ACM
Press, 1998.
65. Bachmann, F. Wallnau Volume II: Technical Concepts of Component-Based Software Engineering, 2nd Edition // F. Bachmann, L. Bass, C.
Buhman, S. Comella-Dorda, F. Long, J. Robert, R. Seacord.
66. Вирт, Н. Хорошие идеи, взгляд из Зазеркалья [Электронный
ресурс] / Никлаус Вирт; пер. С. Кузнецова. – Режим доступа:
http://www.citforum.ru/ /programming/digest/wirth.
67. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++ [пер. с англ.] / Г. Буч. – М.: Бином, СПб.: Невский диалект, 1998. – 468 с.
68. Брукс, Ф. Мифический человеко-месяц, или как создаются
программные системы: [пер. с англ.] / Ф. Брукс. – СПб.: СимволПлюс, 1999. – 468 с.
69. Брябрин, В.М. Программное обеспечение персональных
ЭВМ / В.М. Брябрин. – М.: Наука, 1990. – 272 с.
70. Тыугу, Э.Х. Концептуальное программирование / Э.Х. Тыугу. – М.: Наука, 1984. – 256 с.
71. Крупнов, А.Е. Перспективы формирования рынка услуг
нового поколения и операторы виртуальных сетей подвижной связи /
А.Е. Крупнов, А.И. Скородумов // Мобильные системы. – 2005. – № 6.
72. 25 лет информкоммуникационной революции / под ред.
Л.Е. Варакина. – М.: МАС, 2006. – 264 с.
73. Резников, Ш.Т. О разработке Концепции взаимодействия
поставщиков контента с операторами сетей связи / Ш.Т. Резников //
Конференция «Mobile CONTENT. Мир мобильного контента – 2005»,
23-24 июня 2005 г. – М., 2005.
74. Крупнов, А.Е. Роль мобильного телевидения в современном
мире / А.Е. Крупнов, А.И. Скородумов, В.В. Бутенко, В.К. Сарьян //
ЮНЕСКО между двумя этапами Всемирного саммита по информационному обществу: междунар. конф., 17-19 мая 2005 г. – СПб., 2005.
75. Крупнов, А.Е. Подготовка к внедрению мобильного телевидения в России / А.Е. Крупнов, А.И. Скородумов, В. В. Бутенко,
В.К. Сарьян // Конференция «Mobile CONTENT. Мир мобильного
контента – 2005», 23-24 июня 2005 г. – М., 2005.
168
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
76. Крупнов, А.Е. Перспективы внедрения и развития мобильного телевидения в России [Электронный ресурс] / А.Е. Крупнов, А.И.
Скородумов, В.В. Бутенко, В.К. Сарьян. – Режим доступа:
http://www.mobilecomm.ru/pdf/2005/mtk_06-2005.pdf
77. Калиниченко, Л.А. Машины баз данных и знаний / Л.А. Калиниченко, В. Рывкин. – М.: Наука, 1990. – 296 с.
78. Калиниченко, Л.А. Методы и средства интеграции неоднородных баз данных / Л.А. Калиниченко. – М.: Наука, 1983. – 423 с.
79. Редько, В.Н. Прикладные программные системы. Архитектура, построение, развитие / В.Н. Редько, И.В. Сергиенко, А.С. Стукало. – К.: Наук. думка, 1992. – 320 с.
80. Аврамчук, Е.Ф. Технология системного моделирования /
Е.Ф. Аврамчук, А.А. Вавилов, С.В. Емельянов; под ред. С.В. Емельянова. – М.: Машиностроение. – Берлин: Техник, 1988. – 519 с.
81. Белоногов, Г.Г. Языковые средства автоматизированных
информационных систем / Г.Г. Белоногов, В.А. Кузнецов. – М.: Наука,
1983. – 288 с.
82. Любарский, Ю.Я. Интеллектуальные информационные системы / Ю.Я. Любарский. – М.: Наука, 1990. – 232 с.
83. Концепция Transparent Factory: Web-технология в автоматизации производства – Schneider Automation Club, 7 октября 1999. – С. 22.
84. Web-технологии в промышленной автоматизации // Корпоративные системы. – 1999. – № 4. – С. 12-15.
85. Control Engineering April 1999 [Электронный ресурс]. – Режим доступа: http://www.manufacturing.net/magazine/ce/archives/1999/
/ctl0401.99/04gtu.htm
86. Кобаяси, Н. Введение в нанотехнологию: [пер. с японск.] /
Н. Кобаяси. – 2-е изд. – М.: БИНОМ. Лаборатория знаний, 2008. – 134 с.
87. Щука, А.А. Наноэлектроника / А.А. Щука. – СПб.:
БХВ-Петербург, 2008. – 752 с.
88. Форстер,
Л.
Нанотехнологии. Наука, инновации
и возможности / Л. Форстер. – М.: Техносфера, 2008. – 352 с.
89. Нано Дайджест / Интернет-журнал о нанотехнологиях
[Электронный ресурс]. – Режим доступа: http://nanodigest.ru
90. Комарцова, Л.Г. Нейрокомпьютеры: учеб. пособие для вузов / Л.Г. Комарцова, А.В. Максимов.– 2-е изд., перераб и доп. – М.:
Изд-во МГТУ им. И. Э. Баумана, 2004. – 400 с.
91. Щука, А.А. Технологии информации: от битов к кубитам
[Электронный ресурс] / А.А. Щука // CHIP News. – Режим доступа:
http://www.chip-news.ru/archive/chipnews/200208/8.html
92. Манин, Ю.И. Вычислимое и невычислимое / Ю.И. Манин. –
М.: Сов. радио, 1980. – 128 с.
93. Кадомцев, Б.Б. Динамика и информация / Б.Б. Кадомцев. –
Редакция журнала «Успехи физических наук», 1999. – 400 с.
169
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
94. Китаев, А.Ю. Классические и квантовые вычисления / А.
Ю. Китаев, А. Шень, М. Вялый. – М.: МЦНМО, 1999. – 192 с.
95. Нильсен, М. Правила для сложного квантового мира [Электронный ресурс] / М. Нильсен // В мире науки. – 2003. – № 3. Информационные технологии. – Режим доступа: http://www.sciam.ru/2003/
/3/inform.shtml.
96. Валиев, К.А. Квантовые компьютеры и квантовые вычисления [Электронный ресурс] / К.А. Валиев; Физико-технологический
институт РАН. – Москва (ФТИАН), 2005. – Режим доступа:
http://www.ufn.ru/ru/articles/2005/1/a/.
97. Валиев, К.А. Квантовые компьютеры: надежды и реальность / К.А. Валиев, А.А. Кокин. – М.: Регулярная и хаотическая динамика, 2004. – 320 с.
98. Корольков, А. Квантовая криптография, или как свет
формирует ключи шифрования // Компьютер в школе. – 1999. – № 7.
99. Чернавский, Д.С. Синергетика и информация (динамическая
теория информации) / Д.С. Чернавский. – М.: Едиториал УРСС, 2004. – 288
с.
100. Драгунов, В.П. Основы наноэлектроники / В.П. Драгунов,
И. Г. Неизвестный, В. А. Гридчин. – М.: Физматкнига, 2006. – 496 с.
101. Орликовский, А.А. Проблемы развития кремниевой транзисторной наноэлектроники / А.А. Орликовский; Московский государственный институт электронной техники: Нанотехнологии и материалы. – 2005. – С.17–29.
102. Белая книга по нанотехнологиям: Исследования в области
наночастиц, наноструктур и нанокомпонентов в Российской
Федерации (по материалам Первого Всероссийского совещания
ученых, инженеров и производителей в области нанотехнологий). –
М.: Изд-во ЛКИ, 2008. – 344 с.
103. Ратнер, М. Нанотехнология: простое объяснение
очередной гениальной идеи / М. Ратнер. – М.: Вильямс, 2006. – 240 с.
104. Центр нанотехнологий Росатома [Электронный ресурс] //
Сайт Центра нанотехнологий Росатома. – Режим доступа:
http://www.nanoportal.ru.
105. Федеральная целевая программа «Развитие инфраструктуры наноиндустрии в Российской Федерации на 2008 – 2010 годы»
[Электронный ресурс]. – Режим доступа: http://www.fasi.gov.ru/
/fcp/nano/pasport-nano.doc.
170
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Учебное издание
Фисун Александр Павлович
Еременко Владимир Тарасович
Минаев Владимир Александрович
Зернов Владимир Алексеевич
Константинов Игорь Сергеевич
Коськин Александр Васильевич
Белевская Юлия Александровна
Дворянкин Сергей Владимирович
ИНФОРМАТИКА
Ча с ть 2
О рг а низ а цио нны е
и те хнико -эко но мич е с кие о с но вы
Учебник
Редактор Т.Д. Васильева
Технический редактор Д.В. Агарков
Государственное образовательное учреждение
высшего профессионального образования
«Орловский государственный технический университет»
Лицензия ИД № 00670 от 05.01.2000 г.
Подписано к печати 14.12.2009 г. Формат 60х84 1/16.
Усл. печ. л. 10,7. Тираж 1000 экз.
Заказ № 02/11п 1
Отпечатано с готового оригинал-макета
на полиграфической базе ОрелГТУ,
302030, г. Орел, ул. Московская, 65.
171
Документ
Категория
Другое
Просмотров
623
Размер файла
3 410 Кб
Теги
информатика
1/--страниц
Пожаловаться на содержимое документа