close

Вход

Забыли?

вход по аккаунту

?

Ivakin 0B79C281D6

код для вставкиСкачать
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное
учреждение высшего профессионального образования
САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
АЭРОКОСМИЧЕСКОГО ПРИБОРОСТРОЕНИЯ
Я. А. Ивакин
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
И УПРАВЛЕНИЕ КАЧЕСТВОМ
Учебное пособие
Санкт-Петербург
2014
УДК 004.9(075)
ББК 32.81я73
И17
Рецензенты:
доктор технических наук, профессор Е. Г. Семенова (ГУАП);
доктор педагогических наук, профессор А. Я. Подкользин (ВИТУ ВАМТО)
Утверждено
редакционно-издательским советом университета
в качестве учебного пособия
Ивакин, Я. А.
И17 Информационные технологии и управление качеством/Я. Н. Ивакин. –
СПб.: ГУАП, 2014. – 76 с.
ISBN 978-5-8088-0928-4
В пособии рассматриваются вопросы, раскрывающие основное
содержание дисциплины «Информационные технологии в управлении качеством, защита информации». Особое внимание уделено освоению методик формирования систем показателей качества, а также вопросам защиты информации.
Предназначено для студентов заочной формы обучения соответствующего направления подготовки.
УДК 004.9(075)
ББК 32.81я73
Учебное издание
Ивакин Ян Альбертович
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
И УПРАВЛЕНИЕ КАЧЕСТВОМ
Учебное пособие
Редактор Г. Д. Бакастова
Компьютерная верстка Ю. А. Гайнутдинова
Сдано в набор 04.04.2014. Подписано к печати 17.09.14. Формат 60 × 84 1/16.
Бумага офсетная. Усл. печ. л. 4,4. Уч.-изд. л. 4,75. Тираж 100 экз. Заказ № 468.
Редакционно-издательский центр ГУАП
190000, Санкт-Петербург, Б. Морская ул., 67
ISBN 978-5-8088-0928-4
© Ивакин Я. А., 2014
© Санкт-Петербургский государственный
университет аэрокосмического
приборостроения, 2014
ПРЕДИСЛОВИЕ
Информационные технологии самого различного характера
и предназначения пронизывают сегодня все стороны современной
жизни, материального производства и сферы услуг. Предметная область деятельности, связанная с контролем, управлением и итоговой оценкой качества продукции и услуг не является исключением
из этого правила. Именно этим фактом определяется актуальность
изучения дисциплины «Информационные технологии в управлении качеством, защита информации» в ходе подготовки по направлению «Управление качеством». Целью преподавания дисциплины
«Информационные технологии в управлении качеством, защита
информации» является формирование у обучающегося целостной
картины современного информационного общества, места в нем
процессов информатизации управления качеством, а также потенциальных опасностей и угроз, связанных с бесконтрольным доступом к информации; развитие у обучающихся самостоятельного подхода к анализу и оценке прогресса в сфере информатизации процессов управления качеством, создания методов и средств улучшения
качества. Также к ее цели можно отнести привитие навыков аналитического и логико-информационного моделирования процессов
управления качеством и связанных с ним объектов, а так же оценки
результатов этого моделирования.
Основными задачами изучения дисциплины являются:
– овладение знаниями подходов к управлению качеством
и методами защиты информации;
– изучение основных информационных технологий в управлении качеством, а также сущности и значения информации в разви3
тии современного информационного общества; опасностей и угроз,
возникающих в этом процессе, основных требований информационной безопасности, в том числе защиты государственной тайны;
– освоение умений осуществлять мониторинг и владеть методами оценки прогресса в области улучшения качества;
– использование систем моделей объектов (процессов) деятельности,
привитие навыков выбирать (строить) адекватные объекту модели;
– использование основных прикладных программных средств
и информационных технологий, применяемых в сфере профессиональной деятельности;
– ознакомление с примерами применения знаний и подходов
к управлению качеством.
В настоящем пособии дается систематизированное описание научно-обоснованных подходов к решению теоретических задач информатизации процесса оценки качества, путей и методов практического достижения роста эффективности управления качеством
в различных сферах деятельности.
Учебное пособие ориентировано на использование студентами заочной формы обучения в процессе освоения дисциплины «Информационные технологии в управлении качеством, защита информации» при обучении по направлению подготовки «Управление качеством». Теоретический материал и терминалогический словарь пособия могут быть использованы при освоении студентами заочной
формы обучения дисциплины «Автоматизированные системы контроля качества».
4
ВВЕДЕНИЕ
Текущий и прогнозируемо-перспективный уровень развития автоматизированных систем управления технологическими процессами,
производствами, корпоративных информационных систем предполагает включение в их состав прикладного программного обеспечения
(ПО) контроля и управления качеством продукции и услуг, представляющего собой ядро аппаратно-программных инструментальных
средств реализации соответствующих информационных технологий
в целях обеспечения адекватного уровня этого качества. Разработка
и внедрение ПО для квалиметрии производства товаров и услуг представляет собой наукоемкий вид проектной деятельности, сложность
которого определяется необходимостью моделирования не только
объективных характеристик собственно производимой продукции
(стоимость, экономичность и т. п.), но и субъективного человеческого
фактора, определяемого квалификацией и психофизиологическим
состоянием как инженера по качеству, так и конечного потребителя. Многообразие возможных вариантов квалиметрического анализа и необходимость учета человеческого фактора обусловливает необходимость формализации наиболее общих процедур по формированию систем показателей качества и расчету значений сводных и интегрального показателей качества. Представленные в данном учебном
пособии логико-математические описания таких процедур, оформленные как соответствующие методики, в своей совокупности образуют последовательный комплекс квалиметрических методик синтеза систем формализованных показателей качества.
Первая глава посвящена математическому аппарату, используемому при разработке соответствующего математического и прикладного ПО управления качеством.
Во второй главе пособия приведены краткие и наиболее востребованные сведения по категориям и базовым научно-технологическим
понятиям, нашедшим широкое применение в автоматизированных
системах обработки информации при управлении качеством.
Предлагаемый в данном учебном пособии подход к использованию различных аналитических методик для формализации процедур формирования систем показателей качества, квалиметрического анализа продукции, услуг предусматривает эффективное комплексирование этих методик и возможность реализации в ПО, что
позволяет говорить о его универсальности и широкой практической
применимости.
5
1. ОСНОВНОЙ ИНСТРУМЕНТАРИЙ АВТОМАТИЗАЦИИ ОЦЕНКИ КАЧЕСТВА
В соответствии с действующими нормативно-техническими документами, под качеством принято понимать совокупность свойств, обусловливающих пригодность удовлетворять определенным потребностям в соответствии с назначением. Также вышеуказанные стандарты
позволяют определить специфические свойства оцениваемых объектов, которые могут проявляться при их разработке или реализации.
Эти свойства определяют различные возможности объектов. Таким
образом, качество любого объекта следует рассматривать как совокупность свойств, оцениваемых интегральным показателем. Его декомпозиция на составляющие частные показатели позволяет оценивать степень проявления конкретных свойств, определяющих качество.
Оценка качества конкретных образцов изделий, явлений, процессов осложняется отсутствием общепринятых определений частных показателей, связанных с разработкой, использованием и сопровождением этих продуктов. Разными авторами предлагаются
различные наборы частных показателей и их метрик, т. е. мер проявления определенных свойств. Однако основной трудностью является сложность учета взаимосвязей свойств, часто имеющих противоположную направленность. Другие трудности связаны с тем, что
метрики качества обычно являются лишь неполными мерами соответствующих свойств, часто определяются лишь косвенным путем
и не всегда поддаются измерению.
На основе анализа существующего состояния в области оценки
качества сделаны следующие выводы:
1) не всегда соответствуют критерии качества объекта оценки потребностям и приоритетам предполагаемого пользователя;
2) не существует одной общей метрики, которая могла бы дать
универсальную полезную оценку качества вообще и конкретных
видов объектов в частности;
3) в лучшем случае предполагаемый пользователь может получить полезную оценку путем предоставления системе оценивания
качества полного множества контрольных списков и приоритетов;
4) так как методы оценки качества не являются исчерпывающими, полученная интегрированная оценка всегда будет иметь приблизительный характер.
Таким образом, в настоящее время методы оценки качества лучше всего применять как индикаторы отдельных недостатков, кото6
рые могут использоваться в качестве ориентиров для проектирования, разработки, приобретения и сопровождения соответствующих
образцов продукции.
Предложить универсальную совокупность частных показателей, составляющих интегральный показатель «качество», не представляется возможным. Этот факт вытекает из определения качества: в каждой конкретной предметной области применения существуют свои потребности в тех или иных свойствах применяемых
видов одной и той же продукции и свое представление о ее качестве.
Следовательно, создать универсальную многоуровневую декомпозицию качества на составляющие его свойства на практике невозможно. Но возможно предложить подход, который позволил бы для
каждого конкретного случая эффективно синтезировать совокупность частных показателей, адекватную области применения соответствующего вида продукции.
Суть этого подхода заключается в сведении в единую сеть всех
требований к объекту оценки и в обоснованном выборе на полученной сети аналитической формы интегрального показателя качества. В соответствии с принципами самой процедуры квантификации такая сеть будет иметь иерархическую структуру. В свою
очередь, наличие иерархической структуры показателей в каждом
конкретном случае позволит провести оценку качества путем выявления значений показателей у оцениваемого объекта и их дальнейшего агрегирования.
Следовательно, формирование комплекса методик синтеза системы показателей для оценки качества заключается:
1) в обосновании вида интегрального показателя качества на основе иерархической сети частных показателей,
2) разработке процедуры агрегирования частных показателей
в интегральный показатель.
Применение этого комплекса методик обеспечивает:
1) синтез иерархической сети частных показателей качества;
2) оценку значимости (веса) каждого из частных показателей для
соответствующего интегрального показателя более высокого уровня иерархии с учетом нечеткости исходной информации;
3) оценку значения каждого из частных показателей с учетом нечеткости исходной информации;
4) свертку иерархической структуры частных показателей в интегральный показатель качества с учетом значений и веса всех частных показателей.
7
Разрабатываемый комплекс методик представляет собой инструментарий, обеспечивающий автоматизацию оценки качества. Его
разработка основывается на методологии оценки качества Боэма
и ее развитии для системы стандартов ИСО 9000. Суть методологии
Боэма заключается в том, что исходный набор частных показателей
с субъективно назначенными и между собой не упорядоченными весами оценивается экспертами, после чего путем линейной свертки
определяется интегральное значение качества.
Суть предлагаемого направления развития методологии Боэма
состоит в обосновании возможности и разработке процедур ее применения не только для решения задачи оценки качества, но и для
задачи выявления отдельных недостатков (аномалий) оцениваемого
объекта, явления, процесса.
Входными данными комплекса методик являются:
 k

– матрицы предпочтений  aij , i, j, k ∈ N  k-го эксперта на се

мействе показателей качества;
– множество значений оценок частных показателей качества {Ci}
в числовой {yi} и лингвистической форме y i ;


– множество матриц парных сравнений  Vijl , l, i, j ∈ N  для L


{ }
декомпозируемых групповых показателей качества.
К выходным данным относят:
– формализованное описание сети показателей качества G;
G
G
Vij1
aijk
1. Построение
иерархической сети
показателей
G
качества
G
{ yˆ i}
2. Учет нечеткости
исходной
информации
G+
Yp
Yp
3. Определение
значения
интегрального
показателя качества
Yp
ˆ
Y
p
ˆ i)
y(C
Процедура оценки качества
Рис. 1.1. Обобщенная процедура оценки качества
8
y(Ci)
– значения оценки качества в числовой YP и лингвистической
YˆP формах;
– значения оценок качества композиционно сложных показателей (свойств) Сi в числовой y(Сi) и лингвистической yˆ(Ci ) формах.
Обобщенно структуру процедуры оценки качества можно представить в виде, приведенном на рис. 1.1.
Перед изложением содержания предлагаемых методик в целях исключения неоднозначности приводимых ниже формулировок представляется целесообразным определиться с трактовкой терминов, применяемых
для различения показателей по числу характеризуемых ими свойств.
Исходным документом, определяющим терминологию в отношении показателей качества, является ГОСТ 15467 «Управление качеством продукции. Основные понятия термины и определения». Он
определяет показатель качества продукции как «количественную
характеристику одного или нескольких свойств продукции, составляющих ее качество, рассматриваемую применительно к определенным условиям ее создания и эксплуатации или потребления».
По числу характеризуемых свойств ГОСТ 15467 различает следующие виды показателей:
– единичный показатель качества, характеризующий одно из ее
неделимых свойств (например, долговечность, безотказность и т. д.).
– комплексный показатель качества, характеризующий несколько ее свойств (например, эргономичность, т. е. приспособленность продукции к работе в системе «человек-машина», куда входят
такие свойства, как приспособленность к управлению, считыванию
сигнала, условия работы с заданной производительностью и т. д.);
– интегральный показатель качества – отношение суммарного полезного эффекта от эксплуатации или потребления продукции к суммарным затратам на ее создание и эксплуатацию или потребление.
Однако в литературе и других руководящих документах часто
используются иные термины. Например, международные стандарты системы ИСО 9000 по числу характеризуемых свойств различают следующие виды показателей: единичные – частные, комплексные – групповые, интегральные – общие. Очень часто понятие интегрального показателя используется для обозначения наивысшего
по уровню иерархи комплексного показателя.
Далее будет использована следующая терминология:
– элементарный показатель качества – единичный показатель
качества, который характеризует независимое простое свойство, не
требующее дальнейшей декомпозиции (квантификации);
9
– групповой показатель качества – комплексный показатель
качества, который определяется на некотором множестве частных
показателей, расположенных в структуре показателей на один уровень ниже его;
– частный показатель качества – элементарный или групповой показатель, который характеризует некоторый групповой или
интегральный показатель, расположенный в иерархической структуре показателей на один уровень выше его;
– интегральный показатель качества – наивысший по уровню
иерархии групповой показатель, не являющийся частным по отношению ни к одному из показателей.
10
2. МЕТОДИКА ОПРЕДЕЛЕНИЯ СОСТАВА ЧАСТНЫХ,
ГРУППОВЫХ И ИИНТЕГРАЛЬНОГО ПОКАЗАТЕЛЕЙ ДЛЯ ОЦЕНКИ КАЧЕСТВА
При большом числе частных показателей c1,…,cm, характеризующих свойства объекта, и/или при значительной разнородности этих
показателей целесообразным становится переход к иерархической
системе, на каждом уровне которой последовательно происходит
агрегирование отдельных показателей данного уровня в групповые
показатели следующего уровня. Этот процесс повышения уровня
агрегации групповых показателей заканчивается построением единого сводного показателя, синтезирующего все отдельные и групповые показатели предыдущих уровней. Для получения единого заключения о качестве объекта необходимо ввести интегральный показатель, который отразит общий уровень его разработки. В методах Боэма и их модификациях интегральный показатель имеет вид:
Y = f (y1 (ñ1 ), ó2 (ñ2 ), ..., ói (ci ), ..., ón (cn )),
(2.1)
где yi(ci) – оценка качества по i-му элементарному показателю (свойству) ci; n – число элементарных показателей (свойств) (n < r); r – общее число частных (элементарных и групповых) показателей, анализируемых при оценке качества.
Под элементарными свойствами здесь также понимаются независимые свойства (характеристики), односложные в понимании
и не требующие дальнейшей декомпозиции. Эти свойства оцениваются элементарными показателями, которые являются частными
и негрупповыми показателями.
Дальнейшая конкретизация формы интегрального показателя
качества зависит от используемых шкал, возможности их
нормирования и математических свойств форм интегрального
показателя. Теоретически одна и та же элементарная характеристика
может измеряться в разных шкалах. Указанная возможность
выбора шкалы измерения позволят перейти от исходных, часто не
сопоставимых шкал измерения разнородных характеристик к их
измерению в единой шкале. Переход к единой шкале измерения
элементарных характеристик (показателей) обеспечивает:
1) возможность дальнейшего корректного агрегирования всех
частных (элементарных и групповых) показателей в показатели
более высокого уровня иерархии с учетом их значимости (веса);
11
2) представление всех частных (элементарных и групповых)
и интегрального показателей в единой шкале.
Наиболее широкое многообразие возможных шкал измерения получается, если допустить возможность любого монотонного преобразования j:R1 → R1 исходной шкалы действительных чисел R1. Выбор
именно таких монотонных преобразований в качестве допустимых
может быть оправдан следующими соображениями. Пусть интенсивность проявления некоторого свойства измеряется по исходной числовой шкале R1. Тогда, если эта числовая шкала преобразуется при помощи строго возрастающего преобразования j:R1 → R1, то для любых
двух отметок y1,y2 ∈ R1 числовой шкалы R1 имеет место соотношение
{y1 < y2 } ⇔ {ϕ(y1 ) < ϕ(y2 )}. (2.2)
Иными словами, порядок следования градаций измеряемого
свойства, выявляемый при помощи числовой шкалы R1, сохраняется при любом строго монотонном преобразовании j:R1 → R1 этой
шкалы. Поэтому, если ограничиться задачей выявления упорядочения оцениваемых вариантов по некоторой измеряемой характеристике, то измерения по любой из преобразованных шкал могут
считаться эквивалентными (инвариантом всех таких измерений
служит порядок следования градаций измеряемого свойства).
Класс шкал j(R1), получаемых из исходной числовой шкалы R1
при помощи строго возрастающих преобразований j:R1 → R1, может быть существенно расширен, если рассматривать монотонно неубывающие преобразования, удовлетворяющие соотношению
∀y1, y2 ∈ R1 {y1 < y2 } ⇒ {ϕ(y1 ) ≤ ϕ(y2 )}. (2.3)
Отличие монотонно неубывающего преобразования (2.3) от строго
возрастающего преобразования (2.2) состоит в том, что последнее допускает «склеивание» пунктов исходной числовой шкалы R1: возможно, что в исходной шкале y1 ≠ y2, а в преобразованной шкале имеет место j(y1) = j(y2). Возможность такого «склеивания» пунктов исходной
шкалы можно использовать для объединения всех неразличимо малых (или неразличимо больших) градаций измеряемого качества.
Говоря о шкалах j(R1), полученных в результате монотонных
преобразований исходной шкалы действительных чисел R1, надо
рассматривать не только строго возрастающие и неубывающие преобразования вида (2.2), (2.3) , но и соответственно строго убывающие и невозрастающие преобразования вида
12
∀y1, y2 ∈ R1 {y1 < y2 } ⇔ {ϕ(y1 ) > ϕ(y2 )},
∀y1, y2 ∈ R1 {y1 < y2 } ⇒ {ϕ(y1 ) ≥ ϕ(y2 )}.
(2.4)
(2.5)
Преобразования вида (2.4), (2.5) применяются, когда возникает необходимость изменить «полярность» оцениваемого свойства
(характеристики).
Пусть некоторая характеристика cj исследуемых объектов
в исходной числовой шкале R1 оценена частными показателями
y1, …,yn, y1 < … < yn, где n – число оцениваемых объектов. Будем
обозначать оценки y1,…,yn в производной шкале j(R1), индуцированной монотонным преобразованием j:R1 → R1, как qi = q (yi ) .
Пусть функция N(y) указывает число объектов, у которых оценка
cj в исходной шкале не превосходит y ∈ R1. Очевидно, что N(y1) = 0,
N (yn ) = n − 1 , N (yn + ε) = n , где e – сколь угодно малая положительная величина. Иными словами, функция N(y) есть кусочно-постоянная, непрерывная слева монотонно неубывающая функция, которая
реализует монотонное преобразование j:R1 → R1 в следующем виде:
q (yi ) = N (yi ), yi ∈ R1, N (yi ) ∈{0,1,2, ...,n }, (2.6)
где N (yi ) ∈[0,(n − 1)] – число объектов, имеющие значения рассматриваемого частного показателя, меньшие значения, имеющегося
у i-го объекта.
Часто вместо преобразования j:R1 → R1 вида (2.6) используется
нормирующее преобразование, приводящее к показателям вида
q (y) =
N (y)
1
2
n −2
, y ∈ R1, q (y) ∈{0,
,
,...,
,1}. n −1
n −1 n −1
n −1
(2.7)
В этом случае значение q (yi ) частного показателя q (y) говорит
о том, какова доля объектов, имеющих значения исходной характеристики y меньшие, чем значение yi.
Если интерпретировать оценки y1, …,yn как реализации некоторой случайной величины ŷ , имеющей функцию распределения
F (y; yˆ) , т. е. если интерпретировать ряд наблюдаемых значений как
выборку из соответствующей генеральной совокупности, то монотонное преобразование j:R1 → R1 можно представить в виде
q (y) = F (y; y ), y ∈ R1, F (y; y ) ∈[0,1]. (2.8)
13
Значение q (yi ) показателя q (y) = F (y; y ) указывает вероятность

P{y < yi } того, что случайная величина y примет значение меньшее,
чем значение yi(cj) данной характеристики cj i-го объекта оценки. Важно отметить, что случайная величина qˆ = q(yˆ) = F (y; yˆ) имеет равномерное распределение на отрезке [0,1] при любой монотонно возрастающей
непрерывной функции распределения F (y; yˆ) , что создает дополнительные удобства при практической работе с этим показателем. При
такой теоретико-вероятностной интерпретации наблюдаемых значений y1, …,yn (2.7) есть не что иное, как эмпирическая функция распределения F*(y), построенная по данной выборке и являющаяся статистической оценкой теоретической функции распределения F(y).
Если дополнительно предположить, что введенная случайная
величина ŷ имеет математическое ожидание µ = Myˆ и дисперсию
σ2 = Dyˆ , то в качестве монотонного преобразования j:R1 → R1, индуцирующего соответствующий частный показатель q = q (y) = ϕ(y) ,
можно принять линейное преобразование:
y −µ 1
µ
= y − , y ∈ R1, q (y) ∈ R1, (2.9)
σ
σ
σ
где параметр s есть стандартное отклонение случайной величины ŷ .
Значимость такого преобразования в квалиметрических исследованиях объясняется тем, что в результате получается случайная величина
yˆ − µ
(2.10)
x = ϕ(yˆ) =
,
σ
имеющая нулевое математическое ожидание и единичную дисперсию
q (y) = ϕ(y) =
Mx =
1
µ
1
Myˆ − = 0, Dx = 2 Dyˆ = 1. σ
σ
σ
(2.11)
Для получения частного показателя (2.9) по выборке y1, …,yn,
представленной в исходной шкале, можно воспользоваться выборочным средним
1 n
(2.12)
y = ∑ yi , n i =1
для параметра m преобразования (2.9). Параметр же σ2 этого преобразования можно заменить, например, выборочной дисперсией
s2 =
1
n
n
∑ (yi − y)2 =
i =1
1
n
n
∑ yi2
i =1
или несмещенной оценкой дисперсии
14
− y2, (2.13)
s02 =
1
n −1
n
∑ (yi − y)2 .
i =1
(2.14)
Подставляя (2.12), (2.13) или (2.12), (2.14) в (2.9) вместо m и σ2,
можно получить для частного показателя выражение
q (y) =
y−y  1 n
=
∑ (yi − y)2
s
 n i =1



n
−1
y−
1
n
i =1
n
,
(2.15)
(2.16)
∑ (yi − y)
2
i =1
или выражение:
q (y) =
∑ yi
y−y 
1 n
=
∑ (yi − y)2
s0
 n − 1 i =1



n
−1
y−
∑ yi
n −1
n2
i =1
n
∑ (yi − y)
2
i =1
соответственно.
При анализе показателей часто возникает необходимость сравнения значений y показателя с некоторым эталоном y0. Для такого
сравнения можно использовать аддитивную или мультипликативную форму представления показателей. Аддитивный показатель
q (y) = y − y0 , y, y0 ∈ R1, y0 > 0, (2.17)
указывает степень несовпадения и «направление» несовпадения полученного значения частного показателя с соответствующим эталоном и принимает нулевое значение при y = y0, отрицательные значения – при y < y0, положительные – при y < y0. Также широко распространена мультипликативная форма учета эталонного значения,
при которой показатель задается формулой
y
q (y) =
, y, y0 ∈ R1, y0 > 0. (2.18)
y0
Показатель вида (2.18) также учитывает степень несовпадения
и «направление» несовпадения полученного значения частного показателя с эталоном и принимает единичное значение при y = y0,
значение q < 1 – при y < y0, значение q > 1 при y > y0. Более сложной
формой учета эталонных значений является форма группового по15
казателя, «нормирующего» образующие его частные показатели путем отображения всего множества их возможных значений на отрезок
[0,1]. Пусть имеется множество {y} частных показателей, измеряющих
некоторые свойства по числовой шкале R1. При этом предполагается,
что все эти показатели являются показателями вида «чем больше, тем
лучше», т. е. увеличение значений yi совпадает с увеличением оцениваемого «положительного» качества исследуемых объектов.
Пусть задано некоторое эталонное значение y = y – исходной характеристики y такое, что все значения, не превосходящие y – являются одинаково пренебрежимо малыми. Предполагается одновременно заданным и другое эталонное значение y = y + , y – < y + , такое,
что все значения, большие или равные y + , являются одинаково достаточно большими. В этих предположениях можно использовать
простейший кусочно-линейный частный показатель:
0

 y − y−
q (y) = 
 y+ − y−
1,
ïðè
1

y −y
q (y) =  +
 y+ − y−
0,
ïðè
y ≤ y− ,
ïðè y− < y ≤ y+ , (2.19)
ïðè
y > y+ ,
монотонно не убывающий при росте уровня исследуемой характеристики. Эта форма частного показателя широко распространена
и иногда даже называется «естественной нормализацией».
Пусть теперь «полярность» оцениваемого свойства «отрицательна», т. е. ее увеличение соответствующего показателя вызывает
понижение уровня оцениваемого качества (показатели вида «чем
меньше, тем лучше»). Тогда можно считать, что задано некоторое
эталонное значение y = y – показателя y такое, что все значения, не
превосходящие y – , являются одинаково достаточно малыми. Предполагается одновременно заданным и другое эталонное значение
y = y + , y – < y + , такое, что все значения, большие или равные y + , являются одинаково неприемлемо большими. В этих предположениях можно использовать простейший кусочно-линейный показатель
y ≤ y− ,
ïðè y− < y ≤ y+ , (2.20)
y > y+ ,
ïðè
монотонно не возрастающий при росте уровня исходной характеристики.
16
Для учета характера выпуклости графика функции q = q (y) формулы (2.19), (2.20) обобщаются и принимают следующий вид:
(2.21)
ïðè y ≤ y− ,
0

l
 y − y− 
q (y) = 
 ïðè y− < y ≤ y+ ,  y+ − y− 
1
y > y+ ,
ïðè

(2.22)
ïðè y ≤ y− ,
1

l
 y − y 
q (y) =  +
 ïðè y− < y ≤ y+ ,  y+ − y− 
0
ïðè
y > y+ ,

где параметр l определяет характер выпуклости соответствующих
функций: при l > 1 график функции q = q (y) имеет выпуклость
вниз, а при l < 1 – выпуклость вверх; при l = 1 функция q (y) линейна на отрезке [x–,x + ]. Далее используются нормирующие функции
вида (2.19), (2.20). Помимо указания на простоту и обширный опыт
применения этих функций, в пользу такого выбора можно привести следующий аргумент. Рассматривая сужение функции q = q (y)
(для определенности пусть это будет строго возрастающая функция)
на отрезок [y–,y + ], следует разделить этот отрезок на m одинаковых
частей. Так же делится область значений функции q = q (y) (отрезок [0,1]) на n одинаковых частей. Получившаяся в результате решетка содержит (m + 1) × (n + 1) дискретных точек, расположенных
внутри прямоугольника [y–,y + ] × [0,1]. Тогда множество J(m,n) всех
дискретных монотонно неубывающих функций дискретного аргумента, графики которых проходят через узлы построенной решетки
и удовлетворяют граничным условиям q (y− ) = 0 , q (y+ ) = 1 , является конечным. Неопределенность выбора конкретной нормирующей
функции из класса J(m,n) моделируется при помощи равномерного распределения вероятностей, заданного на этом классе. Иными
словами, моделью неопределенности является стохастический процесс с равновероятными монотонными реализациями, проходящими через дискретные точки указанной решетки. Математическое
ожидание этого стохастического процесса, являющееся естественной оценкой ожидаемой траектории, совпадает с линейной функци17
ей вида (2.19), что и является еще одним аргументом в пользу выбора нормирующих функций вида (2.19), (2.20), используемых для
построения частных показателей качества.
Основным практическим результатом выбора монотонных преобразований частных показателей является переход от вектора y = (y1, …,ym),
yi ∈ R1, в котором все показатели измерены в различных шкалах, к вектору нормированных частных показателей q = (q1, ...,qm ) , qi ∈[0,1] , где
все показатели представлены в одной и той же шкале. Последнее обеспечивает корректность процедуры агрегирования частных показателей.
Данное описание путей приведения оценок различных свойств
к единой (сравнимой) форме показывает вариабельность выбора
конкретных форм представления показателей качества. Решение
задачи определения конкретных форм представления этих показателей
требует сужения множества имеемых альтернатив. Пусть все
частные показатели измеряются в шкале (0,9) ∈ ℜ, где ℜ – множество
вещественных чисел:
– 0 – полное несоответствие свойства ci желаемому уровню его
развития;
– 5 – существенное соответствие свойства ci желаемому уровню
его развития;
– 9 – абсолютное соответствие свойства ci желаемому уровню его
развития.
Определение оценок yi(ci) на отрезке (0,9) вещественной оси
позволяет сделать вывод об их непрерывном характере. Конкретное
численное представление yi(ci) в каждом частном случае
оценивания в дальнейшем позволяет значительно упростить форму
интегрального показателя (2.1).
В (2.1) форма интегрального показателя отражает тот факт,
что в методологии Боэма не учитывается важность различных
показателей, т. е. частные показатели не упорядочиваются по
степени их влияния на качество в целом. Следовательно, для учета
не только значений, но и степени влияния частных показателей,
агрегируемых в показатель более высокого уровня иерархии, на
значение этого группового (интегрального) показателя необходимо
упорядочить агрегируемые частные показатели по важности
(весу).
Такой итерационный многоуровневый процесс оценки степени
проявления отдельных сложных свойств Yim на m-м уровне
декомпозиции интегрального показателя качества, через значения
18
показателей более низкого уровня m + 1 иерархии, осуществляется
в соответствии с формулой
Yim = fim (y1m +1 (ñ1 ), ..., óKi +1m +1 (cK )). (2.23)
Тогда интегральный показатель (2.1.) на основании (2.23)
в операторной форме примет вид:
Y = Fˆ 1, ..., Fˆ i , ..., Fˆ m (y1 (ñ1 ), ..., ón (cn )), 2.24)
где оператор
Fˆ m : yi +1 → ym . (2.25)
Различие между исходной формой представления интегрального
показателя (2.1), которая применяется в методах Боэма и их
модификациях, и предлагаемой формой его представления
в виде (2.24) состоит в следующем. Формулировка интегрального
показателя в виде (2.1) ограничивает исходную информацию для
оценки качества множеством оценок элементарных показателей
и исключает возможность их многоуровневой композиции, т. е.
группировки отдельных элементарных свойств в свойства более
высокого уровня общности. Другими словами, исключая возможность ввода и оценки групповых показателей, представление
интегрального показателя качества в виде (2.1), исключает
возможность анализа и учета смысла и оценок всех промежуточных
действий и оценок экспертов, т. е. исключает возможность
адекватного анализа деятельности экспертов, производящих оценку качества рассматриваемых объектов.
Формулировка интегрального показателя в виде (2.24) также
базируется на использовании исходной информации, представленной
множеством оценок элементарных показателей качества, но она не
только не исключает, а, наоборот, предполагает многоуровневую
группировку как исходных элементарных, так и производных от
них групповых показателей. Отсюда следует, что предлагаемая
формулировка интегрального показателя в виде (2.24) обеспечивает
адекватный учет и анализ всех тех промежуточных выводов и оценок,
которые формулируют эксперты в процессе экспертизы имеемой
совокупности альтернативных оцениваемых объектов.
В качестве основы для разработки математического аппарата
оценки качества альтернативных оцениваемых объектов был
19
принят тот факт, что эксперт, имеющий в своем сознании некоторую
неопределенную модель эталона такого объекта, способен сравнивать с этой идеальной моделью отдельные характеристики
альтернативных рассматриваемых объектов, т. е. оценивать
величину и направление отклонения оцениваемого варианта объекта
от идеальной модели по всем рассматриваемым ее характеристикам
(частным показателям):
∆Y = Y1 − Y0 . (2.26)
Процедура формулировки оценок вида (2.26) в направлении
от элементарных показателей к групповым показателям более
высокого уровня иерархии определяется в теории эффективности
как процедура реализации принципа «вложения» показателей
«снизу вверх». Таким образом, если элементарные показатели
качества сформулированы в описанной выше единой шкале (0,9) ∈ ℜ,
то реализация процедур вида (2.26) «снизу вверх» обеспечивает
корректную оценку качества в соответствии с (2.24).
Сформулировав общую специфику формирования вектора
оценок конкретного объекта оценивания в виде (2.24), необходимо
конкретизировать его форму применительно к системе ограничений и допущений, которые должны налагаться на формулировку
входящих в (2.24) показателей.
20
3. МЕТОДИКА ОПРЕДЕЛЕНИЯ ВИДА ГРУППОВЫХ И ИНТЕГРАЛЬНОГО ПОКАЗАТЕЛЕЙ КАЧЕСТВА
Возможность представления групповых и интегрального
показателей качества в той или иной форме определяется числом
ограничений, накладываемых на агрегируемые показатели. В теории
эффективности эти ограничения формулируются в виде условий,
которым должны соответствовать агрегируемые показатели. Это
условия существования и непрерывности показателей, а также
условия их независимости по приращению по предпочтению.
Если выполнены условия существования и непрерывности, то
интегральный показатель представим в нормальной форме:
n
Y (C) = ∑ yi (C(i′) ), (3.1)
i =1
где С(i) = (С1, ...,Сi) – вектор, содержащий только первые i из общего
числа n показателей С.
Для представления в мультиаддитивной форме набор частных показателей должен дополнительно к условиям существования и непрерывности удовлетворять условию независимости по приращению.
Условие независимости по приращению формулируется, путем
ввода обозначения для вектора C(i–) = (C1, …,Ci-1,Ci + 1, …,Cn), не содержащего i-й компонент. Показатель Сi не зависит по приращению от остальных показателей, если отношения предпочтительности между приращениями этого показателя не зависят от того, на
каком уровне зафиксированы значения компонентов вектора С(i–).
Проверка выполнения этого условия может быть проведена путем
установления отношения предпочтительности лицом, принимающим решения (ЛПР), между одним и тем же приращением DСi; показателя Сi при различных значениях вектора С(i–). Если отношение предпочтительности, принятое ЛПР к приращению DСi показателя Сi сохраняется при любых значениях С(i–), т. е. рост Сi равножелателен при любых значениях остальных частных показателей,
то показатель Сi независим по приращению.
Если для всех частных показателей Сi ( i = 1,n ) выполняется условие независимости по приращению, то интегральный показатель
представим в мультиаддитивной форме:
Y (C) =
n
k
∑ ∏ ηi (yi (ci )), (3.2)
k =1 i =1
21
где C = (c1,c2, …,cn) – вектор элементарных показателей; h – соответствующая комбинация yi(ci).
Мультиаддитивная форма интегрального показателя представляет собой комбинацию из n функций одной переменной, находить
которые, естественно, гораздо проще, чем функции многих переменных. Дальнейшее упрощение формы интегрального показателя
может быть достигнуто только за счет выполнения условия независимости по предпочтению.
Пара показателей (Сi,Сj) не зависит по предпочтению от остального набора показателей C(i,j–) = (C1, …,Ci–1,Ci + 1, …,Cj–1,Cj + 1, …,Cn), если отношение предпочтительности, установленное между векторами C′ = (Ci′,Cj′,C(i,j–)) и C″ = (Ci″,Cj″,C(i,j–)) не зависит от уровней, на которых зафиксированы значения показателей С(i, j–). Считается, что,
определив отношение предпочтительности с учетом только показателей Сi и Сj, можно распространить найденные отношения предпочтительности на все множество рассматриваемых показателей. Если условие независимости по предпочтительности выполняется, то
интегральный показатель можно представить в аддитивной форме:
n
Y (Cn ) = ∑ yi (ci ). (3.3)
i =1
Интегральные показатели, получаемые один из другого с помощью монотонных преобразований, эквивалентны. Поэтому аддитивной форме эквивалентны следующие формы представления интегрального показателя:
– мультипликативный показатель
n
Y (Cn ) = ∏ yi (ci ); (3.4)
i =1
– нормированный аддитивный показатель вида
n
где
Y (Cn ) = ∑ ki yi (ci ), (3.5)
è ki ≥ 0 äëÿ âñåõ i = 1,n. (3.6)
i =1
n
∑ ki = 1
i =1
Рассмотрим возможность представления групповых и интегрального показателей качества в описанных выше формах.
Выше при обосновании вида функций qi = q (yi ) , индуцированных
монотонным преобразованием j:R1 → R1 и используемых для оценки
22
частных показателей, было определено, что эти функции, а значит,
и отображаемые ими частные показатели удовлетворяют условиям
существования и непрерывности. Это обеспечивает представление
групповых и интегрального показателей качества в нормальной
форме (3.1). Возможность представления этих показателей в других
приведенных выше формах, определяется выполнением условий
независимости на множестве элементарных показателей качества.
Проверка гипотезы о независимости элементарных показателей
качества была произведена в рамках частного натурного эксперимента,
который сводился к проверке независимости качества каждой пары
yi(ci), yj(cj) для i, j = 1,n от остальной совокупности элементарных
показателей. При постановке эксперимента установлен факт, что
число n элементарных показателей для различных вариантов оценки
качества объектов разной природы различно и находится в пределах
30÷50. Тогда общее число проверок R независимости всех элементов
множества {cn} может быть найдено, как:
 n
n!
R=  =
,
2
  (n − 2)!* 2 !
(3.7)
 n
где   – количество сочетаний по 2 из n.
 2
В соответствии с данными, приведенными в табл. 3.1, осуществить необходимое число R проверок в рамках одного частного эксперимента не представляется возможным.
Таблица 3.1
Зависимость числа проверок независимости от числа анализируемых
показателей
Количество элементарных
показателей
30
35
40
45
50
Общее число проверок
независимости R
435
595
780
990
1225
Использование средств автоматизации при проведении частного
эксперимента также не позволяет провести полную проверку
независимости {cn} за реальный промежуток времени в силу сложного
характера каждой из проверок в сочетании с экспоненциальным
характером временной сложности общего алгоритма организации
таких проверок, а как следствие, его неэффективности и большого
объема трудозатрат (рис. 3.1).
23
R
1200
1000
800
600
400
200
0
5
10
15
20
25
30
35
40
45 n
Рис. 3.1. Зависимость числа проверок независимости R
от числа n элементарных показателей
Вследствие невозможности проверки независимости всех
элементарных показателей качества был установлен факт наличия
независимости между несколькими элементарными свойствами.
Для нескольких, случайным образом выбранных элементарных
показателей ci и cj определялась предпочтительность прироста
общего качества для различных уровней выбранных элементарных
показателей ci и cj в рамках всего диапазона их возможных значений.
Полученные результаты частного эксперимента позволили принять
гипотезу о независимости элементарных показателей качества при
условии экспериментальной проверки этой независимости для
конкретных реализаций процедур квалиметрического оценивания.
В соответствии с приведенными выше положениями теории эффективности при установлении факта независимости на части
показателей выполнение условия независимости может быть
распространено на все множество рассматриваемых показателей.
Таким образом, при экспериментальном подтверждении независимости любых двух элементарных показателей ci и cj все частные и
интегральный показатели качества могут быть представлены в виде
нормированного аддитивного показателя вида (3.5).
В силу того, что yi(ci) является входной информацией и
представляет собой конкретное число на отрезке (0,9) ∈ ℜ,
интегральный показатель вида (3.5) можно рассматривать как
один из частных видов аддитивного показателя – интегральный
показатель линейной формы
24
n
Y (Cnρ ) = ∑ ki yi .
i =1
(3.8)
Определение коэффициентов ki интегрального показателя вида
(3.8) осуществляется в рамках процедуры построения иерархической
декомпозиции интегрального показателя «качество» (иерархической
сети показателей оценки качества).
25
4. МЕТОДИКА ПОСТРОЕНИЯ ИЕРАРХИЧЕСКОЙ СЕТИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА
Построение иерархической сети показателей представляет собой
объединение разрозненного множества показателей в иерархическую структуру с вершиной, определяющей качество оцениваемого объекта, с дальнейшей адаптацией ее к конкретной реализации
и условиям предметной области. Синтез сети показателей производится путем формирования группового мнения экспертной группы
о структуре композиционных связей показателей {ci} оценки качества, выявления на его базе единой иерархической сетевой структуры и ее адаптации к конкретным условиям оценивания.
Исходная информация, используемая при синтезе сети показатеk
лей – матрица предпочтений aij ,
i, j, k ∈ N , представляет собой
двумерную матрицу, элементы которой определяются на дискретном множестве:
aij ∈{0,1} i, j = 1,ρ (4.1)
где r – общее число всех показателей оценки, учитываемых исходя
из правила:
1, åñëè i-é ïîêàçàòåëü âàæíåå, ÷åì j-é,

aij = 0, åñëè j-é ïîêàçàòåëü âàæíåå, ÷åì i-é,

èëè îíè èìåþò îäèíàêîâóþ âàæíîñòü.

Для матрицы ||аij|| выполняется условие:
аii = аjj = 0.
(4.2)
Полученная совокупность ||аijk|| от всех k экспертов позволяет
синтезировать промежуточную матрицу ||zij||:
zij =
K
∑ aijk , k =1
которая представляет собой групповое мнение экспертов.
Получение матрицы строгого порядка ||dij||, в которой
26
(4.3)
1, åñëè Ñi  Cj ,
dij = 
0 − èíà÷å,
(4.4)
а знак «  » обозначает отношение доминирования, на базе матрицы ||zij|| представляет собой задачу проверки вероятностного вывода. При этом под строгим порядком понимается антирефлексивное,
антисимметричное и транзитивное отношение, задаваемое между
элементами множества {Cρ}. Множество {Cρ}, на котором задано отношение порядка, является полностью упорядоченным, если любые два элемента ci ∈ {Cρ} сравнимы, и частично упорядоченным –
в противном случае. Тогда на языке строгого упорядочения задача
проверки вероятностного вывода состоит в выявлении матрицы ||dij||
путем анализа ||zij||, с целью частичного строгого упорядочения {Cρ}.
Именно выявление такого порядка позволяет синтезировать структуру G сети показателей оценки качества.
С точки зрения вероятностного вывода в формальной интерпретации процесс формирования ||zij|| представляет собой ансамбль реализаций повторных независимых испытаний, а значит, к ним может быть применен математический аппарат испытаний Бернулли
с тремя исходами. В силу введенных в методике условий проведения экспертизы исходы в каждом дискретном испытании считаются равновероятными:
q = qij = qji,
(4.5)
где qij – вероятность того, что отношение строгого порядка между i-м
и j-м показателями есть и ci  cj ; qji – вероятность того, что отношение строгого порядка между i-м и j-м показателями есть и ci  cj ; q –
вероятность того, что отношения строгого порядка между i-м и j-м показателями нет или они не сравнимы по отношению доминирования
при оценке качества. Отсюда следует, что
(qij + qji + q = 1) = > qij = qji = q = 1/3.
(4.6)
Числом испытаний Бернулли является число k экспертов. Случайная величина zij подчиняется биномиальному закону распределения, описываемому функцией
 K
F (r , k,qij ) =   qijr (qji + q )k −r , r
(4.7)
27
где F (r,k,qij) – вероятность того, что из k экспертов r выскажется
за отношение порядка ci  cj с вероятностью qij;  K – комбинатор r 
ный коэффициент, равный числу сочетаний из k по r;
F(r,k,qij) = P(zij = r).
(4.8)
Ввиду того, что принятие решения одним отдельно взятым экспертом не зависит от мнения остальных экспертов и опрос проводится в один тур, то биномиальное распределение F(r,k,qij) в предельном
случае может быть аппроксимировано законом Пуассона. Полученное распределение F(r,k,qij) при классическом пуассоновском приближении для биномиального распределения имеет вид:
где
F (r , K,qij ) ≈ ( µ K / r !) exp(– µ) (4.9)
µ = Kqij.
(4.10)
Аппроксимация пуассоновского распределения (4.9) для непрерывного распределения описывается нормальным законом:
F* (r , K,qij ) ≈ (1 / 2π )
с плотностью распределения
K
∫ exp(−r
2
/ 2)dr (4.11)
−∞
f (r , K,qij ) ≈ (1 / 2π )exp(−r 2 / 2). (4.12)
Графическая интерпретация нормального приближения показана на рис. 4.1.
Априорное принятие закона распределения F(r,K,qij) нормальным позволяет использовать стандартный аппарат проверки вероятностного вывода для испытаний Бернулли. Он сводится к нахождению граничного числа Sk высказавшихся за отношение строгого
порядка ci  cj из всего числа k экспертов, которое позволит с заданной степенью риска a определить это отношение.
Для m исходов величина Sk определяется как
28
Sk ≥ m −1 [K + tα K(m − 1)] äëÿ (qij = 1 / m). (4.13)
f (r, 10, 0,5)
1
0,5
0
1
2
3
4
5
6
7
8
9
10
r
Рис. 4.1. Нормальное приближение для биноминального
распределения вероятности того, что r экспертов из 10 выскажутся
за отношение строгого порядка сi > сj c qij = 0,33
Значение a зависит от согласованности экспертов в экспертной
группе и в силу качественного характера оценки можно принять
α∈(0,1;0,2). В дальнейшем принято a = 0,1.
Для m = 3 конкретизируется соотношение (4.13):
Sk ≥ 1 / 3(K + tα 2K), (4.14)
где ta – квантиль нормального распределения, полученный из уравнения
a = 1 – F* (ta).
(4.15)
Таким образом, правило преобразования промежуточной матрицы ||zij|| в матрицу строгого порядка ||dij|| можно представить в виде
29
1 ïðè Sk ≤ Zij ,
dij = 
0 ïðè Sk > Zij .
(4.16)
В случае Zij = Zji = Sk необходимо либо увеличить число экспертов
в группе с целью избежать соотношения, либо снизить степень риска a и определить более жесткий порог Sk для имеющейся матрицы ||zij||. Матрица ||dij|| удовлетворяет условию dii = djj = 0 и описывает
полную структуру G сети показателей оценки качества:
G = < С,U > ,
(4.17)
где С – множество вершин, соответствующих показателям оценки
качества {Cρ}; U – множество дуг сети, соответствующих отношениям строгого порядка ||dij||.
В силу транзитивности отношений строгого порядка, определяющего установление связей между {Cρ}, правомочно произвести эквивалентное преобразование удаления дуг. Дуга (ci ck) называется
транзитивно замыкающей, если она удовлетворяет условию
∀ci , cj , ck ∈C((ci  cj ) & (cj  ck ) & (ci  ck )). (4.18)
Транзитивно замыкающие дуги должны быть удалены. Графически размыкание транзитивных замыканий пояснено на рис. 4.2.
Сk
...
*
U(x ,x )
i
k
+
U
(xj,xk)
Сj
...
...
+
U(x ,x )
i
j
Сi
Рис. 4.2. Эквивалентное преобразование удаления дуг
по свойству строгого порядка
30
Таким образом, синтезированная на базе экспертных оценок сеть
показателей G + оценки качества представляет собой двойку:
G + = < C,U + > , (4.19)
где U + (U + ⊆ U) – множество дуг, не соответствующих (4.18).
31
5. МЕТОДИКА СТРУКТУРНОЙ АДАПТАЦИИ ИЕРАРХИЧЕСКОЙ СЕТИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА
Сеть показателей G + оценки может оказаться малопригодной
для определения композиционной значимости нижестоящих показателей в составе вышестоящих показателей в иерархии интегрального показателя «качество». Этот факт определяется возможным
наличием показателей Сi, которые декомпозируются на x и более
дочерних, где x = (5 ± 2) – число Ингве-Миллера, которое определяет
предельное для эксперта число альтернатив, которое тот может анализировать одноактно.
Для взвешивания указанных декомпозиций сложных
показателей Сi необходимо адаптировать сеть G + к условиям
восприятия эксперта. Такая адаптация осуществляется путем
введения ряда мнимых вершин в декомпозицию сложного свойства
сi (сi’,сi’’...) путем расщепления вершины сi на графе G + , с целью
группировки дочерних вершин с числом меньшим x (рис. 5.1).
Процесс группировки формально описывается математическим
аппаратом метода структурной обработки данных, также
обозначаемым как метод иерархической группировки, или
метод кластерного анализа. Процесс адаптации заключается
в иерархической группировке показателей и может осуществляться
по различным признакам, но почти все они основаны на понятии
«близости» или «расстояния» между одноранговыми (т. е. занятыми
в одной декомпозиции более сложного показателя) {ci} в некотором метрическом пространстве. Следовательно, необходимо ввести некоторую метрику ρ(ci , cj ) , определяющую расстояние между
двумя показателями ci и cj в метрическом пространстве данной
Правило расщепления вершин
Сi
^:
G
Ci1
...
Ci2
Ci3
l
^:
G
. . . Ciξ +1
Сi
C‘i
Ci1
Ci2
...
Ci3
Ci1
Ci2
. . . Cij
J< ξ
Рис. 5.1. Группировка дочерних вершин на графе декомпозиции
32
декомпозиции, а затем установить расстояние, при котором два
показателя можно считать близкими. Таким образом, выбираемые
признаки являются осями координат n-мерного метрического пространства, в рамках которого определяется близость показателей
оценки качества.
При этом все признаки можно условно разделить на два класса:
непосредственные и системные признаки. К непосредственным признакам относятся такие, которые имеют строгую физическую трактовку и могут быть оценены или измерены объективными методами. Таких показателей мало. К системным признакам относятся косвенные признаки, оцениваемые или рассчитываемые по результатам моделирования использования оцениваемого объекта. Термин
«системные признаки» призван подчеркнуть их обобщающий характер
по отношению к показателям оценки качества. Это означает, что
системные признаки имеют самостоятельное значение, а при
анализе системных признаков основными исходными данными,
помимо параметров структур сети показателей качества, могут
являться и другие параметры (например, параметры предметной
области применения оцениваемых объектов).
При анализе системных признаков с использованием в качестве
исходных данных результатов экспертно-статистического оценивания возникают определенные трудности. Первая трудность заключается в том, что применение экспертно-статистических методов
для установления тех или иных параметров требует использования
типовых, часто повторяющихся ситуаций в строго определенных
условиях. Выполнение таких требований для случая сложных процессов оценивания и особенно при значительной численности экспертной группы становится практически невыполнимым. Вторая
трудность состоит в том, что необходимость применения композиции случайных величин при корректном определении закона для
всей системы в целом требует вычисления n-кратных интегралов –
по числу последовательных элементов в системе. При вычислении,
естественно, используются приближенные методы, что приводит
к накоплению ошибки. Эти ошибки могут быть столь значительными, что результат, по мнению специалистов, теряет всякий смысл.
К метрике ρ(ci , cj ) предъявляются следующие требования. Пусть
ρ(ci , cj ) есть функция расстояния между показателями ci и cj в некотором метрическом пространстве показателей рационализации,
тогда:
1) расстояние показателя качества до самого себя минимально, т. е.
33
ρ(ci , cj ) ≥ ρ(ci , ci );
(5.1)
2) расстояние от показателя ci до показателя cj равно расстоянию
от cj до ci, т. е.
ρ(ci , cj ) = ρ(cj , ci ); (5.2)
3) расстояние между двумя показателями, измеренное по прямой,
короче расстояния, измеренного по любой другой линии (т. е. пространство признаков классификации метрическое):
ρ(ci , cj ) ≤ ρ(ci , cl ) + ρ(cl , cj j ). (5.3)
Выбор конкретного вида метрики (меры близости в пространстве
признаков) осуществляется инженером-системотехником (инженером по знаниям, программистом) исходя из семантического значения показателей оценки и особенностей конкретной реализации
оцениваемого объекта. Наиболее простой метрикой является евклидово расстояние:
p
∑ (ci(k) − cj(k) )2 . ρa (ci , cj ) =
(5.4)
k =1
Если возможна оценка важности признаков, то используется
взвешенное евклидово расстояние:
ρb (ci , cj ) =
p
∑ ωk (ci(k) − cj(k) )2 , (5.5)
k =1
где ωk – вес k-го признака.
Так же могут использоваться расстояние Хэмминга и расстояние
Махаланобиса, соответственно определяемые как
ρc (ci , cj ) =
p
∑ | ci(k) − cj(k) |, (5.6)
k =1
p
34
ρd (ci , cj ) = (ci − cj ) ∑ (ci(k) − cj(k) )T . k =1
(5.7)
Процесс группировки показателей, как выше указывалось, формально описывается математическим аппаратом метода структурной
обработки данных и носит название «кластеризации». Процесс кластеризации представляет собой итеративный многошаговый процесс
объединения сi в группы (кластеры) по степени их близости в соответствии с признаком группировки. При этом на первом шаге процесса группировки каждый сij представляет собой кластер. На каждом
шаге два самых близлежащих, в соответствии с показателем группировки, кластера объединяются в бо льший кластер. Таким образом, за
(ξ^ – 1) шагов (где ξ^ – количество дочерних вершин в декомпозиции)
получается кластер, объединяющий все сij. После чего из совокупности структур сгруппированных связей Uij + (соответствующих сij) согласно требованиям оптимальности выбирается наиболее удовлетворительная. Оптимальной считается структура, в которой для всех декомпозиций (как самого сложного показателя сi, так и порождаемых
мнимых сi′,с i″ ...) верно соотношение ξ^ < x и при этом количество введенных мнимых вершин минимально. При минимальной размерности пространства признаков признаком группировки является значение обоснованности связи E, определяемое как
EU
ij +
Величина EU
ij+
=
zij
zji + (K − (zij + zji ))
.
(5.8)
есть отношение количества экспертов zij, выска-
завшихся за наличие связи Uij + , к суммарному числу экспертов zji,
высказавшихся за наличие связи Uji + и за ее отсутствие (k-(zij + zji)).
Данный показатель позволяет сгруппировать Cij таким образом, что
в дальнейшем группа менее обоснованных связей (Uij + ) при анализе
погрешностей согласованности на сети показателей качества может
быть удалена как несущественная. Расстояния между кластерами
в соответствии с показателем группировки E определяются на одномерном пространстве (прямой) с линейной метрикой:
ρ(EUl , EUe ) = EUl − EUe . (5.9)
Известна формула пошаговой группировки {сij} по множеству
связей Uij + ρ(E(Ue Ul ) , EUm ) = αρ(EUm , EUe ) + βρ(EUm , EUl ) −
−γρ(EUe , EUl ) + δ | ρ(EUm , EUe ) − ρ(EUm , EUl ) |,
35
при этом:
)
(
ρ E(Ue ,Ul ) , EUm = minm, (5.10)
где a, b, g, d – числовые коэффициенты, значения которых определяют алгоритм пошагового присоединения к группам (кластерам).
Значения a, b, g, d для стандартных алгоритмов представлены
в табл. 5.1.
Таблица 5.1
Значения коэффициентов в формуле пошаговой группировки
Коэффициенты
Алгоритм
a
b
g
d
«Ближнего соседа»
0,5
0,5
0
- 0,5
«Дальнего соседа»
0,5
0,5
0
0,5
«Средней связи»
0,5
0,5
0
0
Возможны и другие значения a, b, g, d, которые будут определять
иные алгоритмы пошагового присоединения. Значения a, b, g, d позволяют добиться различной содержательной интерпретации объединения кластеров в больший кластер. Так a, b позволяют прежде
всего учесть расстояние между концами кластера и присоединяемого
к нему показателя, их соотношение определяет приоритетность расположения нового показателя в кластере объединения. В случае отсутствия конкретно выраженной приоритетности, принято считать:
a = b = 0,5.
(5.11)
К случаю (5.11) относится рассматриваемая группировка Сij по
ЕU + ij, в силу отсутствия конкретной приоритетности стороны присоединения к кластеру новых объектов на числовой прямой ЕU + ij
с линейной метрикой (5.9). Коэффициент g определяет степень однородности объектов в кластере. Максимальной однородности удается
добиться при
g = – 0,5.
(5.12)
Для анализируемого случая декомпозиции Сi максимальная однородность (т. е. примерная эквивалентность значений ЕUij для объединяемых Сij в кластер) является предпочтительной по двум причинам:
1) примерно одинаково обоснованные показатели в группе в дальнейшем проще сравнивать;
36
2) в случае низкой обоснованности всей группы обособленных показателей качества может быть отсечена вся эта группа показателей.
Коэффициент d определяет, каким образом в (5.9) учитывается
исходный кластер. Например, по ближайшей точке к присоединяемому объекту (алгоритм «ближнего соседа»), с учетом всех объектов кластера, включая дальний от присоединяемого объекта (алгоритм «дальнего соседа»), или с учетом усредненной точки кластера,
принимаемой за его центр (алгоритм «средней связи»). Из соображений однородности образуемых групп Сi рационально учитывать
весь присоединяемый кластер, а не его ближайшую или среднюю
точки, а значит, в анализируемом случае следует принять d = 0,5.
Таким образом, выше приведенное выражение для декомпозиций
сложных показателей оценки качества Сi с количеством дочерних
вершин более x в соответствующей иерархической сети примет вид:
ρ(E(Ue Ul ) , EUm ) = 0,5ρ(EUm , EUe ) + 0,5ρ(EUm , EUl ) −
−0,5ρ(EUe , EUl ) + 0,5 | ρ(EUm , EUe ) − ρ(EUm , EUl ) | .
(5.13)
Шаги группировки
6
5
4
3
2
1
0
+
C i1
Шаг 0
+
C i2
+
C i3
+
C i4
+
C i5
С+i
+
C i6
+
C i7
Шаг 1
+
C ij
С+i
С ′i
С+i1 С+i2 С+i3 С+i4 С+i5 С+i6 С+i7
С+i1 С+i2 С+i3 С+i4 С+i5 С+i6 С+i7
Рис. 5.2. Вид дендрограммы для семи дочерних вершин
с соответствующей каждому шагу структурой иерархической
группировки
37
Шаг 2
Шаг 3
С +i
С +i
С ′i
С’i
С +i1 С +i2 С +i3 С +i4 С +i5 С +i6 С +i7
С”i
С+i1 С+i2 С+i3 С+i4 С+i5 С+i6 С+i7
Шаг 5
Шаг 4
С+i
С +i
С +i
С′i
С +i
С +i1 С +i2 С +i3 С +i4 С +i5 С +i6 С +i7
С”i
С +i1 С +i2 С +i3 С +i4 С +i5 С +i6 С +i7
Продолжение рис. 5.2
Графически результаты иерархической группировки представляются в виде дендрограммы. Пример общего вида дендрограммы
и пошагового соответствия структуры декомпозиции Сi при иерархической группировке его дочерних вершин (композиционно входящих подпоказателей) приведен на рис. 5.2. Для данного примера
в соответствии с описанными ранее условиями оптимальности наилучшей является структура, получаемая на втором шаге, так как
число введенных мнимых вершин минимально и для каждой расщепляемой вершины ξ^ < x.
38
6. МЕТОДИКА ОЦЕНКИ ЗНАЧИМОСТИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА И УДАЛЕНИЯ МАЛОЗНАЧИМЫХ ПОКАЗАТЕЛЕЙ
Наличие адаптированной к условиям конкретного объекта оценивания и предметной области иерархической сети показателей позволяет определить значения локальных и глобальных приоритетов
как коэффициентов интегрального показателя вида (3.8). Значения
указанных приоритетов могут быть рассчитаны с использованием
различных методов сводных показателей. Например, с использованием метода анализа и синтеза показателей при информационном
дефиците (АСПИД-3W) или метода анализа иерархий. Выбор метода предопределяется возможностью в рамках конкретной реализации обеспечить необходимую входную информацию для избранного математического аппарата взвешивания иерархической сети показателей в декомпозиции интегрального показателя «качество».
В частности, применение в качестве указанного аппарата математических моделей метода АСПИД-3W позволяет учесть высокую
несогласованность мнений эксперта при большой размерности пространства учитываемых показателей качества. Это связано с тем,
что первоначально указанный математический метод упрощает задачу эксперта до совокупности не градуированных, попарных сравнений альтернативных показателей с возможностью частичной несогласованности и неполной информации. Применение в качестве
математического аппарата взвешивания иерархической сети показателей метода анализа иерархий позволяет быстро добиться результата для задач с суммарным числом показателей 60–80, небольшим числом уровней иерархии декомпозиции интегрального показателя и приемлемым уровнем согласованности экспертных оценок.
Анализ иерархии сети показателей качества необходим для выявления степени композиционного взаимодействия более простых
показателей в составе более сложных как отражения важности
каждого более простого свойства в композиции более сложного.
Метод анализа иерархии позволяет на основе количественного попарного сравнения показателей нижнего уровня иерархии рассчитывать численный вектор, характеризующий порядок предпочтительности этих показателей в показателях близлежащего верхнего
уровня и пересчитывать эти значения в числовой вектор, характеризующий порядок предпочтительности более простых показателей иерархии в любом вышестоящем более сложном показателе,
с которым они связаны. Значения вектора, характеризующего по39
рядок предпочтительности в показателях близлежащего верхнего
уровня, являются локальными приоритетами, в корневом показателе иерархии – глобальными приоритетами.
Отсюда применительно к синтезированной сети показателей G + следует, что для каждой декомпозиции вершин сети формируется,
путем экспертизы на базе специальной шкалы относительной важности, представленной в табл. 6.1, матрица V парных сравнений
важности дочерних вершин вида:
v11 v12 . vin
V = v21
. vij . vn1
.
. vnn
(6.1)
где Vij – сравнительная оценка важности («веса», «интенсивности»)
участия i-го показателя перед j-м в композиционно общем для них
показателе.
Таблица 6.1
Шкала парных сравнений
Оценка
важности
Качественная
оценка
Смысловая интерпретация
1
Равная
важность
Равный вклад двух показателей в композиционно сложный показатель (свойство,
характеристику)
3
Слабое
превосходство
Опыт и суждения экспертов дают предпочтение одному показателю (характеристике) перед другим
5
Существенное,
или сильное,
превосходство
Опыт и суждения экспертов дают надежные доказательства существенного превосходства одного показателя (свойства,
характеристики) над другим
7
Очевидное
(значимое)
превосходство
Существуют убедительные свидетельства в пользу большей важности одного
показателя по сравнению с другим, что
становится практически значительным
9
Абсолютное (
очень сильное )
превосходство
Максимально подтверждается предпочтительность одного показателя перед другим, что в высшей степени убедительно
2, 4, 6, 8
Промежуточные
значения между
соседними
оценками
Применяются в компромиссном случае
40
Матрица парных сравнений является обратно симметричной
(Vij = 1/Vji) и обладает свойством Vii = Vji = 1. Математически задача выявления степени композиционного взаимодействия более простых показателей в составе более сложных как отражения важности каждого более простого показателя качества в композиции более сложного сводится к нахождению собственного вектора W матрицы V, для которого выполняется условие:
(6.2)
VW = DW,
где D – собственное число (значение) матрицы V.
Соответствующие значения элементов вектора W:
W = < w1,w2,w3, ...,wn > ,
(6.3)
являются локальными приоритетами для данной декомпозиции.
Подход к решению рассматриваемой задачи, основанный на собственном векторе W, использует информацию, которая содержится в любой, даже несогласованной, матрице и позволяет получать
приоритеты, основанные на имеющейся информации, не производя
арифметических преобразований исходных данных. Вычисление
собственного вектора – трудоемкая математическая операция. Однако имеются несложные пути получения хорошего приближения
к собственному вектору, которые имеют ясную физическую трактовку и могут быть легко реализованы программным способом.
Именно этот факт определяет следующую формулу расчета оценки
W′ вектора приоритетов W (собственного вектора матрицы V):
n
n
W=
∏ vij
j =1
 n


v
n
∑ ∏ ij 
i =1  j =1

n
,
(6.4)
где n – размерность матрицы парных сравнений (n×n).
Замена W → W

считается эквивалентной, если разница между
максимальным (по множеству всех собственных чисел) собственным числом матрицы парных сравнений Dmax и порядком этой матрицы n находится в заданных пределах, т. е. в случае идеального
согласования экспертов
Dmax = n.
(6.5)
41
Эти пределы устанавливаются в виде индекса согласованности
(ИС) и отношения согласованности (ОС), определяемых через
приближенное значение Dmax:
(6.6)
n  n
 
Dmax ≈ ∑   ∑ vij  wi  , 

j =1   i =1 
ИС = (Dmax −n) / (n − 1). (6.7)
При этом для обратно симметричной матрицы парных сравнений:
Dmax ≥ n,
ÎÑ =
(6.8)
ÈÑ
100% , η
(6.9)
где η – случайная согласованность матрицы ||Vij|| порядка n (табл. 6.2).
Таблица 6.2
Значения случайной согласованности парных сравнений
Размерность
(порядок)
матрицы
1
2
3
4
5
6
7
Случайная
согласованность ( η )
0
0
0,58
0,90
1,12
1,24
1,32
8
9
10
1,41 1,45 1,49
Отношение согласованности является оценкой согласованности
значений в матрице V: величина ОС должна быть не более 10–20 %,
чтобы быть приемлемой. Получаемая совокупность локальных приоритетов (удовлетворяющих требованиям достаточной согласованности) вышеуказанным образом позволяет рассчитать глобальные
приоритеты bi каждого показателя в иерархической сети, которые
показывают степень влияния соответствующих свойств Сi на качество оцениваемого объекта. Глобальный приоритет bi представляет
собой произведение локальных приоритетов участия вышестоящих
вершин на пути между анализируемой вершиной и корневой вершиной сети, соответствующей качеству оцениваемого объекта, в соответствии с теоремой Т. Саати:
42
T
bi = ∏ wit ,
t =1
(6.10)
где Т – число уровней иерархии между i-м свойством и корневой вершиной, соответствующей качеству оцениваемого объекта.
Если показателей в декомпозиции много (n > 3), то каждое из них
может получить меньший глобальный приоритет, чем каждое из немногих свойств в декомпозиции с меньшим локальным приоритетом. Это можно пояснить на примере, приведенном на рис. 6.1.
Пусть имеется иерархическая структура из показателей C1–C8,
в каждой декомпозиции которой показатели имеют одинаковую значимость (т. е. локальные приоритеты wit для t = const одинаковые). Однако уже на 2-м уровне иерархии, несмотря на очевидную равнозначимость свойств С4–С8 их глобальные приоритеты bi различны. При
этом в декомпозиции свойства С2 участвует три показателя (C4,C5,C6),а
в декомпозиции С3 – два показателя (C7,C8), следовательно:
b4 = b5 = b6 = 0,165 < b7 = b8 = 0,25.
Для устранения этого недостатка множество глобальных приоритетов bi преобразуется в множество глобальных приведенных
С1
W21 = b2 = 0,5
W31 = b3 = 0,5
C2
C3
b*2 = 0,5
b*2 = 0,5
W42 = 0,(3)
W52 = 0,(3) W62 = 0,(3)
b4 ≈ 0,165
b5 ≈ 0,165
C4
b4* ≈ 0,2
b6 ≈ 0,165
C5
b ≈ 0,2
*
5
W72 = 0,5
b 7 ≈ 0,25
t=1
W82 = 0,5
b 8 ≈ 0,25
C6
C7
C8
b ≈ 0,2
b ≈ 0,2
b ≈ 0,2
*
6
*
7
*
8
t=2
Рис. 6.1. Пример приведения глобальных приоритетов
по числу вершин в декомпозиции
43
приоритетов b*i. Приведенный приоритет b*i рассчитывается путем
умножения глобального приоритета bi каждого показателя Сi на относительное нормализованное число более простых показателей (n″i / p),
находящихся на более низком уровне иерархии:
b * n ′′
bi′′ = i i , p
b∗1H =
bi′′
.
∑ bi′′
6.11)
(6.12)
i
Для примера, показанного на рис. 6.1, в результате приведения
глобальных приоритетов bi удалось добиться равновзвешенности
свойств на всех уровнях иерархии по глобальным приоритетам:
b*4 = b*5 = b*6 = b*7 = b*8 = 0,2.
(6.13)
Таким образом, совокупность множеств wi и b*i позволяет определить весовые коэффициенты согласно (6.4) для всех связей иерархической сети показателей качества оцениваемого объекта, тем самым обеспечить возможность обоснованного учета и анализа влияния реализованности более простых в более сложных показателях
качества оцениваемого объекта. При наличии
ОС ≤ 10 ≤ 20 %
(6.14)
найдется некоторое число показателей, для которых:
bi′′≤| wi − wi′ | . (6.15)
Очевидно, что показатели с b″i, удовлетворяющим (6.15), имеют практически незначимое влияние на интегральный показатель
и их можно не учитывать. Для определения показателей, удовлетворяющих условию (6.15), уравнение (6.2) преобразуется в форму:
(V – DE)W = 0,
(6.16)
где Е – единичная матрица.
Согласно условию (6.5) для полностью согласованных мнений
экспертов имеет место равенство:
44
(V − nE)W = 0,
(6.17)
что позволяет найти вектор W значений приближения локальных
приоритетов для идеальной согласованности экспертов. При этом
одно из уравнений заменяется условием нормировки
n
∑ wi = 1. (6.18)
i =1
Наличие значений wi, w′i позволяет проанализировать все показатели в вершинах сети на соответствие условию (6.15), после чего выявленные незначимые ветви иерархической сети можно удалить, с поКАЧЕСТВО
C0
W121
W111
(С 1, b*1)
W131
(С 2, b*2)
(С 3, b*3)
...
С4
С5
*
*
...
W2j
W22
W21
Сi
. . .
b5
b4
*
bi
...
С4
С4
С4
С4
С4
*
4
*
4
*
4
*
4
*
4
b
b
b
b
b
. . .
С4
*
b4
...
С′i+1 С′i+2 С′i+3 С′i+4 С′i+5 С′i+6 С′i+7 С′i+8 С′i+9 С′i+10
b*i′+1 b*i′+2 b*i′+3 b*i′+4 b*i′+5 b*i′+6 b*i′+7 b*i′+8 b*i′+9 b*i′+1
. . .
С′n–1
С′n
b*n–1
b*n
Рис. 6.2. Обобщенный вид иерархической структуры
сети показателей качества
45
следующей нормализацией глобальных приоритетов b″i. Получаемая
в результате взвешенная и адаптированная к особенностям предметной области объекта оценивания сеть показателей (см. рис. 6.2) может
быть использована непосредственно для многоуровневого анализа качества рассматриваемой реализации объекта в соответствии с интегральным показателем оценки качества вида (3.8).
Таким образом, на базе полученной сети показателей можно с учетом результатов экспертизы оценить значения элементарных показателей оцениваемого объекта и рассчитать, согласно (3.8), значения
интегрального и любого композиционно сложного (группового) показателей качества. Групповые показатели позволяют быстро осуществлять сравнение альтернативных вариантов оцениваемых объектов,
а их квантификация на показатели более низких уровней – определить недостатки конкретного объекта.
46
7. МЕТОДИКА УЧЕТА НЕЧЕТКОСТИ ИСХОДНОЙ ИНФОРМАЦИИ О ПОКАЗАТЕЛЯХ КАЧЕСТВА
Современные программные средства поддержки квалиметрических процедур во многом ориентированы на использование дружелюбного пользовательского интерфейса. Такой интерфейс предполагает получение исходной информации от эксперта не в числовой
(«жестко регламентированной») форме, а в удобной для эксперта
форме лингвистических значений из фиксированного множества.
Данная методика позволяет наглядно показать последовательность
действий по реализации информационно-математических моделей,
обеспечивающих такой интерфейс пользователя, а также другие
процедуры, позволяющие обеспечить дружелюбность соответствующего ПО квалиметрического анализа продуктов и объектов различной природы.
В выше приведенных методиках обоснован подход к оценке показателей качества объектов на основе их сравнения с аналогичными показателями некоторой их эталонной модели, которая в неформализованном виде имеется в сознании эксперта. Очевидно,
что в таких условиях формулировки мнений экспертов в основном
будут иметь качественный и нечеткий характер. Переход от качественных нечетких оценок к четким количественным оценкам, как
известно, способен обеспечить математический аппарат теории нечетких множеств и, в частности, применение моделей лингвистической переменной.
Под лингвистической переменной B^ в работе понимается набор:
B ^ = β, F ^ (β), X ^, G ^, M ^ , (7.1)
где:
– b – имя лингвистической переменной;
– F^(b) – терм-множество лингвистической переменной b, т. е.
множество лингвистических (вербальных) значений переменной b,
причем каждое из этих значений является нечеткой переменной с областью определения X^;
– G^ – синтаксическое правило (имеющее обычную форму грамматики), порождающее значения α^ нечетких переменных вербальных значений лингвистической переменной b (α^∈ F^(b));
– М^ – семантическое правило, которое ставит в соответствие
каждой нечеткой переменной α^∈ F^(b) нечеткое множество.
47
Для построения В^ шкала (0,9) ∈ ℜ преобразуется в непрерывную
шкалу оценки совпадения альтернатив, в которой каждому граничному
значению ставится в соответствие описание возможных значений
лингвистической переменной В^ = «совпадение c потенциальным
качеством». Экспертам предлагается оперировать при оценке
элементарных показателей терминами, приведенными в табл. 7.1. При
этом число экспертов может соответствовать числу экспертов в группе
разработчиков, если оценивание носит текущий характер, а может быть
определено в соответствии с требованиями математико-статических
методов экспертного опроса, если оценивание носит принципиальный,
итоговый характер и требуется получить оценку качества объекта
большей объективности и достоверности, чем в первом случае.
Таблица 7.1
Шкала оценивания элементарных показателей (свойств)
Числовое
значение
Объяснение
0
Несовпадение
Нет смысла сравнивать
альтернативы, очевидное
полное несовпадение
Несовпадение,
несравнимость,
несопоставимость, отсутствие соответствия
1
Слабое совпадение (соответствие)
Совпадение альтернатив
практически малозаметно,
нет уверенности в нем
Малозаметно,
слабое, неубедительное
3
Опыт и суждения подУмеренное,
Умеренное
тверждают легкое совпаделегкое, недосовпадение
ние; существуют показания
статочно убеди(соответствие) о совпадении, но показания
тельное
недостаточно убедительны
5
48
Определение
Множество возможных значений лингвистической переменной
«совпадение
с потенциальным
качеством»
Существенное
или сильное
совпадение
(соответствие)
Опыт и суждения подтверждают существенное
(сильное) совпадение
альтернатив, существуют
хорошие доказательства
и логические критерии,
которые указывают на это
Существенное,
сильное, надежное
Окончание табл. 7.1
Числовое
значение
7
9
Определение
Объяснение
Множество возможных значений лингвистической переменной
«совпадение
с потенциальным
качеством»
Значительное
совпадение
(соответствие)
Совпадение настолько
сильное, что оно становится практически значительным; существуют убедительные свидетельства
совпадения альтернатив
Значительное,
очень сильное,
убедительное
Абсолютное
совпадение
(соответствие)
Очевидность совпадения
альтернатив подтверждается наиболее сильно; максимально подтверждается
ощутимость совпадения;
свидетельство в пользу совпадения в высшей степени
убедительно
Абсолютное,
максимальное,
очевидное
Промежуточные значения
2, 4, 6, 8 между соседними значениями
Компромиссный случай
На базе шкалы, представленной в табл. 7.1, графически заданы функции принадлежности нечетких множеств m(u), описывающих значения лингвистической переменной В^ = «совпадение
с потенциальным качеством» (рис. 7.1). Для их построения
использована известная и апробированная процедура построения
функций принадлежности на основе экспертных оценок.
Процедура подкрепляется результатами экспертно-статистического
исследования и позволяет строить функции принадлежности µTB
термов B в виде p-формы (рис. 7.1, б) ). Возможно использование других
аналогичных методик построения функций принадлежности, включая
µTB с Т-формой (рис. 7.1, а). В настоящем пособии используется p-форма
функций принадлежности термов лингвистической переменной
В^, как обеспечивающая наибольшую «осторожность» перехода от
вербальных к числовым значениям B в силу выпуклого вниз характера
экспоненциальной функции (см. рис. 7.2), применяемой для построения
µTB :
49
а)
б)
µ(U)
µ(U)
1
1
0
U1
U
0
U
U1
Рис. 7.1. Функции принадлежности нечетких множеств:
а – Т-формы и б – p-формы
µT (U)
1
0,5
b^
0
U
T
Рис. 7.2. Выпуклый характер и расстояние между точками
перехода функции принадлежности µTB (U)
µT B (U) = exp(−a(T − U)2 ) ïðè a = 4Ln
0,5
,
(7.2)
b ^2 где Т – числовое значение терма для µTB = 1 в соответствии со шкалой,
приведенной в табл. 7.1; а – коэффициент, b^ – расстояние между точ
50
ками перехода, т. е. точками, в которых функция вида (7.2) принимает
значение 0,5.
Результаты расчета функций принадлежности термов лингвистической переменной В^ («совпадение с потенциальным качеством») на основании (7.2) представлены в табл. 7.2.
Таблица 7.2
Значения функций принадлежности термов лингвистической переменной В^ – «совпадение с потенциальным качеством» для шкалы оценивания элементарных показателей
Параметры функций принадлежности
№
п/п
Терммножество
В^
Т
b^
Табл. 7.1
По методике из [10]
µTB (U)
а
Формула (7.2)
2
1
«Слабое»
1
≈0,46
»–13,1
B
µT
(U) = e −13,1(1−U )
2
«Умеренное»
3
≈1,38
»–1,46
B
µT
(U) = e −1,46(1−U )
3
«Существенное»
5
≈2,80
»–0,35
B
µT
(U) = e −0,35(1−U )
4
«Значительное»
7
≈3,22
»–0,27
B
µT
(U) = e −0,27(1−U )
5
«Абсолютное»
9
≈4,14
»–0,16
B
µT
(U) = e −0,16(1−U )
2
2
2
2
При этом функции принадлежности термов B^ отвечают требованиям, предъявляемым к лингвистическим переменным:
B
B
µT
1 (U1 ) = 1; µT 5 (U5 ) = 9; (∨β^ ∈ B ^ \ {β ^})
(7.3)
B
(0 < sup u ∈U µT
∩T (U) < 1);
i
i +1
(7.4)
B
(∨β ^ ∈ B ^) (u ∈U) : (µT
(U) = 1); (7.5)
(∨ B ^) (u1 ∈ R1 ) (u2 ∈ R2 ) ((u ∈U)(u1 < u < u2 )). (7.6)
51
Несовпадение Слабое
Умеренное
Существенное
Значительное
Абсолютное
µ
1
0,8
0,6
0,4
0,2
0
0
1
2
3
4
5
6
7
8
9
U
Рис. 7.3. Функции принадлежностей термов лингвистической переменной
(В^ – «совпадение с потенциальным качеством»)
Графически функции принадлежности нечетких множеств,
описывающих значения лингвистической переменной «совпадение
с потенциальным качеством», представлены на рис. 7.3.
Таким образом, наличие шкалы оценивания, представленной
в табл. 7.1, и соответствующей ей лингвистической переменной
позволяет учесть нечеткость исходной информации от экспертов
в процессе оценки качества. Отсюда становится возможным
оценивать качество в условиях нечеткости исходной информации.
Целью учета нечеткости исходной информации является адаптация
методики оценки качества к качественному характеру и нечеткости
оценок экспертов путем отображения их в виде значений функции
принадлежности µTB(U) термов лингвистической переменной В^. Частные показатели оцениваются в соответствии со шкалой (0,9) (см. табл.
7.1), в удобных для эксперта терминах и переводятся инженером-системотехником в соответствующие термы лингвистической переменной В^.
Значения оценок вышестоящих показателей рассчитываются
в соответствии с формулой (3.8) по соответствующим значениям локальных или глобальных приоритетов. При этом необходимо указать, что функция принадлежности µTB(U) вышестоящего в иерархии показателя рассчитывается в соответствии с правилами операций над нечеткими числами с использованием уровневых множеств. Использование этих операций предпочтительно в силу монотонного характера экспоненциальной функции, использованной
для описания µTB(U) в формуле (7.2).
52
p-форма µTB(U) содержит два участка одинаковой монотонности
(возрастающий и убывающий), что позволяет каждый участок монотонности описать конечным числом М точек, при этом для каждого участка монотонности minM = 2. Соответственно, при необходимости получения более точной формы функции принадлежности
необходимо увеличивать значение М до необходимой точности.
Сущность выполнения операций над нечеткими числами с использованием уровневых множеств применительно к рассматриваемой задаче сводится к следующему:
1) участки одинаковой монотонности функций принадлежности
µTB1(U), …,µTB2(U), …,NµTBN(U) показателей c1, …,ci, …,cN (где N –
число показателей, участвующих в рассматриваемой декомпозиции
сложного показателя c0 c µT(z), описываются последовательностью
точек:
{
} {
}
 u1,u2 , ...,ui , ...,u M , ..., u1,u2 , ...,ui , ...,u M , 
1 1
1
1
j j
j
j

;
1
2
i
M

 ..., uN ,uN , ...,uN , ...,uN


{
}
(7.7)
2) для соответствующих по монотонности участков функций
принадлежности нечетких чисел оценки показателей, участвующих
в декомпозиции c0 , из точек, удовлетворяющих условию:
B1
B2
BN
µT
(u1 ) = µT
(u2 ) = ... = µT
(uN ), (7.8)
формируются уровневые множества U:
{
i
Ui = u1i , ...,uji , ...,uN
}
(i = 1 ÷ M); (7.9)
3) на базе каждого i-го уровневого множества, после умножения его элементов на соответствующий числовой вектор локальных
приоритетов вида (6.3), рассчитывается поточечно функция
принадлежности нечеткого числа оценки качества интегрального
показателя C0 в соответствии с формулой:
B1 i
µ N (z) = sup N min(µT
(u1 ), ...
i
z = ∑ uj
∑ Tj
j =1
i =1
Bj i
BN i
..., µT
(uj ), ..., µT
(uN )) ïðè
N
∑ Tj = T ′.
j =1
(7.10)
53
Получаемые оценки групповых и интегрального показателей
в иерархической сети G в виде нечетких чисел накладываются на
шкалу лингвистической переменной В^ и интерпретируются путем
анализа итогового совпадения значения оценки с идеальной моделью объекта оценки. В данном пособии в качестве допущения принято, что лингвистическая переменная В^ = «совпадение с потенциальным качеством» имеет одинаковые функции принадлежности,
описывающие ее значения для всех свойств сети G.
Однако на практике, при необходимости более «тонкого» анализа
объекта в условиях нечеткости, функции принадлежности термов
В^ для различных показателей в сети G могут быть рассчитаны
на основе функций принадлежности термов В^ для элементарных
показателей (см. рис. 7.3) в соответствии с назначениями, устанавливаемыми экспертом для каждой конкретной узкой предметной
области оценки.
В качестве примера для композиции, представленной на рис. 7.4,
можно привести термы, указанные в табл. 7.3.
Наличие совокупностей функций принадлежностей термов
лингвистической переменной В^ для каждого показателя ci делает
возможным интерпретировать получаемую оценку качества в виде
нечеткого множества.
Здесь необходимо указать, что в силу узкой предметной
привязанности назначений перехода предложить универсальную
их форму невозможно.
При анализе и интерпретации результатов оценки качества
в условиях нечеткости возможны два принципиальных случая
С0
...
Сi
...
C1
C2
∧
B (C2)
C3
∧
B (C3)
∧
B (C1)
C4
∧
B (C4)
Рис. 7.4. Пример декомпозиции в иерархической сети показателей
(назначений перехода в термах лингвистических переменных)
54
Таблица 7.3
Пример вариантов назначений перехода
№
п/п
1
Результирующий терм
оценки B^(c1)
( B ^ (c2 ), B ^ (c3 ), B ^ (c4 )) → B ^ (c1 )
«Слабое»
 B ^ (c2 ) = "ñëàáîå"; Â ^ (c3 ) = "ñëàáîå";


 ^ (c4 ) = "íåñîâïàäåíèå"


èëè
Назначение перехода
 B ^ (c2 ) = "ñëàáîå"; Â ^ (c3 ) = " óìåðåííîå";


 ^ (c4 ) = "íåñîâïàäåíèå"


2
3
4
5
«Умеренное»
«Существенное»
«Значительное»
«Абсолютное»
B ^ (c2 ) = "óìåðåííîå";




=
=
Â
^
(
c
)
"
ñëàáîå
";
Â
^
(
c
)
"
ñëàáîå
"
3
4


èëè
B ^ (c2 ) = "ñóùåñòâåííîå";




 Â ^ (c3 ) = "ñëàáîå"; Â ^ (c4 ) = "íåñîâïàäåíèå"
B ^ (c2 ) = "ñóùåñòâåííîå";




 Â ^ (c3 ) = " óìåðåííîå"; Â ^ (c4 ) = "ñëàáîå"
èëè
B ^ (c2 ) = "ñóùåñòâåííîå";




 Â ^ (c3 ) = "ñóùåñòâåííîå"; Â ^ (c4 ) = " óìåðåííîå"
B ^ (c2 ) = "çíà÷èòåëüíîå";




=
=
Â
^
(
c
)
"
ñóùåñòâ
.";
Â
^
(
c
)
"
çíà÷èòåëüíîå
"
3
4


èëè
B ^ (c2 ) = "çíà÷èòåëüíîå";




  ^ (c3 ) = "çíà÷èòåëüíîå";  ^ (c4 ) = "ñóùåñòâ."
B ^ (c2 ) = "àáñîëþòíîå";




  ^ (c3 ) = "çíà÷èòåëüíîå";  ^ (c4 ) = "àáñîëþòí."
èëè
B ^ (c2 ) = "àáñîëþòíîå";




=
=
Â
^
(
c
)
"
àáñîëþòíîå
";
Â
^
(
c
)
"
àáñîëþòíîå
"
3
4


55
наложения кривой функции принадлежности оценки на шкалу
термов В^, представленные на рис. 7.5.
Для случая, приведенного на рис. 7.5, а, можно сделать вывод,
что по анализируемому показателю оцениваемый объект лучше
слабо совпадающего с идеальным, но хуже умеренно совпадающего
(так как мерой выступают степень совпадения данного показателя
качества с аналогичным у идеальной модели в сознании эксперта).
Для случая, приведенного на рис. 7.5, б, можно сделать вывод
о качестве объекта с соответствующей степенью принадлежности
как количественной характеристикой четкости этой информации:
качество объекта по анализируемому показателю (свойству)
соответствует желаемой следующим образом:
В^ = {«умеренно»/0,7;«существенно»/0,6}.
(7.11)
Следовательно, представленная методика позволяет:
а)
µТ (U)
1
Несовпадение
Слабое
Y
∧
Умеренное Существенное Значительное
U
0
µТ (U)
б)
1
Несовпадение
Слабое Умеренное
∧
Y
Существенное
Значительное
0,7
0,6
U
0
Рис. 7.5. Сравнение нечеткого значения оценки показателя качества
(свойства) оцениваемого объекта с термами лингвистической
переменной
56
− принять решение о качестве объекта оценки в условиях
нечеткости исходной информации;
− обеспечить естественную качественную интерпретацию
результатов количественного оценивания качества в рамках
принятой терминологической нотации термов лингвистической
переменной «совпадение с потенциальным качеством»;
− оперировать при работе с экспертами лингвистическими
переменными, т. е. вербальными терминами, более доступными для
употребления.
57
ЗАКЛЮЧЕНИЕ
Требование наиболее полноценного обеспечения удовлетворения
потребностей современного пользователя (потребителя) становится все более актуальным и всеобъемлющим. Именно поэтому понимание категории «качество», при решении задач автоматизации
и информатизации как совокупности свойств оцениваемого объекта
(явления, продукта и пр.), обусловливающих его возможности удовлетворять соответствующие потребности потенциальных потребителей, позволяет определить категорию «Система показателей оценки качества». Под ней понимается иерархическая структура частных (элементарных и групповых) показателей, характеризующих
отдельные свойства объекта оценки и обусловливающих его пригодность в отношении целей создания. Качество оценивается интегральным показателем, который является единственным и наивысшим по уровню иерархии групповым показателем, не являющимся
частным в отношении любого из рассматриваемых показателей.
Целью описания комплекса методик оценки качества было обоснование структуры и математической формы представления интегрального показателя качества при разработке формализованных
процедур обработки исходной качественной и нечеткой информации об элементарных свойствах рассматриваемых объектов оценки
в целях их четкой количественной оценки качества и недостатков.
Такой комплекс методик представляет собой инструментарий, программная реализация которого обеспечивает автоматизацию оценки качества на всех этапах процесса проектирования соответствующего ПО. При этом постулировано, что процедура оценки качества
состоит из трех взаимосвязанных этапов:
1) выявление четких количественных оценок экспертов в отношении структуры частных показателей и оценок отдельных частных показателей каждого из рассматриваемых объектов оценки на основе представленной экспертами исходной качественной
и нечеткой информации;
2) выявление иерархической структуры показателей качества;
3) оценка качества рассматриваемых объектов и выявление присущих им недостатков.
Сложность используемого математического аппарата, многошаговый характер процесса оценки качества, с одной стороны, и высокий уровень формализации всех этих процедур, – с другой, предопределяют необходимость освоения и использования в дальней58
шей практической деятельности инженеров по качеству инструментальных программных средств оценки качества. Реализация таких
мероприятий требует соответствующей квалификации сотрудников, постоянного организационного и технического контроля. Этот
факт, в свою очередь, предполагает достаточно высокий уровень
владения соответствующей специальной терминологией на высоком инженерно-научном уровне освоения.
Список рекомендуемой литературы
Гаврилова, Т. А. Интеллектуальные технологии в менеджменте: инструменты и системы: учеб. пособие / Т. А. Гаврилова, Д. И. Муромцев. 2-е
изд. СПб.: Изд-во «Высш. шк. менеджмента»; Изд. дом Санкт-Петерб. гос.
университета, 2008. 488 с.
Горский, Ю. М. Системно-информационный анализ процессов управления / Ю.М. Горский. Новосибирск: Наука. Сиб. отд-ние, 1988. 128 с.
Губинский, А.И. Надежность и качество функционирования эргатических систем / А. И. Губинский. Л.: Наука, 1982. 222 с.
Ивакин, Я. А. Информационные технологии в управлении качеством,
защита информации / Я. А. Ивакин. СПб.: ГУАП, 2013. 55 с.
Информационная технология. Автоматизированные системы. Термины
и определения. Информационная технология. Комплекс стандартов и руководящих документов на автоматизированные системы: ГОСТ 34.003-90.
Введ. 1991-01-01. М.: Комитет стандартизации и метрологии СССР, 1991.
144 с.
Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания: ГОСТ
34.601-90. Введ. 1990-12-29. Госстандарт СССР, 1990. (http://www.normacs.
ru/).
Куликовский, Л. Ф. Теоретические основы информационных процессов/ Л. Ф. Куликовский, В. В. Мотов. М.: Высш. шк., 2009. 264 с.
Липаев, В. В. Обеспечение качества программных средств. Методы
и стандарты / В. В. Липаев. М.: МГТУ «Станкин», 2010. 302 с.
Математическая энциклопедия: М.: Сов. энциклопедия, 1984. Т. 3. 1215
с.
Мелихов, А. Н. Ситуационные советующие системы с нечеткой логикой
/ А. Н. Мелихов, Л. С. Верштейн, С. Я. Коровин. М.: Наука, 2008. 272 с.
Юсупов, Р. М. Концептуальные и научно-методологические основы информатизации / Р. М. Юсупов, В. П. Заболотский. СПб.: Наука, 2009. 542 с.
59
Терминологический словарь1
Автоматизированное рабочее место (work station, workstation) –
рабочая станция – индивидуальный комплекс аппаратных и программных средств, предназначенный для автоматизации профессионального труда специалиста – картографа, проектировщика
электронных схем, оператора системы дальнего радиолокационного обнаружения и пр. Обычно в АРМ входит персональный компьютер и рабочая станция с графическим и/или текстовым дисплеем, графопостроитель и другие периферийные устройства. АРМ работает в составе локальной или территориальной сети (networked
workstation) или в автономном режиме (stand-alone workstation).
Алгоритм (algoritm) – формальная процедура, гарантирующая
получение оптимального или корректного решения.
Аппаратное обеспечение (hardware) – аппаратные средства, аппаратура, технические средства – техническое оборудование системы обработки информации (в отличие от ПО, процедур, правил и документации), включающее собственно компьютер и иные механические,
магнитные, электрические, электронные и оптические периферийные устройства или аналогичные приборы, работающие под ее управлением или автономно, а также любые устройства, необходимые для
функционирования системы (например, GPS-аппаратура, электронные картографические приборы и приборы геодезические). Общая организация взаимосвязи элементов аппаратного обеспечения вычислительных систем называется архитектурой (architecture), совокупность
функциональных частей – конфигурацией (configuration) системы.
Аппаратно-программное обеспечение (software/hardware –
«hard and soft») – программно-аппаратное обеспечение – совокупность аппаратного обеспечения системы обработки информации.
Архивирование (archiving), архивация – 1) Помещение данных
в архив на носителях (магнитных, магнитооптических и т. д.) для
хранения; 2) Упаковка (packing), компрессия (compression) – сжатие
файла(ов) с помощью специальных программ-упаковщиков (архиваторов) с целью экономии памяти и хранения резервной копии(й)
на носителе – флоппи-диске, стриммерной магнитной ленте, лазерном диске и т. д. Наиболее распространенные архиваторы – ARJ,
PKZIP, LHA, LHICE, RAR.
1 Словарь не претендует на исчерпывающую полноту, а только вводит базисные
категории для дальнейшего раскрытия данной терминологии.
60
База данных (data base) – совокупность данных, организованных по определенным правилам, устанавливающим общие принципы описания, хранения и манипулирования данными. Хранение
данных в БД обеспечивает централизованное управление, соблюдение стандартов, безопасность и целостность данных, сокращает избыточность и устраняет противоречивость данных. БД не зависит
от прикладных программ. Создание БД и обращение к ней (по запросам) осуществляют с помощью системы управления базами данных (СУБД). Программное обеспечение локальных вычислительных сетей (ЛВС) первоначально поддерживало режим работы, при
котором рабочие станции сети посылали запросы к БД, расположенной на обслуживающем их компьютере – файл-сервере, получали от него необходимые файлы, выполняли совокупность операций
поиска, выборки и корректировки – транзакций и отсылали файлы обратно. При другом режиме рабочие станции ЛВС выступают
в роли клиентов, а сервер БД полностью обслуживает запросы (как
правило, записанные на специальном языке) и отсылает клиентам
результаты, реализуя технологию клиент-сервер. БД может быть
размещена на нескольких компьютерах сети; в этом случае она называется распределенной БД (РБД), как и управляющая ею СУБД –
системой управления распределенными базами данных (СУРБД).
База знаний (knowledge base) – 1) Часть системы, основанной на
знаниях, или экспертной системы, содержащая экспертные знания.
2) Совокупность знаний о некоторой предметной области, на основе
которых можно проводить рассуждения. Основная часть экспертных систем, в которых с помощью баз знаний представляются навыки и опыт экспертов, разрабатывающих эвристические подходы
в ходе решения проблем. Обычно база знаний представляет собой
набор фактов и правил, формализующих опыт специалистов в конкретной предметной области и позволяющих на вопросы о ней давать ответы, которые в явном виде не содержатся в базе знаний.
Банк данных, БнД (databank, data bank) – информационная система централизованного хранения и коллективного использования данных. Содержит совокупность баз данных, СУБД и комплекс
прикладных программ. БнД называют локальным (local databank),
если он размещен в одном вычислительном центре или на одном
компьютере; распределенный БнД (distributed databank) – система
объединенных под единым управлением и посредством компьютерной сети территориально разобщенных локальных БнД. Картографические банки данных именуются также банками цифровых карт.
61
Векторное представление (vector data structure, vector data
model) – векторная модель данных – цифровое представление точечных, линейных и полигональных пространственных объектов
в виде набора координатных пар с описанием только геометрии объектов, что соответствует нетопологическому векторному представлению линейных и полигональных объектов, или геометрии и топологических отношений (топологии) в виде векторно-топологического представления; в машинной реализации векторному представлению соответствует векторный формат пространственных данных
(vector data format).
Взаимодействующие источники знаний (cooperating knowledge
sources) – специализированные модули в экспертной системе, которые независимо анализируют данные и взаимодействуют друг
с другом через центральную структурированную базу данных, называемую доской объявлений.
Графическая форма представленных данных (graphic form) –
форма представленных данных на устройствах графической
регистрации (графопостроителях) и графического отображения
(дисплеях) в виде графических знаков.
Графический интерфейс пользователя (graphical user interface,
GUI) – графический пользовательский интерфейс, GUI-интерфейс –
графическая среда организации взаимодействия пользователя
с вычислительной системой. К основным элементам Г.и.п. относятся: рабочий стол (desktop), окна, меню, линейки инструментов, или
инструментальные линейки, планки инструментов (tool bar), представляющие собой наборы пиктограмм, выбор которых инициирует какое-либо действие, линейки прокрутки (scroll bar) и элементы
управления (controls): кнопки (buttons), в том числе кнопки команд
(command buttons), кнопки настройки (options buttons), переключатели (radio buttons), наборы значений (value sets), выключатели
(check boxes), списки (list boxes), текстовые зоны (text boxes), спиннеры (spinners) и др.
Графический объект (graphics object) – 1) Модель объекта реального мира, представленная в виде графического изображения; 2) Совокупность графических примитивов, обычно соответствующих одному объекту отображаемой сцены.
Данные (datum, pl. data) – 1) Зарегистрированные факты, описания явлений реального мира или идей, которые представляются достаточно ценными для того, чтобы их сформулировать и точно зафиксировать. 2) Информация, представленная в виде, пригод62
ном для обработки автоматическими средствами при возможном
участии человека; факты, понятия или команды, представленные
в формализованном виде, позволяющем осуществить их передачу,
интерпретацию или обработку как вручную, так и с помощью систем автоматизации. Данные о пространственных объектах, снабженные указанием на их локализацию в пространстве (позиционными атрибутами), носят наименование пространственных, или географических, данных.
Документ – материальный носитель документированной
информации.
Документированная информация – зафиксированная на
материальном носителе информация с реквизитами, позволяющими
ее идентифицировать. Дополнительный (вспомогательный) элемент
информационной инфраструктуры – системы обеспечения
развития и функционирования информационной инфраструктуры.
Естественный язык (natural language) – стандартный метод обмена информацией между людьми, например английский язык
в отличие от искусственных языков, таких как языки программирования.
Запрос (query, request) – задание на поиск (retrieval) данных в базе данных, отвечающих некоторым условиям. Запрос формулируется посредством языка общения пользователя с СУБД – языка запросов (query language), запроса по шаблону (query-by-example, QBE) или
иным способом. В процессе выполнения запроса могут проводиться
дополнительные действия (если это позволяет язык запроса): сортировка, вычисления и пр. Стандартный язык запроса (SQL) реляционных СУБД. Поиск пространственных объектов по условиям, содержащим координаты, осуществляется по пространственному запросу (spatial query) на поиск объектов в окне прямоугольной, круглой
или произвольной формы.
Защита информации – деятельность, направленная на
предотвращение утечки защищаемой информации, а также
несанкционированных и непреднамеренных воздействий на нее.
Защищенность информации – это состояние, в котором
безопасность обеспечивается путем проведения комплекса
мероприятий
по
обеспечению
сохранности
информации,
возможности ее обработки и использования по назначению,
а также по предотвращению несанкционированного доступа
и использования этой информации. Защищенность информации –
одно из главных и решающих условий обеспечения безопасности
63
информации,
достигается
путем
предотвращения
угроз
информационной безопасности.
Знания (knowledge) – информация, необходимая программе для
того, чтобы эта программа вела себя интеллектуально.
Инженер знаний (knowledge engineer) – человек, который проектирует или создает экспертную систему. Обычно это специалист
по информатике, имеющий опыт применения прикладных методов
искусственного интеллекта.
Инженерия знаний (knowledge engineering) – процесс, технология создания экспертных систем.
Инструментальные средства инженерии знаний (tools for
knowledge engineering) – системы программирования, упрощающие разработку экспертных систем. Они включают языки, программ и средства поддержки, облегчающие труд инженера знаний.
Интерпретатор (interpreter) – в экспертных системах – часть механизма вывода, которая решает, каким образом применять предметные знания. В программировании – часть ПО, анализирующая
программу, чтобы решить, какие затем предпринять действия.
Интерфейс (interface) – совокупность средств и правил, обеспечивающих взаимодействие вычислительных систем, входящих в их состав устройств, программ, а также пользователя с системой; последний носит особое название – интерфейс пользователя (user interface),
в современных программных средствах оформляется графически.
Информационная инфраструктура – часть структуры
информационного пространства, которая обеспечивает создание
и циркуляцию информационных потоков в пространстве. Основные
характеристики информационной инфраструктуры:
– информационная безопасность – 1) Состояние объекта, когда
путем воздействия на его информационную сферу (инфосферу) ему
невозможно нанести существенный ущерб или вред; 2) Свойство объекта,
характеризующее его способность не наносить существенного ущерба
какому-либо объекту путем воздействия на инфосферу этого объекта;
– информационная деятельность – производство информационного продукта и оказание информационных услуг. Виды информационной деятельности;
– информационное взаимодействие – взаимодействие материальных объектов, при котором генерируются и осваиваются идеальные категории (смысл, значения, образы, эмоции). При
информационном взаимодействии знания изменяются хотя бы у
одного из взаимодействующих объектов.
64
Информационное обеспечение (information support) – совокупность массивов информации (баз данных, банков данных и иных
структурированных наборов данных), систем кодирования, классификации и соответствующей документации, обслуживающая систему обработки данных (наряду с программным и аппаратным обеспечением). И.о. ГИС включает поиск и оценку источников данных,
накопление данных, выбор методов ввода данных в машинную среду, проектирование баз данных, ее ведение и метасопровождение.
Информация (information) – 1) Совокупность знаний о фактических данных и зависимостях между ними; «сведения, являющиеся
объектом некоторых операций; передачи, распределения, преобразования, хранения или непосредственного использования». 2). В вычислительной технике: содержание, присваиваемое данным посредством соглашений, распространяющихся на эти данные; данные,
подлежащие вводу в компьютер, обрабатываемые пользователю.
Законы, методы и способы накопления, обработки и передачи информации с помощью компьютеров и иных технических устройств,
изучаются информатикой (informatics, computer science), а в приложениях к проблематике ГИС – геоинформатикой.
Искусственный интеллект – И.и. (artificial intelligence, Al) – общее
понятие, описывающее «способность вычислительной машины моделировать процесс мышления за счет выполнения функций, которые
обычно связывают с человеческим интеллектом». Сюда не входят задачи, для которых известна процедура решения (интегрирование обыкновенных дифференциальных уравнений, решение системы линейных
уравнений и т. д.). Обычно к сфере И.и. относят построение и использование экспертных систем, логический вывод (доказательство теорем
и правильности программ), понимание естественных языков, зрительное и слуховое восприятие. Иногда считается, что элементы И.и. реализуются в некоторых пространственно-аналитических и геомоделирующих блоках и причисляются к функциональным возможностям ГИС.
Исчерпывающий поиск (exhaustive search) – метод решения,
при котором все возможные решения последовательно перебираются каким-либо примитивным способом, пока не будет найдено приемлемое решение.
Исчисление предикатов (predicate calculus) – формальный язык
классической логики, который использует функции и предикаты
для описания отношений между отдельными сущностями.
Классическая парадигма теории управления – парадигма теории управления, построенная на интерпретации процессов управ65
ления в рамках контура управления: субъект управления, управляющее воздействие, объект управления, обратная связь.
Конечный пользователь (end-user) – человек, который использует законченную экспертную систему: человек, для которого разработана система.
Коэффициент уверенности (certainty factor) – число, которое означает вероятность или степень уверенности, с которой можно считать данный факт или правило достоверным или справедливым.
Макрос – (macro, macro instruction, macrocommand, macrocode) –
макрокоманда – 1) В интерактивных системах – команда, вызывающая выполнение последовательности других команд; 2) Выражение программы, вместо которого подставляется текст, заданный
макроопределением (например, команда языка ассемблера, транслируемая в несколько машинных команд).
Мастерство (skill) – результативное и умелое применение знаний, умений и навыков для получения решений в некоторой предметной области.
Меню (menu) – изображение на видеоэкране списка команд, их
параметров и иных возможностей (опций) для выбора пользователем следующего действия системы путем указания им выбранной
опции средствами управления курсором: клавишами клавиатуры,
манипулятором типа «мышь» или иным устройством управления;
один из основных элементов графического интерфейса пользователя и одно из средств реализации интерактивного режима взаимодействия пользователя вычислительной системой в отличие от командного интерфейса (command, command mode). Различают четыре основных типа меню: ниспадающие, или выдвижные, меню,
спускающиеся, опускающиеся меню (drop-down menu, pull-down
menu), раскрывающие список подопций выбранной опции планки
меню; каскадное меню (cascaded menu) как ответвления ниспадающей опции меню; раскрывающиеся, или всплывающие, меню (popup menu, floating menu), появление которых в любом месте видеоэкрана инициируется обычно правой кнопкой мыши; отрывное
меню (tear-off menu) – каскадные, или всплывающие, меню, которые могут быть захвачены и отбуксированы в любое место экрана.
Метазнания (metaknowledge) – знания экспертной системы
о том, как эта система работает или рассуждает. В более широком
смысле – знания о знаниях.
Метаправило (metarule) – правило, описывающее, каким образом
другие правила должны быть использованы или модифицированы.
66
Метод вывода (inference engine) – методы, используемые в механизме вывода для доступа к предметным знаниям, например прямая или обратная цепочка вывода.
Механизм вывода (inference engine) – та часть экспертной системы, в которой содержатся общие знания о схеме управления решением задач.
Механизм объяснения (explanation facility) – часть экспертной
системы, которая объясняет, каким образом были получены решения, и обосновывает действия, принятые для их получения.
Множественные линии рассуждений (multiple lines of reasoning) –
метод получения решения, при котором используется ограниченное
число (возможно, не зависящих друг от друга) разных подходов к решению задачи.
Объект (object) – 1) Определенная часть реальной действительности (предмет, процесс, явление); 2) Экземпляр класса (в объектноориентированном подходе к созданию программных систем).
Объекты информатизации – объекты вычислительной техники,
аттестованные на соответствие требованиям по защите информации (включая выделенные помещения), автоматизированные рабочие места.
Онтология – 1) Совокупность понятий предметной области и связей
между ними; 2) Структура данных информационно-программной системы, определяющая как возможности по обработке данных, так и существо информационного взаимодействия компонент этой системы.
Опасность для информации – свойство объекта (субъекта),
характеризующее его способность нанести информации существенный ущерб.
Отсечение решений (pruning) – уменьшение числа возможных
вариантов, обычно используется для сужения выбора в ветвящейся
древовидной структуре.
Переформулирование задачи (problem reformulation) – преобразование задачи, сформулированной некоторым образом, в форму,
которая способствует более быстрому и эффективному решению.
Пользователь (user) – человек, использующий экспертную систему, например: конечный пользователь, эксперт, инженер знаний, разработчик инструмента или лаборант.
Правило (rule) – формальный метод определения рекомендаций,
указаний или стратегий поведения в формате ЕСЛИ (предпосылка),
ТО (заключение) или ЕСЛИ (условие), ТО (действие).
67
Предметные знания (domain knowledge) – знания о предметной
области, например геологические знания в экспертной системе для
поиска месторождений.
Представление (representation) – процесс формулирования или
описывания проблемы таким образом, чтобы ее было легко решить.
Представление знаний (knowledge representation) – процесс
структурирования предметных знаний с целью облегчить поиск решения задачи.
Проблема размерности (scaling problem) – трудность, связанная
с попыткой применить методы решения, разработанные для упрощенной версии задачи, к самой реальной задаче.
Программа (program, routine) – 1) Данные, предназначенные для
управления конкретными компонентами системы обработки данных в целях реализации определенного алгоритма; 2) Упорядоченная последовательность команд, подлежащих обработке, последовательность предложений языка программирования (programming
language). Совокупность программы по понятию (1) и документации к ним образует программное обеспечение.
Программное обеспечение – ПО (software) – математическое
обеспечение, программные средства – совокупность программ системы обработки информации и программных документов, необходимых при эксплуатации этих программ; различают общее, в том
числе системное ПО (system software), и прикладное ПО (application
software).
Пространственный процесс – процесс человеческой деятельности,
который развивается одновременно во времени и в координированном
пространстве.
Прямая цепочка рассуждений (forward chaining) – метод вывода, в котором правила сопоставляются с фактами и устанавливают
новые факты.
Реальная задача (real-world problem) – сложная практическая
задача, решение которой полезно и в некотором смысле оправдывает затраты на его получение.
Робастность (robustness) – способность решателя задач лишь
постепенно снижать качество своей работы по мере приближения
к границам области компетентности или допустимой надежности
данных.
Секретность информации – особый режим доступа к информации, предполагающий строго ограниченный круг лиц для ознакомления с нею.
68
Семантическая сеть (semantic net) – метод представления знаний
посредством сети узлов, соответствующих понятиям или объектам,
связанных дугами, описывающими отношения между узлами.
Сеть вывода (inference net) – совокупность всех цепочек вывода,
которые можно получить из правил (в системе, основанной на правилах).
Символ (symbol) – цепочка знаков, представляющая некоторое
понятие реального мира.
Символьное рассуждение (symbolic reasoning) – процесс решения задачи, основанный на применении стратегий и эвристик для
манипулирования символами, означающими понятия проблемной
области.
Система управления базами данных – СУБД (data base
management system, DBMS). Комплекс программ и языковых
средств, предназначенных для создания, ведения и использования баз данных. СУБД поддерживают, как правило, одну из трех
наиболее распространенных моделей (схем) данных (data models):
реляционную (relational data model), иерархическую (hierarchical
data model) или сетевую (network data model). Большинство современных коммерческих СУБД относится к реляционному типу. Необходимость хранения сложных данных, включающих видео, звук,
привела к появлению объектно-реляционных СУБД. В многопользовательских, многозадачных операционных системах СУБД обеспечивают совместное использование данных. Языковые или иные
средства СУБД поддерживают различные операции с данными,
включая ввод, хранение, манипулирование, обработку запросов,
поиск, выборку, сортировку, обновление, сохранение целостности
и защиту данных от несанкционированного доступа или потери.
Используется как средство управления атрибутивной частью пространственных данных ГИС; как правило, это коммерческие реляционные СУБД (relational DBMS, RDBMS), в которых пользователь
воспринимает данные таблицы (называемые поэтому таблицами реляционных баз данных, или, не вполне правильно, реляционными
таблицами, таблицами атрибутивных данных).
Система, основанная на знаниях (knowledge-based system) – программа, в которой предметные знания представлены в явном виде
и отделены от прочих знаний программы.
Ситуативное управление – научная теория и технология организации управления многосложными объектами, альтернативная классической теории и технологии управления. Ситуационное
69
управление предполагает рассмотрение системы управления как открытой системы, в которой реакция на те или иные ситуации с объектом управления определены не для полного перечня альтернатив,
а лишь для релевантного (с точки зрения текущей практики.) При
этом предусматриваются механизмы обработки и учета с участием
лица, принимающего решения, вновь возникающих ситуаций.
Ситуация – взаимное положение объектов и процессов моделируемой предметной области в заданный момент времени.
Слот (slot) – атрибут, связанный с узлом в системе, основанной на
фреймах. Узел может означать объект, понятие или событие; например, узел, представляющий объект «служащий», может иметь слот
с атрибутом имя и слот с атрибутом адрес. В этих слотах должны
быть записаны действительные имя и адрес служащего.
Средства поддержки (support environment) – программы и аппаратура, связанные со средствами построения экспертной системы, помогающие пользователю взаимодействовать с экспертной системой.
К ним относятся сложные отладочные средства, удобные программы
редактирования и развитые устройства графического вывода.
Технические демаскирующие признаки – особенности объекта
защиты от технических разведок, регистрируемые и (или) фиксируемые в процессе технической разведки, демаскирующие объект защиты и (или) раскрывающие его охраняемые сведения.
Топологизация (topolization) – автоматическая или интерактивная процедура построения топологии при преобразовании векторных нетопологических представлений (моделей) в векторные топологические; может сходить в состав операций векторизации.
Топология (topology, analysis situs) – ветвь геометрии, изучающая
те свойства фигур, которые опираются на понятие бесконечной близости. Всякое понятие, которое можно сформулировать в терминах
бесконечной близости. Всякое понятие, которое можно сформулировать в терминах бесконечной близости, есть топологическое понятие. Таковы, например, понятия непрерывности и предела в анализе,
понятие линии и поверхности в геометрии. Топология изучает топологические свойства, т. е. свойства, не нарушающиеся ни при каких
взаимно-однозначных и взаимно-непрерывных преобразованиях.
Угроза безопасности информации – совокупность условий
и факторов, создающих потенциальную или реальную существующую опасность, связанную с утечкой информации и или несанкционированныи и/или непреднамеренным воздействием на нее.
70
Универсальный язык инженерий знаний (general-purpose
knowledge engineering language) – компьютерный язык, разработанный для построения экспертных систем и содержащий конструкторы, позволяющие применять его в разных прикладных областях и для разного типа систем.
Формат данных (data format) – способ представления данных
вне и в памяти компьютера.
Фрейм (frame) – метод представления знаний, который связывает
свойства с узлами, представляющими понятия и объекты. Свойства
описываются атрибутами (называемыми слотами) и их значениями.
Цепочка вывода (inference chain) – последовательность шагов
или предметных правил, используемых в системе, основанной на
правилах, чтобы достичь заключения.
Эвристика (heuristic) – эмпирическое правило, упрощающее
или ограничивающее поиск решений в предметной области, которая является сложной или недоступной ясному пониманию.
Эксперт (domain expert) – человек, который за годы обучения
и практики научился чрезвычайно эффективно решать задачи, относящиеся к конкретной предметной области.
Экспертная система (expert system) – 1) Компьютерная программа, использующая экспертные знания для обеспечения высокоэффективного решения задач в некоторой узкой предметной области. Такие программы, как правило, представляют знания символически, исследуют и объясняют свои процессы рассуждения
и предназначены для тех предметных областей, в которых людям
для достижения мастерства необходимы годы специального обучения и практики; 2) Система искусственного интеллекта, включающая базу знаний с набором правил и механизм, или машину вывода
(inference engine), позволяющая на основании правил и предоставляемых пользователем фактов распознать ситуацию, поставить диагноз, сформулировать решение или дать рекомендацию.
Язык обработки текстов (symbol-manipulation language) – компьютерный язык, разработанный специально для представления
и манипулирования сложными концепциями. Примерами служат
Лисп и Пролог.
Язык программирования (programming language) – искусственный язык, разработанный для управления выполнением операций
компьютера.
71
Термины, необходимые для понимания теоретической информации курса
Объективно, как и в любой предметной области, в информатизации и автоматизации процессов управления качеством существует ряд смежных (междисциплинарных) аспектов. Свойственная им
терминология в данном пособии отнесена к группе дополнительных
терминов. В ней можно выделить следующие основные подгруппы:
– термины законодательных актов, нормативно-технических документов и документов технического регулирования в сфере автоматизации и информатизации;
– терминология системного подхода, теории организационнотехнических систем и других теорий системного анализа, применяемых при обосновании и организации процессов автоматизации
управления качеством;
– термины современной квалиметрии и параметрического анализа.
Системоформирующим фактором выделения этой группы терминов является общность целей изучения, объема и структуры содержания изучаемого объекта – информатизации и автоматизации
процессов управления качеством. Данная группа терминов является очень большой и наименее систематизированной и, в силу ее тривиальности и обширности, в пособии полноценно не детализируется. Ниже приведены термины, о которых студенты заочной формы
обучения должны иметь представление. Данная группа терминов
является смежной с терминологическим базисом дисциплины «Автоматизированные системы контроля качества».
В группе дополнительных терминов используются следующие
основные понятия с соответствующими определениями:
Автоматизированная система в защищенном исполнении (АСЗИ:
по ГОСТ Р 51583-2000). Автоматизированная система, реализующая
информационную технологию выполнения установленных функций
в соответствии с требованиями стандартов и/или нормативных документов по защите информации.
Автоматизированная система (АС) – система, состоящая из персонала и комплекса средств автоматизации его деятельности, реализующая
информационную технологию выполнения установленных функций.
Автоматизированное рабочее место обучающегося (АРМО) – аппаратно-программный комплекс системы «человек-машина», предназначенный для реализации дидактических функций при решении задач обучения и интеллектуальной тренажерной подготовки.
72
Автоматизированное учебное занятие (АУЗ) – учебное мероприятие
(теоретическое или практическое занятие) с использованием ПЭВМ, основой которого является работа обучаемого с компьютерной обучающей
программой, самостоятельно или под руководством преподавателя.
Алгоритм деятельности. алгоритм деятельности оператора
в системе «человек-машина» (по ГОСТ 26387–84) – предписание,
определяющее содержание и последовательность действий оператора в системе «человек-машина».
Аппаратно-программный имитатор пультовых приборов (АПИ ПП) –
предназначен для имитации органов управления, средств отображения информации, документирования и регистрации данных штатных пультовых
приборов некоторого изделия, обеспечивающий отработку обучаемыми всего комплекса операторских навыков по использованию, диагностированию технического состояния и локализации неисправностей
данного изделия.
Аппаратно-программный имитатор (АПИ) – программно-технический комплекс, предназначенный для решения задач, обеспечивающих частичную или полную имитацию (с заданной степенью
адекватности) функционирования образца вооружения или военной техники в интересах тренажерной отработки всего комплекса
операторских функций, включая сенсорно-моторные навыки.
Библиотека программ (по ГОСТ 19781–90) – организованная совокупность программ или частей этих программ, а также, возможно, информации, относящейся к их использованию.
Диалоговый режим (по ГОСТ 34.003–90) – режим выполнения
функций автоматизированной системой (АС), при котором человек
управляет решением задачи, изменяя ее условия и (или) порядок
функционирования АС на основе оценки информации, предоставляемой ему техническими средствами АС.
Имитационная модель – программа, которая реализует математическую (формальную) модель объекта (процесса), представляющую алгоритмическое описание (в соответствии с заданным уровнем детализации) динамики функционирования элементов объекта
(процесса) и их взаимодействия друг с другом и с внешней для моделируемого объекта (процесса) средой.
Интерфейс человеко-машинный (по ГОСТ РВ 29.05.007–96) –
комплекс программных и технических средств, посредством которых осуществляется диалоговый режим выполнения функций АСУ.
Комплекс программ – КП (по ГОСТ 19.101–77) – программа,
состоящая из двух или более компонентов и (или) комплексов, вы73
полняющих взаимосвязанные функции, и применяемая самостоятельно или в составе другого комплекса.
Компонент (по ГОСТ 19.101–77) – программа, рассматриваемая
как единое целое, выполняющая законченную функцию
и применяемая самостоятельно или в составе комплекса.
Компьютерная обучающая программа (КОП) – программа,
предназначенная для решения определенных педагогических
задач посредством использования информационных технологий
гипермедиа, имеющая предметное содержание и ориентированная
на интерактивное взаимодействие с обучающимся.
Компьютерная система обучения (КСО) – автоматизированная
система для целей автоматизированного обучения.
Лингвистическое обеспечение автоматизированной системы (по
ГОСТ 34.003–90) – совокупность средств и правил для формализации
естественного языка, используемых при общении пользователей
и эксплуатационного персонала автоматизированной системы (АС)
с комплексом средств автоматизации при функционировании АС.
Математическое обеспечение (по ГОСТ 34.003–90) – совокупность математических методов, моделей и алгоритмов, примененных
в автоматизированной системе.
Оператор системы «человек-машина». Человек-оператор СЧМ
(по ГОСТ 26387–84) – человек, осуществляющий трудовую деятельность, основу которой составляет взаимодействие с объектом воздействия, машиной и средой на рабочем месте при использовании
информационной модели и органов управления.
Орган управления (по ГОСТ 26387–84) – техническое средство
в СЧМ, предназначенное для передачи воздействий от оператора
системы «человек-машина» к машине.
Ошибка оператора (по ГОСТ 26387–84) – неправильное выполнение или невыполнение оператором системы «человек-машина»
предписанных действий.
Программная документация – ПД (по ГОСТ 19.101–77) – документы, содержащие сведения, необходимые для разработки,
изготовления, сопровождения и эксплуатации программ.
Программный имитатор (ПИ) – программа, предназначенная
для решения задач, обеспечивающих частичную (с заданной степенью адекватности) или полную имитацию функционирования образца вооружения или военной техники в интересах интеллектуальной тренажерной подготовки операторов к практическому исполнению функциональных обязанностей.
74
Программный модуль – ПМ (по ГОСТ 19781–90) – программа или функционально завершенный фрагмент программы,
предназначенный для хранения, трансляции, объединения с другими
программными модулями и загрузки в оперативную память.
Пульт управления – ПУ (по ГОСТ 26387–84) – элемент рабочего
места оператора СЧМ, на котором размещены средства отображения
информации и органы управления системы «человек-машина».
Система «человек-машина» – СЧМ (по ГОСТ 26387–84) – система, включающая в себя человека-оператора СЧМ, машину,
посредством которой он осуществляет трудовую деятельность,
и среду на рабочем месте.
Специализированный тренажер – СТ (по ГОСТ 26387–84) – тренажер оператора системы «человек-машина», предназначенный для
подготовки оператора системы «человек-машина» к выполнению
деятельности по определенной специальности.
Средства отображения информации – СОИ (по ГОСТ 26387–84) –
устройство в системе «человек-машина», предназначенное для восприятия оператором сигналов о состоянии объекта воздействия, системы «человек-машина» и способов управления ими.
75
СОДЕРЖАНИЕ
Предисловие............................................................... Введение..................................................................... 1. Основной инструментарий автоматизации оценки
качества..................................................................... 2. Методика определения состава частных, групповых
и интегрального показателей для оценки качества............ 3. Методика определения вида групповых и интегрального
показателей качества ................................................... 4. Методика построения иерархической сети показателей
качества..................................................................... 5. Методика структурной адаптации иерархической
сети показателей качества ............................................ 6. Методика оценки значимости показателей качества
и удаления малозначимых показателей........................... 7. Методика учета нечеткости исходной информации
о показателях качества................................................. Заключение................................................................ 3
5
6
11
21
26
32
39
47
58
Список рекомендуемой литературы ................................ 59
Терминологический словарь.......................................... 60
Термины, необходимые для понимания теоретической
информации курса....................................................... 72
Документ
Категория
Без категории
Просмотров
5
Размер файла
3 009 Кб
Теги
0b79c281d6, ivakin
1/--страниц
Пожаловаться на содержимое документа