close

Вход

Забыли?

вход по аккаунту

?

231.Вестник Томского государственного университета. Управление, вычислительная техника и информатика №1 2013

код для вставкиСкачать
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО
МИНИСТЕРСТВО
ОБРАЗОВАНИЯ УНИВЕРСИТЕТА
И НАУКИ РФ
Управление, вычислительная техника и информатика
2013
№ 1(22)
ВЕСТНИК
ТОМСКОГО
ГОСУДАРСТВЕННОГО
УНИВЕРСИТЕТА
УПРАВЛЕНИЕ,
ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
И ИНФОРМАТИКА
TOMSK STATE UNIVERSITY
JOURNAL OF CONTROL AND COMPUTER SCIENCE
Научный журнал
2013
№ 1(22)
Свидетельство о регистрации: ПИ № ФС 77-29497
от 27 сентября 2007 г.
НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ
ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
2
ПРЕДИСЛОВИЕ
РЕДАКЦИОННАЯ КОЛЛЕГИЯ ЖУРНАЛА
«ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА.
УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАТИКА»
Горцев А.М., д-р техн. наук, проф. (председатель); Смагин В.И., д-р техн. наук, проф.
(зам. председателя); Лопухова С.В., канд. физ.-мат. наук, доц. (отв. секретарь); Агибалов Г.П.,
д-р техн. наук, проф.; Дмитриев Ю.Г., д-р физ.-мат. наук, проф.; Домбровский В.В.,
д-р техн. наук, проф.; Змеев О.А., д-р физ.-мат. наук, проф.; Евтушенко Н.В., д-р техн. наук, проф.; Конев В.В., д-р физ.-мат. наук, проф.; Костюк Ю.Л., д-р техн. наук, проф.; Кошкин Г.М., д-р физ.-мат. наук, проф.; Матросова А.Ю., д-р техн. наук, проф.; Назаров А.А.,
д-р техн. наук, проф.; Параев Ю.И., д-р техн. наук, проф.; Поддубный В.В., д-р техн.
наук, проф.; Сущенко С.П., д-р техн. наук, проф.; Тарасенко Ф.П., д-р техн. наук, проф.;
Enzo Orsingher, Prof., University of Rome (Italy); Paolo Prinetto, Prof., Polytechnic Institute
Turine (Italy); Yervant Zorian, PhD, Vice President & Chief Scientist, Virage Logic Corp.,
Fremont, CA (USA).
Научный журнал «Вестник Томского государственного университета. Управление, вычислительная техника и информатика» был выделен в самостоятельное периодическое издание из общенаучного журнала «Вестник Томского государственного университета» в
2007 г. Журнал зарегистрирован в Федеральной службе по надзору в сфере массовых коммуникаций, связи и охраны культурного наследия (свидетельство о регистрации ПИ № ФС
77-29497 от 27 сентября 2007 г.), ему присвоен международный стандартный номер сериального издания (ISSN 1998-8605). С 2010 г. журнал входит в Перечень ВАК. Журнал выходит ежеквартально и распространяется по подписке, его подписной индекс 44031 в объединённом каталоге «Пресса России».
В журнале «Вестник ТГУ. УВТиИ» публикуются результаты теоретических и прикладных исследований вузов, научно-исследовательских, проектных и производственных организаций в области управления, вычислительной техники и информатики в технических,
экономических и социальных системах.
Тематика публикаций журнала:
• УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ СИСТЕМАМИ
• МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
• ОБРАБОТКА ИНФОРМАЦИИ
• ИНФОРМАТИКА И ПРОГРАММИРОВАНИЕ
• ДИСКРЕТНЫЕ ФУНКЦИИ И АВТОМАТЫ
• ПРОЕКТИРОВАНИЕ И ДИАГНОСТИКА ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ
Правила оформления статей приведены на сайте: http://vestnik.tsu.ru/informatics/
Адрес редакции:
634050, г. Томск, пр. Ленина, д.36, корп. 2, к. 201
Электронный адрес: http://vestnik.tsu.ru
Контактный тел./факс: (3822) 529-599
E-mail: vestnik_uvti@mail.tsu.ru
ООО «Издательство научно-технической литературы»
634050, Томск, пл. Новособорная, 1, тел. (3822) 533-335
Редактор Т.С. Портнова
Верстка Д.В. Фортеса
Изд. лиц. ИД № 04000 от 12.02.2001. Подписано к печати 05.03.2013.
Формат 70 × 100 1/16. Бумага офсетная. Печать офсетная. Гарнитура «Таймс».
Усл. п. л. 11,93. Уч.-изд. л. 13,36. Тираж 300 экз. Заказ № 11.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
СОДЕРЖАНИЕ
ПРЕДИСЛОВИЕ ............................................................................................................................. 5
УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ СИСТЕМАМИ
Медведев А.В. О теории непараметрических систем управления............................................ 6
Пупков А.Н. К синтезу многоканального непараметрического регулятора многомерных линейных динамических систем............................................................................. 20
ОБРАБОТКА ИНФОРМАЦИИ
К. Андреа, Смирнов П.О., Шевляков Г.Л. Двумерный боксплот на основе высокоэффективных робастных оценок масштаба и корреляции ............................................. 25
Вааль В.А., Векслер А., Кошкин Г.М. О непараметрическом оценивании функции
интенсивности отказов и ее производных ........................................................................... 32
Волкова С.С., Сергиенко Р.Б. Отбор информативных признаков в непараметрической оценке регрессии с использованием генетических алгоритмов ............................... 40
Губарев В.В. Непараметрические измерения характеристик случайных сигналов и
проблемы интерпретации и применения их результатов ................................................... 49
Демин В.А., Чимитова Е.В. Выбор оптимального параметра сглаживания для непараметрической оценки регрессионной модели надежности .......................................... 59
Загоруйко Н.Г., Кутненко О.А. Цензурирование обучающей выборки............................... 66
Лемешко Б.Ю., Горбунова А.А., Лемешко С.Б., Постовалов С.Н., Рогожников
А.П., Чимитова Е.В. Компьютерное моделирование и исследование вероятностных закономерностей ......................................................................................................... 74
Корнеева А.А., Сергеева Н.А., Чжан Е.А. О непараметрическом анализе данных в
задаче идентификации ........................................................................................................... 86
Мангалова Е.С., Агафонов Е.Д. О проблеме выделения информативных признаков в задаче классификации текстовых документов........................................................... 96
Никитенок В.И., Ветохин С.С. Быстрые непараметрические алгоритмы обнаружения слабых оптических сигналов........................................................................................ 104
Рубан А.И. Метод глобальной оптимизации, основанный на селективном усреднении координат, при наличии ограничений ........................................................................ 114
Рудько И.М. Статистические свойства суммы членов усеченного вариационного
ряда......................................................................................................................................... 124
Симахин В.А., Черепанов О.С. Адаптивные оценки параметра сдвига............................. 131
Соколова Д.О., Спектор А.А. Непараметрическое обнаружение стохастических
сигналов, основанное на пересечениях с «нулем»............................................................ 138
СВЕДЕНИЯ ОБ АВТОРАХ ....................................................................................................... 147
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
TOMSK STATE UNIVERSITY
2013
Journal of Control and Computer Science
No. 1(22)
CONTENTS
PREFACE......................................................................................................................................... 5
CONTROL OF DYNAMICAL SYSTEMS
Medvedev A.V. On the theory of nonparametric control systems................................................... 6
Pupkov A.N. To the synthesis of multi-channel nonparametric regulator of multidimensional linear dynamic systems .................................................................................................. 20
DATА PROCESSING
Andrea K., Smirnov P.O., Shevlyakov G.L. A bivariate boxplot based on robust highly
efficient estimators of scale and correlation ..................................................................... 25
Vaal V.A., Vexler A., Koshkin G.M. On nonparametric estimation of hazard function
and its derivatives.......................................................................................................... 32
Volkova S.S., Sergienko R.B. Informative attributes selection in nonparametric regression estimation by making use of genetic algorithms ........................................................ 40
Gubarev V.V. Nonparametric measurement of random signals characteristics and problems of theirs results interpretation and application .......................................................... 49
Demin V.A., Chimitova E.V. Choice of optimal smoothing parameter for nonparametric
estimation of regression reliability model ........................................................................ 59
Zagoruiko N.G., Kutnenko O.A. Training dataset censoring................................................. 66
Lemeshko B.Yu., Gorbunova A.A., Lemeshko S.B., Postovalov S.N., Rogozhnikov
A.P., Chimitova E.V. Computer simulations and research of probabilistic regularities ....... 74
Korneeva A.A., Sergeeva N.A., Chzhan E.A. Nonparametric data analysis in identification problem .............................................................................................................. 86
Mangalova E.S., Agafonov E.D. On features selection approach for text mining problem ........ 96
Nickitsionak V.I. Vetokhin S.S. Fast nonparametric algorithms of weak optical signals
detection ..................................................................................................................... 104
Rouban A.I. Global optimization method based on the selective averaging coordinate
with restrictions........................................................................................................... 114
Rudko I.M. Statistical characteristics to sum of terms of truncated variational series .............. 124
Simakhin V.A., Cherepanov O.S. Adaptive estimation of location parameter ....................... 131
Sokolova D.O., Spector A.A. The non-parametric detection of stochastic signals based
on zero level crossing ............................................................................................................. 138
BRIEF INFORMATION ABOUT THE AUTHORS................................................................... 147
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
ПРЕДИСЛОВИЕ
В июле 2012 года Томск принимал участников XIV Всероссийского с международным участием симпозиума по теории и приложениям непараметрических и робастных статистических методов (Непараметрика – XIV). Его организаторами были Национальный исследовательский Томский государственный университет, Сибирский
государственный аэрокосмический университет им. акад. М.Ф. Решетнева, Институт
вычислительного моделирования СО РАН.
Первая такая конференция состоялась в 1976 году в Томске под названием «Всесоюзная школа-семинар по непараметрической статистике», и с тех пор через каждые
два-три года проходила в различных городах Сибири (Томск, Красноярск, Иркутск,
Железногорск, Шушенское, Дивногорск), привлекая участников со всей территории
Советского Союза, а позднее – стран СНГ. Материалы этих конференций явились заметным вкладом в развитие теории и практических приложений новых статистических методов, а сибирская география конференций выражает признание существенности вклада статистиков-сибиряков в это развитие.
Симпозиум был посвящен развитию современных математических методов для
создания интеллектуальных компьютерных систем различного назначения, функционирующих в условиях неполных данных об исследуемом процессе. Обсуждались также проблемы системного анализа.
Тематика симпозиума представлена следующими секциями:
- синтез и анализ непараметрических и робастных статистических методов обработки данных;
- теория и приложения методов обнаружения и усиления закономерностей в протоколах эмпирических наблюдений и измерений;
- теория и применение непараметрических и робастных алгоритмов в системах автоматического управления;
- математические модели и информационные технологии в управлении социальными и экономическими системами;
- методология системного мышления и системность практики в проектном подходе
к решению проблем реальной жизни.
Традиционно в первой половине дня заслушивались два пленарных доклада, во
второй половине дня – секционные доклады. Результаты научных исследований широко обсуждались участниками симпозиума в течение всего времени его проведения.
Во время работы симпозиума спонтанно возникали дискуссии по различным проблемам кибернетики, информатики, системного анализа, менеджмента, образования.
В настоящий «Вестник» вошли работы из числа представленных на симпозиуме,
отобранные оргкомитетом по признаку соответствия профилю данной серии «Вестника ТГУ».
6 марта 2012 года исполнилось 80 лет профессору Ф.П. Тарасенко, бессменному
руководителю оргкомитета проводимых симпозиумов. Проведение XIV симпозиума –
подходящий повод поздравить Феликса Петровича с юбилеем и выразить глубокое
уважение и признательность за участие в развитии непараметрических методов в
статистике и кибернетике в течение многих лет. Участники симпозиума отмечают
эффективную работу профессора Ф.П. Тарасенко в качестве председателя оргкомитета
и желают Феликсу Петровичу новых творческих успехов и здоровья на многие годы!
Члены оргкомитета симпозиума НЕПАРАМЕТРИКА – XIV
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ СИСТЕМАМИ
УДК 62.501
А.В. Медведев
О ТЕОРИИ НЕПАРАМЕТРИЧЕСКИХ СИСТЕМ УПРАВЛЕНИЯ
Приводятся краткие сведения о параметрической теории управления дискретно-непрерывными процессами, в частности теории дуального управления и параметрической теории адаптивных систем. Обсуждается вопрос о
месте теории непараметрических систем в общей теории управления. Рассматриваются некоторые модели и алгоритмы управления в условиях непараметрической неопределенности.
Ключевые слова: дискретно-непрерывный процесс, дуальное управление,
непараметрические методы, адаптивное управление, априорная информация.
Современная теория управления, в значительной степени, относится к разряду
параметрических. Это означает, что на этапе формулировки задачи идентификации и управления предполагается каким-то образом выбранная параметрическая
структура, описывающая процесс, или некоторое уравнение, известное с точностью до параметров. Ранее [1] был описан дискретно-непрерывный процесс и пути идентификации стохастических систем, которые тесно связаны с имеющейся
априорной информацией. Часто априорной информации бывает недостаточно для
обоснованного выбора параметрического класса моделей. Это один из «камней»
преткновения, как в теории моделирования, так и в теории управления. Основное
внимание в дальнейшем будет уделено задачам идентификации в «широком»
смысле. Более того, нас будет интересовать, прежде всего, моделирование и
управление в условиях непараметрической неопределенности, а также случай, когда априорная информация об исследуемом процессе соответствует одновременно
как непараметрическому, так и параметрическому классу.
1. Теория дуального управления
Феномен дуализма в системах управления был открыт в 1962 г. А.А. Фельдбаумом и в последующем существенно развит им и его последователями. Сущность дуализма состоит в том, что управляющие воздействия носят двойственный
характер. Они, как замечает А.А. Фельдбаум, «должны быть в известной мере
изучающими, но, в известной мере, направляющими» [2]. Приведем схему дуального управления [2].
Введем следующие обозначения: xs* – задающее воздействие, которое смешивается с шумом hs* и поступает в качестве ys* в регулятор; выход объекта xs также смешивается с шумом hs в виде ys и поступает в регулятор; управляющее
воздействие us смешивается с помехой g s и поступает в виде vs на объект, ко-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О теории непараметрических систем управления
7
торый находится под воздействием помехи ξ s ; s – дискретное время; H * , H , G –
каналы связи.
hs*
xs*
H*
ξs
gs
ys*
us
Регулятор
G
vs
Объект
xs
hs
ys
H
Рис. 1
Далее предполагается следующее:
- рассматриваемая задача – байесова, hs* , hs , g s – последовательности независимых случайных величин с неизменными плотностями вероятности P(hs* ) ,
P (hs ) , P( g s ) ; ξ s = ξ( s, μ) , где μ – случайный вектор с известной априорной
плотностью вероятности P (μ) . Аналогично полагаем xs = x(λ, s ) , где λ – случайный вектор с заданной плотностью вероятности P (λ ) и все внешние воздействия – ξ s , hs* , hs , g s , xs* – статистически независимы;
- объект не имеет памяти и описывается уравнением xs = F (ξ s , vs ) , где F –
ограничена, однозначна и дифференцируема;
- способы комбинации сигнала и шума считаются известными и неизменными,
т.е. ys* = y* ( xs* , hs ) , vs = v(us , g s ) , ys* = y* ( xs* , hs ) , вместо которых и вероятностных характеристик шумов можно сразу задать условные плотности вероятности P (vs / us ) , P( ys / xs ) , P( ys* / xs ) .
Задача состоит в определении оптимальной стратегии регулятора.
2. Постановка задачи дуального управления
Введём удельную функцию потерь Ws = W ( s, xs , xs* ) , тогда общая функция потерь W имеет вид [2]
n
W = ∑ Ws ( s, xs , xs* ) .
(1)
s =0
Назовём оптимальной систему, для которой полный риск минимален, RS –
удельный риск:
n
n
s =0
s =0
R = M {W } = ∑ M {Ws ( s, xs , xs* )} = ∑ Rs ,
(2)
Будем считать, что регулятор в общем случае обладает памятью и характеризуется случайной стратегией. Введём временные векторы us = (u0 ,..., us ) ,
xs = ( x0 ,..., xs ) и по аналогии vs , xs* , ys* , ys , 0 ≤ s ≤ n.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.В. Медведев
8
Теперь поставим задачу отыскания оптимальной случайной стратегии регулятора, т.е. оптимальных плотностей вероятности [2]
Ps (us ) = Г s (us / us −1 , ys −1 , ys* ), 0 ≤ s ≤ n ,
(3)
при которых полный риск R минимален.
Поскольку Γ s суть плотность вероятности, то
Γ s ≥ 0,
∫ Γ s (us )d Ω(us ) = 1 .
(4)
Ω
Здесь Ω – область возможных значений us , Γ s ( s = 0,..., n ) называются удельными стратегиями, а их совокупность – полной стратегией. В подобной постановке задача управления была рассмотрена в [2]. Несколько иная трактовка теории
дуального управления была дана Я.З.Цыпкиным в [3].
3. Непараметрическое дуальное управление
В теории дуального управления [2] и в теории адаптивных систем [3] предполагается математическое описание объекта с точностью до вектора параметров.
В большинстве случаев априорной информации недостаточно, чтобы обосновано
выбрать параметрическую модель исследуемого процесса. Поэтому приходится
проводить серию экспериментов на объекте (часто длительных и дорогостоящих),
чтобы качественно, с практической точки зрения, решить задачу идентификации.
В условиях непараметрической неопределённости [4] уравнение процесса с
точностью до вектора параметров не известно, но известны свойства объекта качественного характера, например однозначность характеристик или неоднозначность для безынерционных процессов; линейность или тип нелинейности для динамических. Если вид уравнения, описывающего процесс, не известен, то известные параметрические методы теории управления [2, 3] не применимы для решения задач идентификации и управления.
Введем оператор объекта A , описывающий процесс, т.е.
x(t ) = A < u (t ) > ,
(5)
где u (t ) – управляющее воздействие, x(t ) – выходная переменная объекта.
Если существует оператор, обратный A , т.е. A−1 , A−1 A = I – единичный оператор, то
A−1 x(t ) = A−1 A < u (t ) > , u (t ) = A−1 x(t ) .
(6)
Задавая теперь траекторию x(t ) = x* (t ) , находим из (6) идеальное значение
u* (t ) . Таким образом (6) может быть отнесён к категории идеальных регуляторов.
В дальнейшем будем его называть И-регулятор, чтобы отличить от многих известных. Однако проблема состоит в том, что в большинстве случаев его построить нельзя, тем более, что оператор A – неизвестен. Попытка, хотя бы частично,
решить эту проблему введением в устройство управления (УУ) корректирующих
цепочек, компенсирующих звеньев и т.п. предпринимались ранее. В некоторых
технических системах это приводило к успеху.
В 50-х годах прошлого столетия академиком В.С. Кулебакиным был предложен и существенно развит метод К(D)-изображений, который привел к появлению
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О теории непараметрических систем управления
9
теории инвариантности автоматически регулируемых и управляемых систем. Но в
этом случае необходима высокая точность описания исследуемых процессов
дифференциальными уравнениями. Если вид уравнения, описывающий исследуемый процесс, не известен, то классические методы теории управления не применимы.
Рассмотрим частный случай. Пусть объект описывается линейным дифференциальным уравнением неизвестного порядка. В этом случае при нулевых начальных условиях x(t ) [5]
t
x(t ) = ∫ h(t − τ)u (τ)d τ ,
(7)
0
где h(t − τ) – весовая функция системы, является производной переходной функции
k (t ) , т.е. h(t ) = k ′(t ) . Известно, что обратным оператором (7) является оператор [5]
t
u (t ) = ∫ v(t − τ) x(τ)d τ ,
(8)
0
где v(t ) – весовая функция объекта в направлении «выход – вход» и v(t ) = w′(t ) ,
где w(t ) – переходная функция системы в том же направлении. В этом случае A
представлен оператором (7), а A−1 – выражением (8). Следовательно, теперь проблема состоит в отыскании весовых функций h(t ) , ν(t ) . Один из возможных путей решения этого вопроса состоит в решении уравнения Винера – Хопфа. Другой
– в снятии переходной характеристики на реальном объекте с последующей оценкой его весовой функции по результатам измерений {xi = ki , ti , i = 1, s} .
Непараметрическая модель (7) будет иметь вид
t
xs (t ) = ∫ hs (t − τ, ks , ts )u (τ)d τ ,
(9)
0
где k s , ts – временные векторы: k s = (k1 ,..., k s ) , ts = (t1 ,..., ts ) , а hs (⋅) равна
hs (t ) =
1
sсs
s
⎛ t − ti
⎝ сs
∑ ki H ′ ⎜
i =1
⎞
⎟,
⎠
(10)
H (⋅) – колоколообразные (ядерные) функции, cs – параметр размытости, удовлетворяющие некоторым условиям сходимости [4].
Предлагается переходную функцию ν(t ) получить на модели в направлении
«выход – вход», т.е. «вспять». По-видимому, впервые это было сделано в [6]. Таким образом, из соотношения
t
xs (t ) = 1(t ) = ∫ hs (t − τ, k s , ts )u (τ)d τ ,
(11)
0
можно получить выборки {u j , t j , j = 1, s} . Тогда непараметрический алгоритм
управления линейной динамической системой примет вид
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.В. Медведев
10
t
⎛ 1
us* (t ) = ∫ ⎜
⎜ sc
s
0⎝
s
⎛ t − τ − ti
⎝ cs
∑ wj H '⎜
j =1
⎞⎞ *
⎟ ⎟⎟ x (τ)d τ ,
⎠⎠
(12)
где x* (τ) – задающее воздействие, интегрирование выражений (11), (12) осуществляется численно.
Ясно, что объемы выборок при определении переходных характеристик на реальном объекте и на модели могут не совпадать. Фрагмент работы алгоритма (12)
будет представлен ниже.
Поскольку операторы A и A−1 по реальным данным будут оценены не точно,
то возникает необходимость несколько изменить схему «включения» на входе
объекта As−1 , добавив обратную связь в следующем виде:
x*(t)
As–1
us*(t)
u(t)
УУ
Объект (A)
x(t)
hxt
x*(t)
Рис. 2
Отметим, что неизвестные операторы A и A−1 оценивались по исходным переходным характеристикам процесса (уравнение процесса было неизвестно) в
классе непараметрических статистик [4].
На рис. 2: As−1 – непараметрическая оценка обратного оператора объекта, us* –
выход (оценка A−1 ), помеха htx действует в канале обратной связи. Непараметрический алгоритм дуального управления имеет вид
us +1 = us* + ∆us +1 .
Здесь
us*
определяется по формуле (12), а ∆us +1 =
(13)
ε( xs*+1
− xs ) – поисковые шаги.
us*
Таким образом в
сосредоточены «знания» об объекте, а ∆us +1 – «изучающие»
поисковые шаги. В этом и состоит дуализм алгоритма (13).
Поясним его на примере безынерционного объекта x = f (u , μ) , в качестве
оценки которого примем непараметрическую оценку функции регрессии по наблюдениям {xi , ui , μi , i = 1, s} , где μ – контролируемое, но неуправляемое входное
воздействие [4]
s
⎛ u − ui ⎞ ⎛ μ − μi ⎞
xs (u , μ) = ∑ xi Φ ⎜
⎟Φ⎜
⎟
⎝ cs ⎠ ⎝ cs ⎠
i =1
s
⎛ u − ui ⎞ ⎛ μ − μi ⎞
Φ⎜
⎟,
cs ⎟⎠ ⎝ cs ⎠
∑ Φ ⎜⎝
i =1
(14)
где колоколообразные функции Φ (⋅) и параметр размытости cs удовлетворяют
некоторым условиям сходимости [4]. Более подробные асимптотические исследования алгоритмов класса (14) приводятся в [7]. Аналогом выражения (8) в этом
случае будет u = f −1 ( x, μ) , где f −1 ( x, μ) – функция, обратная f (u, μ) , а us* из
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О теории непараметрических систем управления
11
(13) будет равно
s
⎛ x* − x ⎞ ⎛ μ − μ i ⎞
us* = ∑ ui Φ ⎜ s +1 i ⎟ Φ ⎜ s +1
⎟
cs
⎠
i =1
⎝ cs
⎠ ⎝
s
⎛ xs*+1 − xi ⎞ ⎛ μ s +1 − μi ⎞
⎟Φ⎜
⎟,
cs
⎠
⎝ cs
⎠ ⎝
∑Φ⎜
i =1
(15)
где xs*+1 – задающее воздействие. Функции x = f (u , μ) являются взаимнооднозначными и непрерывными.
Проанализируем характер дуализма алгоритма (13). На начальной стадии
управления основная роль принадлежит второму слагаемому ∆us +1 формулы (13).
Это случай активного накопления информации в системе дуального управления,
который начинается с появления первого наблюдения входной и выходной переменных объекта. По мере процесса обучения (накопления информации) всё возрастающую роль при формировании управляющего воздействия us +1 начинает
играть первое слагаемое, т.е. us* . Таким образом, в процессе дуального управления объектом фигурируют как этап изучения объекта, так и этап приведения его к
цели.
Более общая схема непараметрического дуального управления представлена
ниже:
x*(t)
As–1
us*(t)
u(t)
УУ
Объект (A)
x(t)
hxt
x*(t)
Рис. 3
Здесь (рис. 3) в результате функционирования замкнутого контура управления
происходит уточнение оценки обратного оператора объекта.
4. Вычислительные эксперименты
Приведем некоторые результаты вычислительных экспериментов, которые носят иллюстративный характер. Поэтому ниже не приводятся сведения о выборе
параметра размытости на каждом этапе эксперимента, поискового шага, а показаны только итоговые результаты, из соображений краткости изложения. На рис. 4
показан случай, когда на вход объекта действуют управляемая переменная u (t ) и
неуправляемая, но контролируемая переменная μ(t ) . Обучение управляющей
системы, включающей в себя блоки As−1 и УУ, начинается с первой триады наблюдения, т.е. выработка управляющего воздействия осуществляется при наличии триады (u1 , μ1 , x1 ) . На рис. 4 показано обучение непараметрической системы
дуального управления при изменяющихся задающих воздействиях x* и μ . На начальной стадии управления I необходимо некоторое время (накопление выборки)
для приведения объекта в заданное состояние. На этапе II задающее значение x *
выбиралось вне имеющихся наблюдений выхода объекта x , поэтому требовалось
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.В. Медведев
12
некоторое время для приведения объекта в заданное состояние x * . На этапе III
задающее воздействие представляло собой траекторию, а на этапе IV – случайную
величину. Как видно, на III и IV этапах процесс управления достаточно высокого
качества. Приведенные выше результаты имеют иллюстративный характер, как и
было отмечено выше, поскольку из соображений краткости не приводятся конкретные сведения о настройке параметров размытости, поисковых шагов.
6
xt*
I
4
2
μt
0
IV
xt
III
II
20
40
60
80
100
120
t
Рис. 4
Результаты управления линейным динамическим объектом (было взято дифференциальное уравнение третьего порядка), представлены на рис. 5. Задающее
воздействие xt* – случайная величина, генерируемая датчиком равномерно распределенных случайных чисел. Были проведены многочисленные эксперименты,
один из которых и приведен. Преднамеренно был взят достаточно малый объем
выборки. При увеличении объема выборки процессы, представленные на рис. 5,
практически совпадают.
x(t)
x*(t)
t
Рис. 5
Эксперимент был проведен по следующей схеме: сначала на объекте (уравнения объектов были неизвестны) снимались переходные характеристики, и с использованием их оценивался оператор A по формуле (9) и обратный оператор
A−1 по формуле (12). Из рисунков видно удовлетворительное качество управления даже в таком «экзотическом» случае. С подобной задачей не справится ни
один из известных регуляторов.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О теории непараметрических систем управления
13
5. Общая схема реального процесса
Ниже приведена схема дискретно-непрерывного реального процесса, чаще
всего встречающегося на практике, и некоторые пути моделирования.
ξ(t)
z(t)
μ(t)
Процесс
(Объект A)
u(t)
ω1(t)
Hμ
μt
hμ(t)
Hu
ut
hu(t)
g(t)
x(t)
ωk(t)
H1ω
h1ω(t)
ωt1
Hkω
hkω(t)
ωtk
Hx
hx(t)
xt+∆t
Hq
hq(t)
qt+∆T
Hz
hz(t)
zt+T
Рис. 6
На рис. 6 обозначено: А – неизвестный оператор объекта, х(t ) , q (t ) , z (t ) –
выходные переменные процесса, и (t ) – управляющее воздействие, μ(t ) – входная
контролируемая, но неуправляемая переменная процесса, ω(t ) – переменная, характеризующая промежуточное состояние процесса, ξ(t ) – векторное случайное
воздействие, t – непрерывное время, H μ , H u , H x , H ω , H q , H z – каналы связи, соответствующие различным переменным, включающие в себя средства контроля, устройства для измерения наблюдаемых переменных, μt , ut , xt , qt , zt ,
ωt – измерения μ(t ) , u (t ) , x(t ) , q (t ) , z (t ) , ω(t ) в дискретное время t . Контроль
переменных ( x, и , μ, q, z ) осуществляется через некоторый интервал времени, т.е.
xi , ui , μi , qi , zi , ωi , i = 1, s , – выборка измерений переменных процесса
( x1 , u1 , μ1 , q1 , z1 , ω1 ) , ( x2 , u2 , μ 2 , q2 , z2 , ω2 ) , …, ( xs , us , μ s , qs , zs , ωs ) , s – объем выборки, hμ (t ) , h x (t ) , hu (t ) , hω (t ) , h q (t ) , h z (t ) со значком вверху – случайные
помехи измерений соответствующих переменных процесса.
Отметим существенное отличие выходных переменных z (t ) , q (t ) и x(t ) ,
представленных на рис. 6. Выходная переменная x(t ) контролируется через интервалы времени ∆t , q (t ) контролируются через существенно большие интервалы времени ∆T , z (t ) – через T (T >> ∆T >> ∆t ) . С практической точки зрения
для исследуемого процесса наиболее важным часто является контроль переменных z (t ) . Например, выходные переменные x(t ) контролируются с помощью
различного рода индукционных, емкостных и других датчиков, q (t ) – на основе
лабораторных анализов, а z (t ) – в результате длительного химического анализа,
физико-механических испытаний и др. Этим и обусловлено существенное отличие дискретности контроля выходных переменных x(t ) и z (t ) . Особенностью
здесь является то, что измеренное значение выхода объекта станет известным
только через определенные промежутки времени, этим объясняется запаздывание
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.В. Медведев
14
в измерениях выходных переменных объекта x(t ) , q (t ) и z (t ) . ∆t , ∆T и T – дискретность, с которой происходят измерения. Очевидно, что в матрице наблюдений появляются пропуски при наблюдении q ( t ) , z ( t ) , но мы специально сейчас
не будем останавливаться на этом вопросе.
В этом случае выходные переменные, как и ранее, зависят от входных и
ω(t ) (дополнительная информация), то есть следующим образом:
х(t ) = А(u (t ), μ(t ), ω(t ), ξ(t ), t ) .
(16)
Достаточно подробный анализ такого процесса был проведен в [8]. Конкретные задачи идентификации будут ниже приведены с указанием различий в каждом рассматриваемом случае. Из рис. 6 ясно, что значения выходных переменных
x ( t ) , q ( t ) , z ( t ) объекта зависят от входных u ( t ) , μ ( t ) , ξ ( t ) . Полученные ω ( t )
представляют дополнительную информацию о протекании исследуемого процесса, которую целесообразно использовать при построении модели. Таким образом,
задача идентификации состоит в построении моделей, которые, в достаточно общем виде, могут быть представлены следующим образом:
xˆ ( t ) = Aˆ ( u ( t − τ ) , μ ( t − τ ) , ω ( t − τ ) ) ;
(17)
qˆ ( t ) = Aˆ ( u ( t − τ ) , μ ( t − τ ) , ω ( t − τ ) , x ( t ) ) ;
(18)
z ( t ) = Aˆ ( u ( t − τ ) , μ ( t − τ ) , ω ( t − τ ) , x ( t ) , q ( t ) ) ,
(19)
где τ – запаздывания, отличающиеся по различным каналам, но из соображений
простоты записи не снабжены соответствующими индексами.
Многообразие задач идентификации будет обусловлено различными объемами
априорной информации, типами процессов, наличием запаздывания в объекте и
каналах связи.
6. K-модели динамических объектов
Ниже рассмотрим задачу построения модели динамического процесса, представленного на рис. 6. Отметим, что ∆T и T значительно превышают постоянную времени объекта по всем остальным каналам. Без нарушения общности можно считать, что контроль переменных q ( t ) , z ( t ) осуществляется через интервалы
времени ∆T и T , где ∆T << T . Следовательно, процесс по каналам q ( t ) и z ( t )
относится к классу безынерционных с запаздыванием, а по каналам ω ( t ) и x ( t )
может быть отнесен к классу динамических, так как их контроль осуществляется
через интервал ∆t значительно меньший, чем постоянная времени объекта по соответствующим каналам. В этом случае, достаточно общая K-модель может быть
принята в виде
⎧ˆ⎛ i
⎞
dx i (t ) d 2 x i (t )
i
i
i
α
,
,...,
⎟⎟ = 0, i =1, k ,
⎪ fi ⎜⎜ u (t −τ),μ (t −τ),ω (t −τ), x (t ),
dt
dt 2
⎪ ⎝
⎠
⎪
⎨ˆ i
i
i
i
i
i
⎪ fi u (t −τ),μ (t −τ), ω (t −τ), x (t ), q (t ), z (t ),β = 0, i = k +1,l ,
⎪
⎪⎩Sˆi u i (t −τ),μ i (t −τ), ω i (t −τ), x i (t ), q i (t ), z i (t ),Ws i = 0, i = l +1,ν,
(
(
)
)
(20)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О теории непараметрических систем управления
15
где первая система уравнений (20) определена на основе известных фундаментальных законов соответствующих исследуемому процессу с точностью до параметров α . Вторая система уравнений объекта получена на основе имеющейся априорной информации с точностью до вектора параметров β . Третья группа уравнений (20) неизвестна с точностью до параметров, но класс функций, описывающих взаимосвязь «входных-выходных» и промежуточных переменных, определен
на основе априорной информации. Знак ⋅ обозначает составной вектор [3], объединяющий различные наборы компонент соответствующих векторных переменных, Ws i представляет собой совокупность всех имеющихся наблюдений переменных объемом s , т.е.
(
)
Ws i = usi , μ si , ωsi , xsi , qsi , zsi , i = l + 1, ν .
Оценка значений компонент векторов выходных переменных x ( t ) , q ( t ) , z ( t ) ,
может быть найдена в результате решения системы уравнений (20) при фиксированных значениях u ( t ) , μ ( t ) , ω ( t ) . K-модели принципиально отличаются от общепринятых прежде всего тем, что учитывают во взаимосвязи все имеющиеся переменные и связи между ними в ситуации, когда дискретность контроля последних существенно различается. Отличаются также и уровни априорной информации о различных каналах исследуемого процесса. Таким образом, K-модели представляют собой органический синтез разнотипных априорных сведений об исследуемом процессе или системе взаимосвязанных объектов во всем их многообразии, включающий в себя фундаментальные законы процесса, параметрические
модели различных его каналов и качественные свойства.
7. Контроль переменных, измерения
Здесь мы подчеркнём важность проблемы измерения «входных-выходных»
переменных исследуемого объекта, процесса. Ясно, что отличающиеся средства
контроля даже для одних и тех же процессов приводят к различным формулировкам задач идентификации. Главное, что следует выделить в этой проблеме, состоит в том, что нередко динамический объект мы вынуждены рассматривать как
статический с запаздыванием из-за длительной процедуры контроля (измерения,
анализа) некоторых переменных, существенно превышающей постоянную времени объекта.
Безусловно, при моделировании и управлении дискретно-непрерывными процессами целесообразно использовать все переменные объекта, доступные для измерения, но это требует тщательного анализа не только самого конкретного объекта, но и средств и технологии контроля всех доступных переменных, а также
априорной информации, которая одновременно по различным каналам измерения
переменных многомерной системы объекта может соответствовать различным
уровням априорной информации. Неучет тех или иных переменных, параметров,
характера измерения и контроля, априорной информации, а также некоторая
«вольность» при принятии тех или иных допущений, неизбежных при математической постановке задачи, может привести, в конечном счете, к негативным последствиям. Вся эта сумма вопросов часто обходится при исследовании проблемы
моделирования с теоретической точки зрения. При решении же прикладных за-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
16
А.В. Медведев
дач, построении моделей конкретных процессов это просто невозможно, ибо «истина ничуть не страдает от того, если кто-либо её не признает» (И.Ф. Шиллер).
Отметим ещё одну важную черту, которая сопутствует измерению многих переменных. Это непредставительность пробы, предназначенной для контроля.
Проблема здесь состоит в том, что результат измерения (анализа) тех или иных
переменных присваивается целой партии продукта (изделия). При этом для анализа берутся десятки грамм продукта, а результат анализа присваивается многотонной партии. Следует заметить, что сам анализ, например химический, физикохимический, физико-механический и др., проводится с высокой точностью. Существенно другое: где и как брать пробу? В некоторых отраслях это регламентируется ГОСТом, в других случаях приняты те или иные рекомендации. Одним
словом, вопрос очень серьёзный и требует тщательного анализа в каждом конкретном случае. Неточности на этой стадии часто приводит к очень «грубым» моделям процесса, а следовательно, и к неудовлетворительным результатам управления. Мы здесь не будем обсуждать проблемы разрушающего контроля. Это отдельный, самостоятельный вопрос, требующий специального исследования.
8. Математические постановки задач моделирования и управления
Совершенно очевидным является факт наличия существенно различной априорной информации об исследуемом процессе. Как следствие этого – различные
математические постановки задач с точки зрения математической строгости. Одним из основных «камней преткновения» на этом пути является несоответствие
наших предположений об исследуемом объекте самому объекту. После традиционно произносимого «Пусть процесс…» следуют такие предположения, гипотезы,
которые, к сожалению, часто имеют отдаленное отношение к реальности. Трудно
представить себе процесс, объект, характеристики которого были бы неизменными или менялись бы по известному закону с течением времени. Мы имеем в виду
процессы, представленные на рис. 6 и описанные в [8], средства и технологии измерения переменных объектов, которые представляют интерес в теории автоматического управления. Основные их черты состоят в недостатке априорной информации, воздействии случайных факторов, характеристики которых нам не известны, недостаток и несовершенства средств контроля переменных, непредставительность отбора проб для измерений и многого другого. Наше незнание, приходится, к сожалению, заменять, говоря «Пусть…». Ясно, что если наши допущения достаточно близки к реальности, то в итоге можно рассчитывать на успех при
решении той или иной задачи, если же – нет, то неудача неизбежна. Действительно, многие процессы и объекты в основе функционирования которых лежат фундаментальные законы физических, химических, электрических, механических и
других явлений, могут быть описаны с высокой степенью точности. Соответственно для них могут создаваться и модели, и системы управления достаточно высокого качества, что, во многих случаях, имеет место.
Если же допущения слишком «грубые», то, видимо, есть два пути. Первый –
восполнение нашего «незнания» о процессе, когда можно будет сделать аккуратную, с математической точки зрения, постановку задачи. Второй путь состоит в
развитии математического подхода, адекватного тому уровню априорной информации, которым мы реально располагаем.
В этой связи хотелось бы напомнить некоторые факты, известные, например,
из статьи Р. Калмана [9]. Приведем без комментариев некоторые выдержки из
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О теории непараметрических систем управления
17
этой статьи: «…классический (колмогоровский) вероятностный подход не может
работать в реальных задачах с недостоверными данными. Для того чтобы моделировать неопределенность при помощи вероятностного механизма, необходимо
иметь чересчур много информации, которая не может быть извлечена из доступных данных в большей массе практических задач». И еще: Л.С. Понтрягин: «Математики не верят в вероятность»; А.Н. Колмогоров: «…со статистикой что-то не
в порядке». Несколько отличающаяся аксиоматика теории вероятностей изложена
в [10]. Из этого следует, что возможно возникнет необходимость ухода от общепринятых на сегодняшний день методов исследования стохастических систем и
систем управления стохастическими процессами.
9. Замечания о теории непараметрических систем
Термин «непараметрическая идентификация», «непараметрические методы
обработки данных» встречаются в монографиях по идентификации и управлению,
но непараметрических алгоритмов идентификации и управления, как правило, не
приводится. Обычно непараметрическую идентификацию линейных динамических процессов связывают с отысканием весовых или переходных функций системы в результате решения интегральных уравнений Фредгольма 1-го рода, в частности уравнения Винера – Хопфа.
Выше мы говорили о K-моделях и И-регуляторах, которые свободны от выбора с точностью до вектора параметров моделей исследуемого процесса или параметрической структуры управляющих устройств, а также параметрической структуры других характеристик процесса, например корреляционных функций, спектральных плотностей и др. Таким образом, речь идет об идентификации и управлении в условиях непараметрической неопределенности [4]. Представляется, что
это наименьший уровень априорной информации об исследуемом объекте, когда
возможно решение широкого класса задач кибернетики, наиболее адекватных реальным процессам. Заметим также, что первые исследования по непараметрическому управлению безынерционными объектами относятся к началу 70-х годов
прошлого столетия. Можно считать, что теория непараметрических систем охватывает различные задачи кибернетики, ориентированные на непараметрический
уровень априорной информации.
Выделим несколько наиболее важных, с нашей точки зрения, аспектов, имеющих непосредственное отношение к теории непараметрических систем. Необходимость «работать» в условиях непараметрической неопределенности привела к
тому, что мы не можем формулировать задачу управления в общепринятой постановке: параметрическая модель – критерий оптимальности – синтез алгоритмов
управления и т.д. Наиболее целесообразным представляется введение на вход
объекта оценки обратного оператора. Сама по себе эта идея не нова, но проблема
состоит в трудности его построения. Некоторые приемы решения этой задачи
приведены в [4]. Конечно же, представляет интерес построение непараметрических систем управления для процессов, показанных на рис. 6.
Другим важным направлением исследований является построение K-моделей в
условиях разнотипной априорной информации и нелинейной стохастической зависимости различных входных переменных, действующих на процесс. В частности, это приводит к процессам «трубчатой» структуры в пространстве «входныхвыходных» переменных [11]. Представляется перспективным развитие теории
идентификации в русле построения моделей нового типа, названных K-моделями.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
18
А.В. Медведев
Принципиальным является то, что K-модели объединяют во взаимосвязи следующую триаду: фундаментальные законы, определяющие поведение процесса
по некоторым каналам, параметрические модели, полученные в результате предшествующих исследований, и качественные свойства, присущие различным каналам процесса.
Вышеизложенное позволяет несколько иначе посмотреть и на определение
адаптивной системы. Общепринятое определение: «адаптивные автоматические
системы – это управляющие устройства, функционирование которых изменяется в
зависимости от неизвестных заранее характеристик объекта управления и внешних воздействий. Процесс обучения адаптивной системы определяется принятым
алгоритмом обучения и состоит в приспособлении работы устройства к поступающей на его вход информации об объекте. Результат обучения – это способ
функционирования, осуществляющий успешное или наилучшее в каком-либо
смысле управление объектом, которое зависит не только и не столько от принятого алгоритма обучения, сколько от той информации, которая поступила в систему.
В этом смысле адаптивная система может выполнять действия по правилам, не
заложенным в нее конструктором заранее». Представляется необходимым отметить следующее: при создании адаптивной системы того или иного назначения
целесообразно базироваться на триаде: максимальный учет имеющейся разнотипной априорной информации и формулировка на ее основе постановки задачи;
второе – всесторонний анализ текущей информации, необходимой для организации процесса адаптации и обучения и, наконец, третье – аккуратное применение
теории адаптивных систем. Естественно ожидать, что при несоблюдении любого
из трех перечисленных выше этапов построенная система вряд ли будет адаптивной или обучающейся.
Заключение
Вышеизложенное охватывает некоторые задачи идентификации и управления
на уровне параметрической и непараметрической априорной информации. В отличие от хорошо развитой параметрической теории непараметрическая ориентирована на уровень меньшей априорной информации об исследуемых объектах и
процессах. Обращается специальное внимание на построение непараметрических
систем дуального управления и подчеркиваются их отличия от систем байесового
или параметрического типов. Введен новый класс комплексных моделей дискретно-непрерывных процессов (K-модели), а также И-регуляторов. Приводятся некоторые непараметрические модели и алгоритмы дуального управления, а также частные результаты численных расчетов, имеющих иллюстративный характер.
ЛИТЕРАТУРА
1. Медведев А.В. Теория непараметрических систем. Общий подход // Вестник. CибГАУ
им. ак. М.Ф. Решетнева. Красноярск, 2008. Вып. 3. С. 65−69.
2. Фельдбаум А.А. Основы теории оптимальных автоматических систем. М.: Физматгиз,
1963. 552 с.
3. Цыпкин Я.З. Адаптация и обучение в автоматических системах. М.: Наука, 1968. 320 с.
4. Медведев А.В. Непараметрические системы адаптации. Новосибирск: Наука, 1983. 174 с.
5. Куликовский Р. Оптимальные и адаптивные процессы в системах автоматического регулирования. М.: Наука, 1967. 397 с.
6. Medvedev A.V. Identification and control for linear dynamic system of unknown order // Optimization Techniques IFIP Technical Conference. Berlin – Heidelberg – New York:
Springer-Verlag, 1975. P. 48–56.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О теории непараметрических систем управления
19
7. Кошкин Г.М. Пивен И.Г. Непараметрическая идентификация стохастических объектов.
Хабаровск: Российская академия наук, Дальневосточное отделение, 2009. 336 с.
8. Медведев А.В. Теория непараметрических систем. Процессы. // Вестник CибГАУ им. ак.
М.Ф. Решетнева. Красноярск, 2010. Вып. 3.
9. Калман Р.Е. Идентификация систем с шумами // Успехи математических наук. 1985.
Т. 40. № 4. 244 с.
10. Уиттл П. Вероятность. М.: Наука, 1982. 288 с.
11. Медведев А.В. Анализ данных в задаче идентификации // Компьютерный анализ данных
моделирования. Минск: БГУ, 1995. Т. 2. С. 201−206.
Медведев Александр Васильевич
Сибирский аэрокосмический университет им. акад. М.Ф.Решетнева
E-mail: Saor_medvedev@sibsau.ru ru
Поступила в редакцию 5 мая 2012 г.
Medvedev Alexander V. (Reshetnev Siberian State Aerospace University).On the theory of nonparametric control systems.
Keywords: discrete-continuous process, dual control, nonparametric methods, adaptive control, a
priori information.
The elements of nonparametric dual control systems theory of static and dynamic objects of
discrete-continuous type are discussed. Its principal difference from the earlier dual control theory
is the incompleteness of a priori information about the object under control, which the main singularity is the absence of selection phase of the parametric class of models describing the object.
The original formulation of control problem differs significantly from previous known. The main
idea of nonparametric control is reduced to «inclusion» of the inverse operator and feedback simultaneous use at the object input. The control of dynamic systems uses the idea of measuring the
transitional characteristic in the direction of «output-input», which can be carried out on the obtained nonparametric models. Thus, the nonparametric algorithm of the dual control combines
two main features: the study of the process under control and reduction it to the target.
The issues of control variables that characterize the process state, including a variety of discrete control, the formulation features of control problems and characteristics of the processes appertained to the active class are described. Nonparametric models of discrete-continuous processes, nonparametric control algorithms and some results of simulation are presented. Some
problems of organization systems modeling and control and the decision algorithms of the nonparametric class are discussed.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.2
А.Н. Пупков
К СИНТЕЗУ МНОГОКАНАЛЬНОГО
НЕПАРАМЕТРИЧЕСКОГО РЕГУЛЯТОРА МНОГОМЕРНЫХ
ЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ
В статье рассмотрена проблема построения многоканального непараметрического регулятора линейных динамических систем. Большое внимание
уделено алгоритму построения такого типа регулятора, с точки зрения многоканального управления. Приведены иллюстрации численных экспериментов, иллюстрирующих работу многоканального регулятора.
Ключевые слова: непараметрический регулятор, многомерные модели, линейная динамическая система, идентификация и управление многомерными
системами.
Задачи управления сложными технологическими объектами различного функционального назначения являются одним из наиболее важных аспектов теории
идентификации и управления. Обычно в информационных технологиях проектирования систем автоматизированного управления технологическими процессами
используют классические законы регулирования. Применение данных законов
требует знания полной априорной информации об объекте управления. Одним из
важнейших факторов, побудившим к поискам новых подходов, явилось наличие
недостаточной априорной информации об исследуемом объекте для математической постановки задачи. Ниже приводится исследования непараметрического
многоканального регулятора, который является существенно более эффективным,
поскольку для него не важно знание параметрической структуры объекта.
1. Постановка задачи
Исследуемый подход к синтезу непараметрического многоканального регулятора [1] сводится к тому, что по измеренным значениям наблюдений управляемого вектора входных воздействий
un,i , i = 1, s, n = 1, N ,
где N – размерность вектора входных переменных, s – объем выборки, и выходного
сигнала xi , i = 1, s , требуется построить модель линейной динамической системы.
Схема объекта показана на рис. 1 (исходная схема объекта и с учетом декомпозиции).
Рис. 1. Исходная схема объект и его декомпозиция
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
К синтезу многоканального непараметрического регулятора
21
Наблюдения переменных «вход-выход» объекта осуществляются в дискретном
времени со случайной статистически независимой помехой с нулевым математическим ожиданием и ограниченной дисперсией.
Линейную динамическую систему с векторным входом un(t) можно описать
следующей математической формулой:
t
t
t
0
0
0
x(t ) = ∫ h1 (t − τ)u1 (τ)d τ + ∫ h2 (t − τ)u2 (τ)d τ + ... + ∫ hN (t − τ)u N (τ)d τ ,
(1)
где x(t) – выход системы, hn(t) – весовые функции соответственно n-го звена системы, un(t) – вектор входных параметров системы.
Модель ЛДС при нулевых начальных условиях выглядит следующим образом:
t
t
t
0
0
0
xs (t ) = ∫ h1, s (t − τ) u1 (τ)d τ + ∫ h2, s (t − τ) u2 (τ)d τ + ... + ∫ hN , s (t − τ) u N (τ)d τ .
(2)
Оценку весовой функции n-го звена hn, s (t ), n = 1, N , запишем в виде
s
⎛ t − ti ⎞
(3)
⎟,
⎝ Cs ⎠
i =1
где k – есть переходная характеристика соответствующего компонента объекта
управления, функция H(⋅) и параметр размытости Сs удовлетворяют условиям
сходимости [4]. При преобразовании формулы (2) получаем модель многомерного объекта:
hn, s (t ) =
1
sCs
∑ k n ,i H ′ ⎜
t s
⎛ t − ti − τ ⎞
1
′
k
H
⎜
⎟⎟ un (τ)d τ .
∑
n
i
,
⎜ C
∫
⎝
⎠
s
n =1 sCs 0 i =1
N
xs (t ) = ∑
(4)
Параметр размытости Cs является настроечным и выбирается из минимума
среднеквадратичного критерия:
s
W (Cs ) = ∑ ( x(ti ) − xs (ti , Cs ) ) → min .
i =1
2
Cs
(5)
Известно, что обратный оператор ЛДС имеет тот же вид, что и прямой оператор ЛДС, с той лишь разницей, что весовая и переходная функции определяются в
направлении «выход-вход» [4]. Поскольку на реальном объекте такие реализации
получить нельзя, «обратные» характеристики «снимаются» с модели ЛДС при
решении уравнения xn, s (t ) = 1(t ), n = 1, N , соответственно для каждого входа системы un(t). Решения системы данных уравнений – есть алгоритм для отыскания
реализации «обратной» переходной функции ω[t] для каждого звена системы и
выглядит следующим образом:
t −∆τ
∆τ s
⎛ t − τ j − ti ⎞
sCs − ∆τ ∑ ∑ kn,i H ′ ⎜
⎟ ωn (τ j )
j =1 i =1
⎝ Cs
⎠
, n = 1, N , где ωn [0] = 0 .
ωn [t ] =
s
−
t
⎛ i⎞
∆τ ∑ kn,i H ′ ⎜
⎟
i =1
⎝ Cs ⎠
(6)
Полученные реализации {(ωn,i , ti ), n = 1, N , i = 1, s} используются для построения «обратного» оператора системы, оценка которого приведена ниже:
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.Н. Пупков
22
s t
⎛ t − τ − ti ⎞ *
(7)
⎟⎟ xn (τ) d τ ,
i =1 0
⎝ Cs ⎠
где un,s – оценка «обратного» оператора соответствующего звена, ωn,i – реализации
«обратных» переходных функций соответствующего звена объекта, x*n(t) – задающее воздействие для отдельных звеньев объекта, функция H(⋅) и параметр
размытости Cs удовлетворяют тем же условиям сходимости [3].
На рис. 2 приводится схема управления объектом с векторным входом с учетом вышеописанного алгоритма. При применении алгоритма (7) вытекает еще одна задача – это задача неоднозначности в управлении, которое имеет место на
рис. 2, то есть необходимо выбрать для каждого звена системы соответствующее
задание для расчета вектора управляющего воздействия un,s.
un, s (t ) =
1
sCs
∑ ∫ ωn,i H ′ ⎜⎜
Рис. 2. Разомкнутая схема управления многомерным объектом,
где Н.Р. – непараметрический регулятор
Ниже предложен следующий алгоритм для решения этой задачи. Задание для
отдельного звена x*n(t) рассчитывается по алгоритму
⎛ kn,уст
x*n,i (t ) = ⎜
⎜ к
⎝ уст
⎞ *
⎟⎟ xi (t ), n = 1, N , i = 1, s ,
⎠
(8)
где kуст – установившееся значение переходной характеристики системы, kn,уст –
установившееся значение переходной характеристики n-го звена системы, то есть
первый член в произведении определяет вес n-го звена в системе. И далее по алгоритму (7) находим управляющее воздействие для n-го звена системы. Данная
идея схематично представлена на рис. 3.
Рис. 3. Декомпозиция системы управления с учетом приведенного алгоритма,
где Регn есть не что иное, как блоки, реализующие алгоритм (7)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
К синтезу многоканального непараметрического регулятора
23
2. Численные исследования
Ниже приводятся результаты экспериментов для системы с размерностью вектора входных параметров равной двум. Так как эксперименты не проводились на
реальном объекте, то в качестве его математического аналога была взята система
дифференциальных уравнений второго и третьего порядков:
⎧
d2x
dx
⎪⎪3, 0 2 + 1, 0 + 1, 0 x = 7, 0u1
dt
dt
(9)
⎨
3
2
d
x
d
x
dx
⎪1, 0
+ 1,5 2 + 1, 0 + 1, 0 x = 3, 0u2
⎪⎩ dt 3
dt
dt
Первым этапом построения многоканального регулятора является построение
его модели (4). Для этого с каждого звена системы «снимается» переходная характеристика при подаче поочередно на каждый вход системы единичного ступенчатого воздействия 1(t). Далее по полученным переходным характеристикам
строится оценка весовых функций (3) каждого звена и далее строится модель системы в целом (4).
Вторым этапом построения непараметрического регулятора является оценка
переходных характеристик (6). По полученным реализациям «обратных» характеристик звеньев ωn [t ] строится оценка обратного оператора системы (7), который
и является непараметрическим регулятором. При выборе задания для каждого
звена используется преложенный алгоритм (8), если нет определенных ограничений по каждому входу звеньев системы.
Для демонстрации работоспособности алгоритмов построения многоканального непараметрического регулятора возьмем в качестве задания системы ступенчатую функцию. На рис. 4 показана работа многоканального непараметрического
регулятора.
Рис. 4. Процесс двухканального управления многомерным объектом
Из рисунка видно, что процесс управления многомерным объектом протекает
достаточно эффективно, среднеквадратичная ошибка регулирования составила
W = 0,01739.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
24
А.Н. Пупков
Заключение
В статье предлагается решение задачи синтеза непараметрического многоканального регулятора линейных динамических систем. В основе предложенного
алгоритма лежит непараметрическая модель динамики. Предложен подход к решению проблемы неоднозначности в выборе задающего воздействия для каждого
звена системы. Были проведены численные исследования, которые показали достаточно высокое качество работы многоканального непараметрического регулятора многомерных ЛДС.
ЛИТЕРАТУРА
1. Пупков А.Н. Синтез и исследование многоканального непараметрического регулятора
линейных динамических систем: дис. канд. техн. наук. Красноярск: КГТУ, 2003. 137 с.
2. Medvedev A.V. Identification and control for linear dynamic systems of unknown order // Optimization Techniques IFIP Technical Conference. Berlin – Heidelderg – New York: Springer
Verlag, 1975. P. 48−55.
3. Медведев А.В. Непараметрические системы адаптации. Новосибирск: Наука, 1983. 174 с.
4. Медведева Н.А. Непараметрические модели и регуляторы // Изв. вузов. Физика. 1995.
№ 9. С. 124−129.
5. Кузнецова О.В. Медведева Н.А. Пупков А.Н. Об исследовании непараметрического регулятора // Перспективные материалы, технологии, конструкции: сб. науч. тр. / под ред.
проф. В.В. Стацуры. Вып. 4. Красноярск: САА, 1998. С. 346−351.
6. Pupkov A.N. On Nonparametric Identification of Linear Dynamic Systems / A.N. Pupkov,
N.A. Sergeeva, O.V. Shesterneva // Proc. IASTED International Conference in Cooperation
with the Russian Academy of Sciences – Siberian Branch Automation, Control, and Information Technology. Novosibirsk, Russia: ACTA Press. P. 282−288.
Пупков Александр Николаевич
Сибирский федеральный университет (г. Красноярск)
E-mail: Pupkov_a@rambler.ru
Поступила в редакцию 3 мая 2012 г.
Pupkov Aleksandr N (Siberian Federal University). To the synthesis of multi-channel nonparametric regulator of multidimensional linear dynamic systems.
Keywords: nonparametric regulator, the multivariate model, linear dynamic system, identification
and management of multiple systems.
The problem of multi-dimensional dynamical systems control by means of non-parametrical
data estimation procedure is considered. To control the linear dynamical process the estimation of
inverted dynamical operator is introduced. Calculation procedures and algorithms for abovementioned problem are suggested. Some results of numerical experiments with constructed algorithm are given.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
ОБРАБОТКА ИНФОРМАЦИИ
УДК 519.233.22
К. Андреа, П.О. Смирнов, Г.Л. Шевляков
ДВУМЕРНЫЙ БОКСПЛОТ НА ОСНОВЕ ВЫСОКОЭФФЕКТИВНЫХ
РОБАСТНЫХ ОЦЕНОК МАСШТАБА И КОРРЕЛЯЦИИ
На основе новых «быстрых» высокоэффективных и робастных FQn-оценок
масштаба и корреляции предложен двумерный боксплот, ориентированный
на визуализацию эллиптически распределенных данных. Обоснован выбор
этих оценок и исследована вычислительная сложность алгоритма построения боксплота.
Ключевые слова: визуализация, двумерный боксплот, робастность.
В [1] предложен новый способ визуализации данных двумерными FQnбоксплотами, где показано, что FQn-боксплоты более эффективны для данных,
распределенных по двумерному нормальному закону, чем другой хорошо зарекомендовавший себя непараметрический боксплот – бэгплот (bagplot) [2].
В разведочном анализе существует ряд методов первоначальной обработки
одномерных данных. В настоящей статье рассматриваются проблемы анализа и
представления двумерных данных. Отправной точкой в нашем обсуждении служит одномерный боксплот Тьюки [3], изображенный на рис. 1: он представляет
собой прямоугольник с высотой, равной выборочному межквартильному расстоянию с отмеченной медианой в качестве оценки параметра положения и так называемыми «усами», зависящими от экстремальных порядковых статистик выборки.
Выброс
Y
YU
Верхний квантиль
Медиана
Внутренняя
область
Нижний квантиль
0
YL
Одномерный боксплот Тьюки
Внешняя область
0
x
Двумерный бэгплот
Рис. 1 Классический одномерный боксплот Тьюки и двумерный бэгплот
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
26
К. Андреа, П.О. Смирнов, Г.Л. Шевляков
Двумерный боксплот является статистическим средством представления данных на плоскости. Он отображает информацию о параметрах положения, масштаба, асимметрии, «хвостах» и выбросах распределения (см. рис. 1). Для полноты
описания двумерного распределения используется дополнительная характеристика статистической взаимосвязи между случайными величинами – коэффициент
корреляции.
1. Робастные оценки параметра положения и масштаба
Использование робастных оценок параметров распределения (положения,
масштаба, корреляции) в боксплотах является традиционным; при этом желательно, чтобы эти оценки были возможно более эффективными. В [4] проводится анализ десяти различных оценок параметров положения двумерных выборок: показано, что наилучшей оценкой является пространственная медиана (spatial median),
минимизирующая сумму модулей невязок. Алгоритм вычисления пространственной медианы реализован в среде R; подробное его описание можно найти в [5].
Задача оценивания параметров масштаба занимает второе по значению место
после оценивания параметров положения распределения. В общем случае, оценка
параметра масштаба определяется статистикой
Sn : Sn (ax1 , …, axn ) = a Sn ( x1 ,…, xn ) .
Классической оценкой масштаба является стандартное отклонение, однако при
наличии выбросов в выборке стандартное отклонение – неробастная и неэффективная оценка.
Методы робастной статистики предлагают более устойчивые статистические
оценки для случаев, когда в выборке данных присутствуют выбросы, в частности
робастная, высокоэффективная, но вычислительно сложная Qn-оценка масштаба
[6]. В [7] предложена «быстрая» робастная высокоэффективная FQn-оценка масштаба, основанная на аппроксимации функции влияния Qn-оценки. Показано, что
максимальная эффективность предложенной FQn-оценки достигает 96%, а минимальное возможное ее значение не опускается ниже уровня 81% на нормальном
распределении, при этом их пороговая точка (breakdown point) достигает 50%.
Вычисление модифицированной FQn-оценки по выборке {x1, …, xn} производится
по формуле
⎛ Z − n ⎞
0
⎜
2 ⎟⎟ ,
FQn ( x) = 1, 483 MAD ⎜1 −
(1)
Z2 ⎠
⎝
где
Zk = ∑
u2
− i
k
ui e 2
, ui =
xi − med x
,
1, 483 ⋅ MAD
med x – выборочная медиана, а MAD = 1,483 med xi − med x – медианное абсолютное отклонение. Поправочный коэффициент 1,483 обеспечивает состоятельность оценки MAD и FQn на нормальных распределениях. Параметр масштаба,
определяемый в уравнении (1), является одношаговой M-оценкой [7]. В среде R
создан пакет{fastqn}, где реализован алгоритм вычисления быстрых FQn-оценок
масштаба.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Двумерный боксплот на основе высокоэффективных робастных оценок
27
2. Робастное оценивание коэффициента корреляции
Классическая оценка корреляции двумерных данных дается выборочным коэффициентом корреляции Пирсона
(
r = ∑ xi − x
)(
yi − y
) (∑ (
xi − x
)(
2
yi − y
)
2
)
1
2
,
∑ xi
∑ yi
и y=
. Как отмечено выше, классические оценки положения и
n
n
масштаба, такие, как арифметическое среднее и дисперсия, неработоспообны в
присутствии загрязненных данных. Различные робастные оценки коэффициента
корреляции рассматриваются в [8, 9].
В [1] коэффициент корреляции вычисляется по методу минимального определителя ковариационной матрицы [10]. Ковариационная матрица, полученная по
методу минимального определителя, является аффинно-эквивариантной оценкой,
обладающей высокой эффективностью 88% на двумерном нормальном распределении и пороговой точкой около 25%. Применение метода минимального определителя ковариационной матрицы для построения FQn-боксплота обусловлено его
устойчивым поведением в присутствии выбросов, а также его аффинноэквивариантным свойством. Наряду с робастным коэффициентом по методу минимального определителя в нашей работе используется FQn робастная оценка коэффициента корреляции [11]:
FQn2 ( x + y ) − FQn2 ( x − y )
rFQn =
,
(2)
FQn2 ( x + y ) + FQn2 ( x − y )
где x =
где векторы x и y центрированы соответствующими компонентами пространственной медианы и нормированы соответствующими FQn-оценками.
В работе [8] проведено сравнение различных методов по вычислению коэфициента корреляции. В результате такого исследования наилучшим среди робастных оценок коэффициента корреляци является rFQn.
3. Алгоритм построения двумерного FQn-боксплота
Приведем алгоритм построения FQn-боксплота [1]:
1) Заданные точки (x, y) на плоскости преобразуются в новую систему координат (x′, y′), определяемую главными осями эллипса равной вероятности для
нормального распределения с центром (xc, yc): (xc, yc) = spatial median (x, y) [7],
x′ = ( x − xc ) cos α + ( y − yc ) sin α
(3)
y ′ = −( x − xc ) sin α + ( y − yc ) cos α
2
2
где tg 2α = (2rMCD σ1 σ 2 ) /(σ1 − σ 2 ) .
Главные оси (x', y') эллипса рассеивания двумерного нормального распределения пропорциональны оценкам масштаба, а угол поворота α главных осей зависит
также и от оценки коэффициента корреляции.
2) Выбирается половина ближайших по расстоянию Махаланобиса точек к
центру. Выпуклая оболочка этих точек определяет внутреннюю область боксплота. Расстояние Махаланобиса точек от центра µ определяется
DM = ( x − μ)T S −1 ( x − μ) ,
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
К. Андреа, П.О. Смирнов, Г.Л. Шевляков
28
где S – ковариационная матрица, имеющая следующий вид:
⎛ σ12
S =⎜
⎜ ρσ σ
⎝ 1 2
ρσ1 σ2 ⎞
⎟,
2 ⎟
σ2 ⎠
(4)
где σ1 = FQn( x′) , σ2 = FQn( y ′) и ρ = rFQn .
3) Внешняя область представляет собой выпуклую оболочку множества точек,
которые не попали во внутреннюю область и при этом находятся в пределах эллипса, вписанного в прямоугольник со сторонами, параллельными осям x' и y' с
левой и правой границами:
xL′ = max { x(1) , xc − aFQn ( x′)} , yL′ = max { y(1) , yc − aFQn ( y ′)} ,
(5)
xR′ = min { x( n ) , xc + aFQn ( x′)} , yR′ = min { y( n ) , yc + aFQn ( y ′)} ,
где а – коэффициент, значение которого выбирается исходя из модели распределения данных.
4) Точки, лежащие за границей внешней области, рассматриваются как выбросы
(рис. 2).
y
y'
y'
x'
x'
y'R
x'R
(xc,yc)
Выбросы
x'L
(0,0)
y'L
x
Рис. 2 Построение FQn-боксплота
4. Вычислительная сложность алгоритма построения FQn-боксплота
Алгоритмическая сложность двумерного FQn боксплота составляет
O(n log(n) ,
где n – размер выборки. Ниже приводится список операций над выборкой и их соответственная алгоритмическая сложность:
1) Вычисление ковариационной матрицы минимального определителя является линейной функцией от числа входных данные, т.е. O(n).
2) Сложность перевода точек из одной системы координат в другую составляет O(n).
3) Пространственная медиана вычисляется итеративным алгоритмом O(сn),
где в худшем случае с = 500 (с – число итераций).
4)Вычисление приближенной FQn-оценки масштаба составляет O(n).
5) Алгоритм вычисления выпуклой оболочки точек составляет O(n log(n) ),
когда точки на плоскости распределены по нормальному закону.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Двумерный боксплот на основе высокоэффективных робастных оценок
29
Время
40
2
30
20
10
1
0
0
1⋅104
2⋅104
3⋅104
N log2 N
Рис. 3, Сравнение времени вычисления FQn-боксплота (1) и бэгплота (2)
при увеличении размера выборки (преобразование над N: N log N )
Время
40
2
30
20
10
1
0
0
2⋅107
4⋅107
6⋅107
8⋅107
N2
Рис. 4. Сравнение времени вычисления FQn-боксплота (1) и бэгплота (2)
при увеличении размера выборки (преобразование над N: N 2)
Итоговая сложность построения нашего двумерного FQn-боксплота составляет O(n log(n) +503n). Исследование сравнения времени вычисления алгоритмов
FQn-боксплота и бэгплота показало, что FQn-боксплот работает намного быстрее.
Исследование проводилось по методу Монте-Карло с увеличением размера дву-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
К. Андреа, П.О. Смирнов, Г.Л. Шевляков
30
мерной выборки, распределенной по нормальному закону, от 100−10000. Измерение времени вычисления для каждого размера выборки оценивалось арифметическим средним по времени из 10 разных выборок заданного размера. Вычисления
проводились на ЭВМ Intel(R) Core(TM) i7-2620M, 2.7 GHz, Windows 7 64bit.
На рис. 3 легко увидеть линейную зависимость времени вычисления FQnбоксплота от преобразованного размера выборки N log N . Применение линейной регрессии свидетельствует о том, что такая зависимость приближается к прямой (коэффициенты наклона и пересечения 0,001 и −3,5) с очень высокой степенью достоверности (R2 = 0,99). Бэгплот в свою очередь имеет вычислительную
сложность O(N2). Как можно увидеть из рис. 4, применение линейной регрессии
для бэгплота с высокой степенью достоверности (R2 = 0,99) дает квадратичную зависимость времени вычисления от преобразованного размера выборки (коэффициенты наклона и пересечения 4,4·10−7 и 3,4·10−2).
Заключение
Процент обнаруженных выбросов
Предложеный FQn-боксплот построен на высокоэффективных оценках масштаба и корреляции, что обеспечивает его превосходство над бэгплотом. Рассматриваемые в литературе двумерные боксплоты делятся на два больших класса:
ориентированные на данные и модельно-ориентированные боксплоты. Предложенный нами FQn-боксплот относится к классу модельно-ориентированных боксплотов, а именно ориентирован на модель двумерного нормального распределения. Превосходство FQn-боксплота над бэгплотом при отбраковке выбросов в
случае двумерных нормально распределенных данных объясняется применением
робастных высокоэффективных FQn-оценок параметров масштаба и коэффициента корреляции.
100
80
1
60
2
3
40
4
20
0
10
20
30
40
Процент смоделированных выбросов
50
Рис. 5 Результаты отбраковки выбросов: правильно обнаруженные выбросы –
FQn-боксплот (1) и бэгплот (2); неправильно – FQn-боксплот (3) и бэгплот (4)
На рис. 5 проиллюстрировано поведение FQn-боксплота при увеличении количества выбросов – оно является более устойчивым по сравнению с бэгплотом.
Рис. 5 отражает значения чувствительности и специфичности получены для выборки, удовлетворяющей модели Тьюки – Хьюбера в виде засорения типа «сдвиг»
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Двумерный боксплот на основе высокоэффективных робастных оценок
31
[12] с различными значениями параметра засорения ε (вероятность появления выбросов в данных или процент смоделированных выбросов). Более подробное описание исследования мощности отбраковки выбросов при помощи двумерного
FQn-боксплота можно найти в [1].
ЛИТЕРАТУРА
1. Андреа К., Лаврентьева Г.М., Смирнов П.О., Шевляков Г.Л., Визуализация данных
двумерными fqn-боксплотами // Высокие технологии, фундаментальные исследования,
экономика. Т.1: Сб. статей XII Междунар. научно-практ. конф. «Фундаментальные и
прикладные исследования, разработка и применение высоких технологий в промышленности». СПб.: Изд-во Политехн. ун-та, 2011. С. 59-65.
2. Rousseeuw P.J., Ruts I, Tukey J.W. The bagplot: A bivariate boxplot // The American Statistician. 1999. V. 53. P. 382–387.
3. Тьюки Дж. Анализ результатов наблюдений. Разведочный анализ. М.: Мир, 1981.
4. Masse J.C., Plante J.F. A Monte Carlo study of the accuracy and robustness of ten bivariate
location estimators // Computational Statistics & Data Analysis. 2003. V. 42. P. 1–26.
5. Vardi Y. and Zhang C.H. The multivariate L1-median and associated data depth // PNAS.
1999. V. 97. P. 1423−1426.
6. Croux C., Rousseeuw P.J. Time-efficient algorithms for two highly robust estimators of scale
// Computational Statistics. 1992. V. 1. P. 411−428.
7. Смирнов П.О., Шевляков Г.Л. Приближение оценки Qn параметра масштаба с помощью
быстрых M-оценок // Вестник Сибирского государственного аэрокосмического университета. 2010. Т. 5 (31). С. 83−85.
8. Shevlyakov G., Smirnov P. Robust estimation of the correlation coefficient: An attempt of
survey // Austrian J. Statistics. 2011. V. 40. P. 147−156.
9. Shevlyakov G.L., Vilchevski N.O. Robustness in data analysis: criteria and methods. Utrecht:
VSP, 2002. 315 p.
10. Hubert M., Rousseeuw P.J., Van Aelst S. High-breakdown robust multivariate methods // Statistical Science. 2008. V. 23. P. 92−119.
11. Bernholt T., Fischer P. The complexity of computing the MCD-estimator // Theoretical Computer Science. 2004. V. 326. P. 383−398.
12. Filzmoser P., Identification of Multivariate Outliers: A performance study // Austrian J. Statistics. 2005. V. 34. P. 127−138.
Андреа Клитон
Смирнов Павел Олегович
Шевляков Георгий Леонидович
Санкт-Петербургский государственный политехнический университет
E-mail: kliton.andrea@gmail.com; s.paul@mail.ru; gshevlyakov@yahoo.com
Поступила в редакцию 4 мая 2012 г.
Andrea Kliton, Smirnov Pavel O., Shevlyakov Georgy L. (St. Petersburg State Polytechnical University). A bivariate boxplot based on robust highly efficient estimators of scale and correlation.
Keywords: visualization, bivariate boxplot, robustness.
A bivariate model-based boxplot based on fast highly efficient and robust FQn-estimates of
scale and correlation is proposed. The choice of parameters is motivated by their high performance and is based on the state-of-the-art methods. It is shown that FQn-boxplot has a better speed
performance over the conventional boxplot.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.248:62.192
В.А. Вааль, А. Векслер, Г.М. Кошкин
О НЕПАРАМЕТРИЧЕСКОМ ОЦЕНИВАНИИ ФУНКЦИИ
ИНТЕНСИВНОСТИ ОТКАЗОВ И ЕЕ ПРОИЗВОДНЫХ
Для неизвестной функции интенсивности отказов и ее производных рассматривается класс непараметрических оценок ядерного типа. Доказывается
сходимость предложенных оценок по распределению и в среднеквадратическом к неизвестной функции интенсивности и ее производным.
Ключевые слова: функция интенсивности отказов, непараметрическое
ядерное оценивание, асимптотическая нормальность, среднеквадратическое отклонение.
Проектирование, изготовление и эксплуатация сложных технических и программных систем требует обеспечения их надежности как одного из свойств систем выполнять требуемые функции. С проблемой обеспечения надежности часто
сталкиваются исследователи, которым необходимо оценивать надежность созданных опытных образцов приборов, установок и составляющих их элементов.
В данной работе при расчете надежности элементов системы и прогнозировании
отказов предлагается использовать наиболее полную характеристику надежности
невосстанавливаемых элементов, которая называется функцией интенсивности
отказов и имеет вид
f ( x)
f ( x)
λ( x) =
=
(1)
,
1 − F ( x) s ( x)
где F ( x) – функция распределения отказов невосстанавливаемого элемента;
s ( x) = 1 − F ( x) – функция надежности; f ( x) = F ′( x) = − s ′( x) – плотность распределения, x ≥ 0. Функция интенсивности λ ( x) характеризует локальную надежность элемента в каждый данный момент времени x и позволяет оценить вероятность отказа за некоторый промежуток времени при условии, что до этого момента отказов не было. Таким образом, величина λ ( x)dx представляет собой условную вероятность отказа элемента в интервале ( x, x + dx) , при условии, что до момента x отказов не было. Заметим, что при расчете надежности системы удобно
пользоваться известными значениями интенсивностей отказов элементов, так как
получаемые при этом формулы просты и удобны для инженерной практики [1].
Более полной по сравнению с λ ( x) характеристикой надежности невосстанавливаемого элемента может служить тройка {λ( x), λ ′( x), λ ′′( x)} , где λ ′( x) –
первая производная функции интенсивности, которая выражается формулой
λ ′( x) =
f ′( x) s ( x) + f 2 ( x)
s 2 ( x)
(2)
и определяет скорость изменения функции интенсивности в точке x, а производная второго порядка имеет вид
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом оценивании функции интенсивности отказов
33
f ′′( x) s 2 ( x) + 3 f ( x) f ′( x) s( x) + 2 f 3 ( x)
λ ′′( x) =
(3)
s3 ( x)
и может использоваться при исследовании степени гладкости λ ( x).
1. Синтез оценок
Пусть X1 ,..., X n – моменты отказов совокупности исследуемых элементов.
Цель работы состоит в построении оценок тройки {λ( x), λ ′( x), λ ′′( x)} по наблюдениям
{ X i > 0,
}
i = 1, n
в условиях непараметрической априорной неопре-
деленности, когда о функциях F ( x) , а следовательно, и s ( x) имеются сведения
только общего характера. В качестве непараметрических оценок подстановок
тройки {λ( x), λ ′( x), λ ′′( x)} в соответствии с (1) – (3) и [2] возьмем
λ n ( x) =
λ ′n ( x) =
λ ′′n ( x) =
f n ( x)
;
sn ( x)
(4)
f n′ ( x) sn ( x) + f n2 ( x)
sn2 ( x)
;
(5)
f n″ ( x) sn2 ( x) + 3 f n ( x) f n′ ( x) sn ( x) + 2 f n3 ( x)
sn3 ( x)
(6)
,
1 n ⎛ x − Xi ⎞
∑K⎜
⎟; K (u ) – трижды дифференцируемая, строго монотонно
n i =1 ⎝ hn ⎠
убывающая функция, такая, что K (−∞) = 1, K (∞) = 0; последовательность чисел
где sn ( x) =
hn ↓ 0;
{ X i > 0,
}
i = 1, n
– выборка независимых и одинаково распределенных
случайных величин из генеральной совокупности с функцией выживаемости s ( x);
f n ( x) =
−1
nhn
n
⎛ x − Xi
⎝ hn
∑ K ′⎜
i =1
⎞
−1
⎟; f n′ ( x) = 2
nh
⎠
n
n
⎛ x − Xi
−1
f n″ ( x) = 3 ∑ K ''' ⎜
nhn i =1
⎝ hn
n
⎛ x − Xi
⎝ hn
∑ K '' ⎜
i =1
⎞
⎟;
⎠
⎞
⎟.
⎠
Здесь sn ( x) – гладкая эмпирическая функция выживаемости; f n ( x) = f n(0) ( x) –
непараметрическая ядерная оценка плотности распределения; f n′ ( x) = f n(1) ( x) и
f n′′( x) = f n(2) ( x) – соответственно оценки первой и второй производных плотности
распределения.
2. Асимптотическая нормальность
При построении интервальных оценок заданной надежности для функции
интенсивности и ее производных необходимо знать предельное распределение
статистик λ n ( x) , λ ′n ( x) и λ ′′n ( x) . Выясним, при каких условиях данные статистики имеют асимптотически нормальные распределения. Введем обозначения: ⇒ –
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Вааль, А. Векслер, Г.М. Кошкин
34
символ сходимости по распределению; Ν{a, σ2 } – нормальное распределение с
∞
параметрами a, σ2 ; L(r ) =
∫ (K
(r )
(u )
)
2
du.
−∞
Теорема 1. Пусть выполняются условия:
1) s ( x) > 0, λ ( x) > 0;
для r = 1, 2 :
2) функции (r − 1) f ( r − 2) ( x) + f ( r −1) ( x) абсолютно непрерывны на R1 ;
(
3) при x → ∞, α > 0 K ( x) = o x
(
K ( r ) ( x) = o x
−α− r
−α
),
(
1 − K (− x) = o x
5) sup f
) ; при x → ±∞
);
4) для всех x ∈ R1 производные f ( j + r ) (⋅),
( j+r)
−α
( x ) < ∞,
j = 1, 2, непрерывны;
j = 0, 2;
x∈R1
для r = 0,1, 2 :
⎛
1
6) lim nhn1+ 2 r max hnα , hn2 = 0, lim ⎜⎜ hn + 1+ 2 r
n →∞
n →∞
nh
⎝
n
7) L(1 + r ) < ∞.
Тогда при n → ∞
(
)
⎧
nhn1+ 2 r ⎡⎣λ (nr ) ( x) − λ ( r ) ( x) ⎤⎦ ⇒ Ν ⎨0,
⎩
⎞
⎟⎟ = 0;
⎠
λ( x) L(1 + r ) ⎫
⎬ , r = 0,1, 2.
s( x)
⎭
(7)
Доказательство. Справедливость выражения (7) при r = 0 следует из теоремы 4 [3] при δn = 0, an = hn , m = 2, l = η = ρ = ν = 1, а при r = 1 и r = 2 – из теоремы 2.10.1 [4].
На основе выражения (7) можно построить интервальные оценки для функции
интенсивности λ ( x). Например, интервальная оценка надежности 1 − α имеет
следующий вид [5]:
2
2
⎛
⎞
⎛
⎞
s ( x) L(1)
s ( x) L(1)
U α ⎟ < λ ( x) < ⎜ λ n ( x) + n
U α⎟ ,
⎜⎜ λ n ( x) − n
⎟
⎜
1−
1− ⎟
2 nhn
2 nhn
⎝
⎝
2 ⎠
2 ⎠
где U
1−
α
2
– квантиль уровня 1 −
(8)
α
стандартного нормального распределения. Вы2
вод формулы (8) имеется в [5] и разделе 9.9 [6].
3. Среднеквадратическое отклонение
Одной из основных точностных характеристик оценки является ее среднеквадратическое отклонение (СКО) от истинного значения. При нахождении СКО
оценок подстановок λ n ( x) , λ ′n ( x) и λ ′′n ( x) возникают трудности, обусловленные
их возможной неограниченностью, например, когда оценки знаменателей в
λ n ( x) , λ ′n ( x) и λ ′′n ( x) принимают значения равные нулю. В связи с этим рас-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом оценивании функции интенсивности отказов
35
смотрим следующие кусочно-гладкие аппроксимации оценок λ (nr ) ( x), r = 0,1, 2 :
(
)
Φ λ (nr ) ( x), δr = Φ r ( x, δr ) = λ (nr ) ( x)
( (1 + δ
τr
r
λ (nr ) ( x) )
)
ρr
,
(9)
где τr > 0, ρr > 0, ρr τr ≥ 1, δ r > 0.
Введем обозначения: tn = ( t1n ,..., tsn ) – векторная статистика с компонентами
t jn = t jn ( x) = t jn ( x; X1 ,..., X n ), j = 1, s;
2
tn = t12n + ... + tsn
– евклидова норма век-
тора tn , ϕ = ϕ( x) = (ϕ1 ( x),..., ϕs ( x)) – ограниченная вектор-функция; R n – n-мерν
ное евклидово пространство; M ν tn = E tn − ϕ – момент порядка ν нормы отклонения оценки tn ( x) от функции ϕ( x) в точке x.
Определение. Функция H ( z )
принадлежит классу Γ ν , s (ϕ),
если
H ( z ) : R s → R1 и для некоторой фиксированной точки x функции ϕ = ϕ( x) суще-
{
}
ствует ε -окрестность σ = z : zi − ϕi < ε, i = 1, s , в которой H ( z ) и все ее частные производные до ν -го порядка включительно непрерывны и ограничены.
Функцию, удовлетворяющую определению, будем обозначать H (⋅) ∈ Γ ν , s (ϕ).
Пусть N – множество натуральных чисел. Введем для тройки ( τ, k , m ) , где
k , m ∈ N , множество
T (m) ={(τ, k ): τ≥ τ(m) = 2k (m − k −1) > 0, m ≥ m0 = [3, k =1; 2k , k ≥ 2]}.
При нахождении СКО оценок нам потребуется следующий результат из [7],
который сформулируем ниже в виде теоремы 2.
Пусть функция H (ϕ) : R s → R1 и ϕ = ϕ( x) = ( ϕ1 ( x),..., ϕs ( x) ) – ограниченная
вектор-функция;
∇H (ϕ) = ( H1 (ϕ),..., H s (ϕ) ) ,
H j (ϕ) = ∂H ( z ) / ∂z j
z =ϕ
,
j = 1, s ;
С – неотрицательная постоянная.
Теорема 2. Пусть выполняются условия:
1) H ( z ) ∈ Γ 2, s (ϕ);
(
)
2) для некоторого m ≥ 3, m ∈ N , M m tn = O d n− m 2 ;
3) δ = δn = Cd n−1 ;
4) H (ϕ) ≠ 0 или τ ∈ N .
Тогда для любых ( τ, k ) ∈ T (m)
k
k
E ⎡⎣ Φ (tn , δ) − H (ϕ) ⎤⎦ − E ⎣⎡∇H (ϕ)(tn − ϕ)T ⎦⎤ = O(d n− ( k +1) 2 ).
(10)
Чтобы использовать формулу (10), необходимо, согласно условию 2, знать порядок сходимости к нулю четвертого момента оценок sn ( x), f n ( x), f n′ ( x) и
f ″ ( x). Эти результаты приводятся ниже в виде лемм 1 и 2.
n
Лемма 1. Пусть выполняются условия:
1) в точке x функция надежности s (⋅) непрерывна;
(
2) K ( x) = o x
−α
),
(
1 − K (− x) = o x
−α
) при x → ∞,
α > 0;
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Вааль, А. Векслер, Г.М. Кошкин
36
(
)
3) последовательность чисел hn = O n −1 2α . при n → ∞, α > 0.
Тогда
M 4 sn ( x) = E sn ( x) − s ( x)
4
( )
= E ( sn ( x) − s ( x)) 4 = O n −2 .
(11)
Доказательство. Привлекая при p = 4 и m = 2 неравенство
p
m
⎛ m
⎞
p −1
⎜ ∑ ai ⎟ ≤ m ∑ ai
⎝ i =1 ⎠
i =1
p
, p >1,
4
4
E ( sn ( x) − s ( x) ) ≤ 23 ⎡⎣ E ( sn ( x) − Esn ( x) ) + b 4 ( sn ( x) ) ⎤⎦ ,
имеем
где b ( sn ( x) ) = Esn ( x) − s ( x) – смещение оценки sn ( x). Согласно [8, с. 379−380],
4
( )
E ( sn ( x) − Esn ( x) ) = O n −2 , а согласно лемме 2 [3], смещение
(
( )
b ( sn ( x) ) = O hnα = O ⎡⎣ n −1 2α ⎤⎦
α
) = O (n
−1 2
).
Отсюда следует справедливость соотношения (11).
Теперь найдем порядок сходимости четвертого момента нормы отклонения
оценок f n( r ) ( x), r = 0,1, 2 , от истинных функций f ( r ) ( x). Обозначим
∞
∫u
T=
2
K (1) (u )du.
−∞
Лемма 2. Пусть выполняются условия:
∞
∫ K ′(u )du = −1,
1) K ′(u ) ≤ 0, K ′(u ) = K ′(−u ), sup K ′(u ) > −∞,
u
(
2) при x → ∞, K ( x) = o x
−2
),
(
−∞
1 − K (− x) = o x
−2
T < −∞;
);
для r = 0,1, 2 :
3) для всех x ∈ R1 производные f r (⋅) ∈ Γ 2 + r ,1 ( x);
4) sup f ( j + r ) ( x) < ∞,
j = 0, 2;
x∈R1
⎛
1 ⎞
5) lim ⎜⎜ hn + 1+ 2 r ⎟⎟ = 0;
n →∞
nhn ⎠
⎝
для r = 1, 2 выполняются дополнительные условия:
6) функции (r − 1) f ( r − 2) ( x) + f ( r −1) ( x) абсолютно непрерывны на R1 ;
∞
7)
∫
−∞
∞
| K ( r ) (u ) | du + (r − 1) ∫ | K ( r −1) (u ) | du < ∞;
−∞
(
8) при x → ±∞ K ′( x) = o x
−3
);
для r = 2 выполняется условие:
−4
9) при x → ±∞ K ′( x) = o x
.
(
)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом оценивании функции интенсивности отказов
37
Тогда при n → ∞
M 4 f n( r ) ( x)
=E
f n( r ) ( x) −
f
(r )
4
( x) = E
(
f n( r ) ( x) −
f
(r )
2
⎛⎡ 1
⎞
4⎤ ⎟
⎜
( x) = O ⎢ 1+2 r + hn ⎥ ,
⎜ ⎣nhn
⎦ ⎟⎠
⎝
)
4
r = 0, 1, 2.
(12)
Доказательство. Рассуждая, как при доказательстве леммы 1 данной работы,
(
4
и учитывая, что в силу леммы 3.2.3 [9] E ( f n ( x) − f ( x) ) = O ( nhn )
−2
),
а в силу
( )
леммы 2.2.2 [10] b ( f n ( x) ) = O hn2 , получаем выражение (12) для r = 0. Случай
r = 1 и r = 2 следует из лемм 2.4.4 и 2.5.6 [4].
Найдем СКО оценок λ n ( x), λ ′n ( x) и λ ′′n ( x) .
Теорема 3. Пусть для r = 0,1, 2 выполнены следующие условия:
1) s ( x) > 0;
2) выполнены условия лемм 1 и 2;
⎛ 1
⎞
3) δr = ⎜⎜ 1+ 2 r + hn4 ⎟⎟ ;
⎝ nhn
⎠
(r )
4) λ ( x) ≠ 0.
Тогда для любых ( τr , 2 ) ∈ T (m) при r = 0,1
(
)
2
E ⎡⎣ Φ λ (nr ) ( x), δr − λ ( r ) ( x) ⎤⎦ −
(
⎛ (2 + r ) ( x)
T 2 hn4 ⎜ f
−
4 ⎜⎜
s 2 ( x)
⎝
)
2
⎡
+ 4r ⎢λ 2 ( x) f (2) ( x)
⎣
(
)
2
λ ( x) L(1 + r )
nhn1+ 2 r s ( x)
+
−
⎞
λ ( x) (3)
⎤
f ( x) f (2) ( x) ⎥ ⎟ =
s( x)
⎦ ⎟⎟
⎠
3
⎛ 1
⎞2
= O ⎜⎜ 1+ 2 r + hn4 ⎟⎟ ,
⎝ nhn
⎠
(13)
а при r = 2
E ⎡⎣Φ
(
λ (2)
n ( x ), δ 2
+6
λ( x)
2
s ( x)
)−λ
(2)
(
f (4) ( x) f (3) ( x) f (4) ( x) + 6
⎛ f (1) ( x) s ( x) + 2 f 2 ( x) ⎞
+ 9⎜
⎟
s 3 ( x)
⎝
⎠
2
)
2
⎡ (4)
2
λ( x) L(3) T 2 hn4 ⎢ f ( x)
λ 2 ( x) (3)
( x)⎤⎦ − 5
9
f ( x) +
−
+
2
2
⎢
4
nhn s ( x)
s ( x)
s ( x)
⎣⎢
2
( f (2) ( x))
2
f (1) ( x) s ( x) + 2 f 2 ( x)
4
s ( x)
(
)
f (4) ( x) f (2) ( x) +
⎤
18λ ( x) ⎛ f (1) ( x) s ( x) + 2 f 2 ( x) ⎞ (3)
(2)
+
⎜
⎟ f ( x) f ( x)⎥ =
3
s( x) ⎝
s ( x)
⎠
⎦
3
⎛ 1
⎞2
= O ⎜⎜ 5 + hn4 ⎟⎟ .
⎝ nhn
⎠
(14)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Вааль, А. Векслер, Г.М. Кошкин
38
Доказательство. Покажем справедливость соотношения (13). Для случая
r = 0 в обозначениях условий теоремы 2 имеем: s = 2; z = ( z1 , z2 ); H ( z ) = z1 / z2 ;
(
)
tn = (t1n ,t2 n ) = ( f n , sn ); ϕ= (ϕ1 , ϕ2 ), ϕ1 = f ( x), ϕ2 = s ( x); k = 2; d n = O nhn + hn−4 .
( )
Возьмем m = m0 = 4 и покажем, что M 4 f n , sn = O d n−2 . Это сразу следует
из соотношения (11) и соотношения
M 4 f n , sn ≤ 2 [ M 4 f n + M 4 sn ] .
(12) (при
Далее, так как s ( x) > 0, а при z2 > 0 функция
r = 0 ) и неравенства
z1
∈ Γ 2,2 ( f , s ), то все условия,
z2
необходимые для выполнения соотношения (10), для оценки λ (0)
n ( x ) = λ ( x ) при
τ > τ0 = 4 выполнены.
Аналогично для
r =1
имеем:
s = 3;
tn = (t1n , t2 n , t3n ) = ( f n , sn , f n′ ); ϕ = (ϕ1 , ϕ2 , ϕ3 ),
dn = O
(
nhn3
+ hn−4
),
z = ( z1 , z2 , z3 );
H ( z) =
ϕ1 = f ( x), ϕ2 = s ( x),
z3 z2 + z12
z22
;
ϕ3 = f ′( x);
k = 2. Ясно, что
M 4 f n , sn , f n′ ≤ 4 [ M 4 f n + M 4 sn + M 4 f n′ ] .
⎛ 1
⎞
Теперь соотношение M 4 f n , sn , f n′ = O ⎜⎜ 3 + hn4 ⎟⎟ вытекает из (11) и выражения
⎝ nhn
⎠
(12) при r = 0,1.
Перейдем к соотношению (14). По аналогии с доказательством (13) в обознаz z 2 + 3 z1 z3 z2 + 2 z13
чениях теоремы 2 имеем: s = 4; z = ( z1 , z2 , z3 , z4 ); H ( z ) = 4 2
;
z23
t = (t , t , t , t ) = ( f , s , f ′ , f ″ ); ϕ = (ϕ , ϕ , ϕ , ϕ ), ϕ = f ( x), ϕ = s ( x),
n
1n
2n
3n
4n
n
''
n
n
ϕ3 = f ′( x), ϕ4 = f ( x); d n = O
(
n
nhn5
+ hn−4
),
1
2
3
4
1
2
k = 2. Ясно, что
M 4 f n , sn , f n′ , f n″ ≤ 8 ⎡ M 4 f n + M 4 sn + M 4 f n′ + M 4 f n″ ⎤ .
⎣
⎦
⎛ 1
⎞
Теперь соотношение M 4 f n , sn , f n′ , f n″ = O ⎜⎜ 5 + hn4 ⎟⎟ вытекает из (11) и выра⎝ nhn
⎠
жения (12).
Заключение
Асимптотическая нормальность простых оценок подстановок (4), (5) и (6) позволяет исследователям и экспериментаторам строить для функции интенсивности
λ ( x) интервальные оценки (8) заданной надежности в условиях неопределенности.
Классические подходы не позволяют находить важные точностные характеристики оценок подстановок (4), (5) и (6) – их СКО. В работе построены кусочногладкие аппроксимации для λ n ( x), λ ′n ( x) и λ ′′n ( x), задаваемые выражением (9),
для которых найдены главные части асимптотических СКО (формулы (13) и (14)).
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом оценивании функции интенсивности отказов
39
ЛИТЕРАТУРА
1. Барзилович Е.Ю., Беляев Ю.К., Каштанов В.А. и др. Вопросы математической теории
надежности. М.: Радио и связь, 1983. 376 с.
2. Боровков А.А. Математическая статистика. Оценка параметров. Проверка гипотез. М.:
Наука, 1984. 472 с.
3. Китаева А.В., Кошкин Г.М. Устойчивое с улучшенной скоростью сходимости непараметрическое оценивание многомерной функции интенсивности // Автоматика и телемеханика. 1997. № 5. С. 202−214.
4. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука,
Физматлит, 1997. 336 с.
5. Вааль В.А., Кошкин Г.М. Интервальные непараметрические оценки функции интенсивности // Математическое моделирование и теория вероятностей: сб. научных трудов
Томского университета / под ред. В.Н. Берцуна, А.М. Бубенчикова и Ю.К. Устинова.
Томск: Изд-во ТГУ. 1998. С. 147−149.
6. Васильев В.А., Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание функционалов от распределений стационарных последовательностей. М.: Наука, 2004. 512 с.
7. Кошкин Г.М. Моменты отклонений оценки подстановки и ее кусочно-гладких аппроксимаций // Сибирский математический журнал. 1999. Т. 40. № 3. С. 605−618.
8. Крамер Г. Математические методы статистики. М.: Мир, 1975. 648 с.
9. Кошкин Г.М., Пивен И.Г. Непараметрическая идентификация стохастических систем.
Хабаровск: РАН. Дальневосточное отделение, 2009. 336 с.
10. Alexander V. Dobrovidov, Gennady M. Koshkin, Vyacheslav A. Vasiliev. Non-parametric
State Space Models. Heber, UT 84032, USA. Kendrick Press, Inc., 2012. 501 p.
Вааль Вадим Александрович
Томский государственный университет
Векслер Альберт
Университет Баффало (шт. Нью Йорк, США)
Кошкин Геннадий Михайлович
Томский государственный университет
E-mail: rcew2000@mail.ru; avexler@buffalo.edu; kgm@mail.tsu.ru
Поступила в редакцию 2 июля 2012 г.
Vaal Vadim A. (Tomsk State University), Vexler Albert (The State University of New York, University at Buffalo), Koshkin Gennady M. (Tomsk State University). On nonparametric estimation of hazard function and its derivatives.
Keywords: hazard function, nonparametric kernel estimation, conditional mean, asymptotic normality, mean square error.
A class of nonparametric plug-in estimators for an unknown hazard function
λ ( x) = f ( x) s ( x) and its derivative is suggested. Here s ( x) is a survival function, f ( x) = − s′( x)
is a probability density, x ≥ 0. Distribution convergences of the proposed estimates λ n ( x),
λ′n ( x) and λ′′n ( x) to the unknown hazard function λ ( x) and its derivatives λ′( x) and λ′′( x) are
proved. The piecewise smooth approximations for λ n ( x), λ′n ( x) and λ′′n ( x) are constructed and
the MSEs for this approximations are found.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.87
С.С. Волкова, Р.Б. Сергиенко
ОТБОР ИНФОРМАТИВНЫХ ПРИЗНАКОВ
В НЕПАРАМЕТРИЧЕСКОЙ ОЦЕНКЕ РЕГРЕССИИ
С ИСПОЛЬЗОВАНИЕМ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ
Рассматривается метод отбора информативных признаков в непараметрической оценке регрессии, основанный на использовании генетических алгоритмов. Идея метода заключается в оптимизации параметров размытия признаков генетическими алгоритмами и в последующем исключении признаков, которым соответствуют наибольшие значения параметров размытия.
Проведены исследования метода на задачах различной размерности при различных настройках генетического алгоритма.
Ключевые слова: непараметрическая оценка регрессии, генетический алгоритм, отбор информативных признаков.
Одной из ключевых проблем в решении разнообразных задач анализа данных
(оценка регрессии, распознавание образов, кластеризация, прогнозирование) является отбор информативных признаков. Реальные процессы в технических и организационных системах могут описываться десятками и сотнями различных признаков. При этом не всегда все из них являются существенными или значимыми,
то есть необходимыми для построения адекватной модели процесса (регрессионной модели, классификационной модели и др.). Кроме того, актуальность отбора
информативных признаков становится особенно ощутимой в связи с характерной
для большинства алгоритмов анализа данных проблемой «проклятья размерности». Эта проблема заключается в резком падении эффективности алгоритма или
резком увеличении требуемого вычислительного ресурса для эффективной работы алгоритма при увеличении размерности (увеличении числа признаков) решаемой задачи анализа данных.
На сегодняшний день предложено большое число методов отбора информативных признаков или снижения размерности [1]: метод главных компонент, модели и
методы факторного анализа, многомерное шкалирование и другие. Каждый из разработанных методов обладает своими преимуществами и недостатками, во многих
случаях есть ограничения на применение того или иного метода. Поэтому научнотехническое направление, связанное с разработкой новых методов снижения размерности или отбора информативных признаков, остается актуальным.
В настоящей работе рассматривается задача отбора информативных признаков
для регрессионных моделей, основанных на непараметрической оценке Надарая –
Ватсона [2]. Преимущество такой оценки заключается в отсутствии необходимости подбирать структуру регрессионной модели, что сделало её распространённой
и популярной для моделирования разнообразных процессов, особенно в технических системах.
Построение непараметрической оценки регрессии сводится к подбору наилучших значений так называемых параметров размытия для признаков задачи, то
есть к оптимизации оценки регрессии по параметрам размытия. При этом данная
задача оптимизации характеризуется отсутствием аналитического вида целевой
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Отбор информативных признаков в непараметрической оценке регрессии
41
функции (она задана процедурно) и потенциально высокой размерностью (в зависимости от решаемой задачи), что делает затруднительным или даже невозможным использование многих классических методов оптимизации. Для решения подобного рода задач оптимизации хорошо зарекомендовали себя генетические алгоритмы [3], поэтому и предлагается их использование для настройки параметров
размытия непараметрической оценки регрессии. Работа генетических алгоритмов
основана на использовании подобия природного эволюционного процесса, приводящего к улучшению и адаптации к окружающей среде живых организмов.
Непараметрическая оценка регрессии обладает ещё и тем свойством, что для
малоинформативных признаков оптимальные значения параметров размытия
стремятся к большим величинам. Следовательно, поиск оптимальных, или хотя
бы субоптимальных, значений параметров размытия позволит выявлять малоинформативные признаки, которые можно рассматривать в качестве кандидатов на
исключение из рассматриваемой задачи анализа данных.
Таким образом, данная работа посвящена исследованию метода отбора информативных признаков в непараметрической оценке регрессии на основе использования генетических алгоритмов для оптимизации параметров размытия и
последующего выявления малоинформативных признаков.
При этом в рамках исследования были поставлены следующие задачи:
- провести исследования предлагаемого метода на задачах различной размерности;
- провести исследования предлагаемого метода при зашумленности обучающих выборок;
- провести исследования предлагаемого метода при различных настройках генетического алгоритма, так как использование генетических алгоритмов сопряжено с проблемой выбора настроек алгоритма, таких, как тип селекции, тип
скрещивания, частота мутации и других [4].
1. Непараметрическая оценка регрессии
Рассмотрим подробнее непараметрическую оценку регрессии Надарая – Ватсона.
Пусть (x1, x2, … , xn) – вектор значений признаков, y – значение регрессии.
Предположим, что имеется обучающая выборка значений признаков и соответствующих значений регрессии длиной N. Тогда непараметрическая оценка регрессии для вектора признаков (x1*, x2*,…, xn*) выглядит следующим образом [2]:
n
N
⎛ xij − x*j ⎞
yˆ( x * ) = ∑ yi ⋅ ∏ Φ ⎜
⎟
⎜ cj ⎟
i =1
j =1 ⎝
⎠
N
n
⎛ xij − x*j ⎞
⎟,
⎟
⎝ cj ⎠
∑ ∏ Φ ⎜⎜
i =1 j =1
(1)
где cj – параметры размытия, Ф(…) – колоколообразная функция. Один из распространенных видов колоколообразной функции следующий [2]:
1 − t , если t < 1,
Φ (t ) =
0, иначе.
{
При построении непараметрической оценки регрессии вводится критерий
качества оценки W, который обычно определяется как среднеквадратическая
ошибка полученных оценок от истинных значений регрессии по тестовой выборке
объёма Nt:
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
42
С.С. Волкова, Р.Б. Сергиенко
1 N1
(2)
∑ ( yˆi − yi )2 .
N t i =1
Задача построения непараметрической оценки регрессии сводится к подбору
наилучших значений параметров размытия cj, то есть к минимизации критерия
качества оценки W по параметрам размытия cj.
Обратим внимание, что для малоинформативных признаков оптимальный параметр размытия cj будет иметь тенденцию к увеличению. Действительно, при
устремлении cj к бесконечности (сj→∞) аргумент функции Ф(t) стремится к нулю,
при этом Ф(0)=1. Из формулы (1) видно, в такой ситуации оценка регрессии полностью перестаёт зависеть от значений признака, параметр размытия для которого
стремится к бесконечности.
W=
2. Генетический алгоритм для оптимизации параметров размытия
и отбора информативных признаков
Генетический алгоритм (ГА) относится к классу стохастических алгоритмов
оптимизации [5]. Преимущество генетических алгоритмов перед другими методами оптимизации в способности эффективно решать многомерные, многоэкстремальные задачи; при зашумлённости целевой функции, её неявном (например,
алгоритмическом) задании; при дискретности переменных.
Название генетического алгоритма объясняется тем, что в основе него лежит
имитация процессов, происходящих в природе среди особей какой-либо популяции.
Индивид или особь представляет собой решение (вектор значений параметров), закодированное произвольным образом, например в бинарную строку-хромосому.
Совокупность решений в фиксированный момент времени составляет популяцию.
Каждый индивид обладает пригодностью, привязанной к значению целевой функции. Индивиды текущей популяции конкурируют друг с другом за передачу своей
генетической информации (создание потомков) в следующую популяцию. Отобранные с помощью селекции индивиды из текущей популяции проходят этапы
создания новых решений-потомков – рекомбинации и мутации. Селекция, рекомбинация и мутация относятся к основным операторам генетического алгоритма.
Распространённые типы селекции в ГА: пропорциональная, турнирная, ранговая;
распространённые типы рекомбинации (скрещивания): одноточечное, двухточеное,
равномерное. Также возможна различная частота мутации. Видно, что существует
большое число различных комбинаций настроек генетического алгоритма.
Одно из основных проблем в использовании генетических алгоритмов заключается в том, результат работы алгоритма сильно зависит от выбора комбинации
его настроек. Наилучшей универсальной комбинации настроек не существует [4].
Главной причиной этому является то, что в процессе работы генетический алгоритм реализует две стратегии. Первая стратегия – исследование, ее целью является поиск новых областей решений. Применение этой стратегии наиболее обосновано на начальных этапах поиска. В генетическом алгоритме эту стратегию реализует оператор мутации. Вторая стратегия – использование, применяется для
улучшения существующего решения, этому следовало бы уделять больше внимания на заключительных этапах работы алгоритма оптимизации. В генетическом
алгоритме эту функцию выполняет оператор скрещивания. Вследствие этого
можно считать обоснованной идею уменьшения влияния оператора мутации в течение работы генетического алгоритма, но стандартный генетический алгоритм
использует обе стратегии в постоянных (для одного запуска) пропорциях.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Отбор информативных признаков в непараметрической оценке регрессии
43
В данной работе генетический алгоритм используется для оптимизации (минимизации) критерия качества оценки непараметрической оценки регрессии (2)
по параметрам размытия, далее определяются максимальные значения параметра
размытия, соответствующие наименее информативных признакам.
При исследовании генетического алгоритма на рассматриваемой задаче отбора
информативных признаков в непараметрической оценке регрессии использовались три типа селекции (пропорциональная, турнирная с турниром 3, ранговая),
три типа скрещивания (одноточечное, двухточечное, равномерное), а также различные варианты мутации. В работе рассматривались следующие варианты адаптивной мутации, взятые из [6]:
−1
1
0,11375
m−2 ⎞
⋅t ⎟ ,
+
, pt = ⎛⎜ 2 +
t
240
T −1 ⎠
⎝
2
где t – текущее поколение, m – число генов в хромосоме, T – максимальное число
поколений, pt – эмпирическая вероятность (частота) мутации в поколении t. Кроме
адаптивной мутации в работе рассматривались разные виды постоянной мутации:
очень слабая (p = 1/(9m)), слабая (p = 1/(3m)), средняя (p = 1/m), сильная (p = 3/m),
очень сильная (p = 9/m). Именно исследованию сравнительной эффективности
различных видов мутации уделено особое внимание в данной работе.
pt =
3. Результаты численных исследований
Для исследования предлагаемого метода отбора информативных признаков
были взяты четыре тестовые функции различной размерности:
1) y ( x ) = 0, 01 ⋅ x1 + 7 ⋅ x2 + 5 ⋅ x3 ;
2) y ( x ) = 0, 01 ⋅ x1 + 7 ⋅ x2 + 5 ⋅ x3 + 12 ⋅ x4 + 8 ⋅ x5 ;
3) y ( x ) = 0, 01 ⋅ x1 + 7 ⋅ x2 + 5 ⋅ x3 + 12 ⋅ x4 + 8 ⋅ x5 + 15 ⋅ x6 + 3 ⋅ x7 ;
4) y ( x ) = 0, 01 ⋅ x1 + 7 ⋅ x2 + 5 ⋅ x3 + 12 ⋅ x4 + 8 ⋅ x5 + 15 ⋅ x6 + 3 ⋅ x7 + 9 ⋅ x8 + 13,5 ⋅ x9 .
Видно, что во всех указанных четырёх функциях есть переменная (признак) с
малым весовым коэффициентом, то есть являющаяся малоинформативной. Поэтому задача – выявить именно эти признаки с использованием предлагаемого
подхода.
Обучающая выборка объёмом 100 для каждой задачи генерировалась случайным образом из интервала [0; 3] с равномерным законом распределения для каждой переменной. Проводились исследования без наложения помехи и с наложением помехи в 10 % на значения обучающей выборки. Интервал варьирования для
параметров размытия [0,001; 10]. Ресурс алгоритма – 50 индивидов на 50 поколений. Генетический алгоритм запускался по 20 раз для каждой комбинации настроек (3 типа селекции × 3 типа скрещивания × 7 типов мутации = 63 комбинации настроек) с усреднением значений параметров размытия для каждой переменной. В каждом запуске алгоритма определяется наименее значимый признак,
затем вычисляется среднеквадратичная ошибка непараметрической модели, полученная удалением найденного малоинформативного признака. Для сравнения
также указаны среднеквадратичные ошибки, полученные изъятием каждого из
признаков, а также при включении всех признаков в регрессионную модель.
В таблицах приведены результаты численных исследований с усредненными показателями для различных типов мутации в генетическом алгоритме. Жирным
шрифтом обозначены наименьшие значения ошибки.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
С.С. Волкова, Р.Б. Сергиенко
44
Таблица 1
Результаты исследования на задаче 1 без помехи
Мутация
Параметр размытия 1
Параметр размытия 2
Параметр размытия 3
Среднекв. ошибка без признака 1
Среднекв. ошибка без признака 2
Среднекв. ошибка без признака 3
Среднекв. ошибка со всеми приз.
Очень
слабая
7,917
0,468
0,574
0,590
36,141
20,094
0,590
Слабая
8,211
0,435
0,574
0,641
38,028
19,266
0,645
Средняя
7,646
0,398
0,577
0,594
39,183
18,931
0,606
Сильная
5,884
0,453
0,616
0,771
39,587
20,722
0,781
Очень
сильная
4,039
0,522
0,696
1,030
40,157
20,322
1,145
Адапт.
1
7,681
0,433
0,611
0,727
38,678
19,381
0,729
Адапт.
2
4,419
0,547
0,742
1,611
40,747
20,761
1,726
Таблица 2
Результаты исследования на задаче 1 с помехой в 10 %
Мутация
Параметр размытия 1
Параметр размытия 2
Параметр размытия 3
Среднекв. ошибка без признака 1
Среднекв. ошибка без признака 2
Среднекв. ошибка без признака 3
Среднекв. ошибка со всеми приз.
Очень
слабая
8,384
0,503
0,614
0,585
39,113
19,499
0,589
Слабая
6,916
0,416
0,618
0,571
37,775
20,064
0,565
Средняя
7,296
0,456
0,584
0,614
40,098
20,605
0,621
Сильная
6,070
0,460
0,630
0,571
37,668
19,348
0,583
Очень
сильная
4,328
0,600
0,704
1,301
40,423
19,420
1,378
Адапт.
1
7,678
0,490
0,610
0,620
37,799
19,267
0,623
Адапт.
2
4,212
0,582
0,750
1,634
41,063
20,669
1,796
Таблица 3
Результаты исследования на задаче 2 без помехи
Мутация
Параметр размытия 1
Параметр размытия 2
Параметр размытия 3
Параметр размытия 4
Параметр размытия 5
Среднекв. ошибка без признака 1
Среднекв. ошибка без признака 2
Среднекв. ошибка без признака 3
Среднекв. ошибка без признака 4
Среднекв. ошибка без признака 5
Среднекв. ошибка со всеми приз.
Очень
Сред- Силь- Очень Адапт. Адапт.
Слабая
слабая
няя
ная сильная
1
2
6,748 6,300 6,647 5,211 4,465 6,292 4,845
1,238 1,134 1,262 1,231 1,400 1,200 1,678
1,631 1,611 1,581 1,639 1,910 1,589 1,947
0,813 0,876 0,815 0,831 0,896 0,758 0,818
1,251 1,168 1,101 1,182 1,171 1,123 1,316
13,665 14,909 13,443 15,695 22,691 13,728 24,311
49,069 48,225 48,627 49,668 54,462 49,204 52,254
29,990 28,757 29,017 31,165 35,063 30,887 35,853
123,096 118,200 122,023 123,140 122,636 125,228 130,616
61,366 58,390 63,574 60,747 65,352 61,233 64,402
13,649 14,811 13,613 15,815 23,283 13,678 24,978
Таблица 4
Результаты исследования на задаче 2 с помехой в 10 %
Мутация
Параметр размытия 1
Параметр размытия 2
Параметр размытия 3
Очень
слабая
6,943
1,176
1,632
Слабая
6,955
1,228
1,539
Средняя
6,492
1,234
1,613
Силь- Очень
ная сильная
4,991 4,337
1,222 1,364
1,648 2,194
Адапт.
1
6,394
1,226
1,649
Адапт.
2
4,779
1,571
2,156
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Отбор информативных признаков в непараметрической оценке регрессии
45
Окончание табл. 4
Параметр размытия 4
Параметр размытия 5
Среднекв. ошибка без признака 1
Среднекв. ошибка без признака 2
Среднекв. ошибка без признака 3
Среднекв. ошибка без признака 4
Среднекв. ошибка без признака 5
Среднекв. ошибка со всеми приз.
0,939 0,801 0,826 0,842 0,895 0,905 0,841
1,152 1,169 1,086 1,148 1,233 1,145 1,308
14,170 16,838 12,714 16,606 24,536 15,763 27,137
49,265 52,213 43,658 50,065 54,139 50,228 54,636
30,262 32,125 27,876 31,278 36,319 29,323 40,413
117,429 133,350 116,187 122,692 138,229 129,352 127,646
61,134 64,071 60,620 64,293 69,090 63,991 70,642
14,135 16,893 12,756 16,639 25,441 15,837 27,520
Таблица 5
Результаты исследования на задаче 3 без помехи
Мутация
Параметр размытия 1
Параметр размытия 2
Параметр размытия 3
Параметр размытия 4
Параметр размытия 5
Параметр размытия 6
Параметр размытия 7
Среднекв. ошибка без признака 1
Среднекв. ошибка без признака 2
Среднекв. ошибка без признака 3
Среднекв. ошибка без признака 4
Среднекв. ошибка без признака 5
Среднекв. ошибка без признака 6
Среднекв. ошибка без признака 7
Среднекв. ошибка со всеми приз.
Очень
Сред- Силь- Очень Адапт. Адапт.
Слабая
слабая
няя
ная сильная
1
2
7,001 7,731 6,579 5,502 5,425 6,668 5,383
1,677 1,654 1,878 1,685 2,073 1,741 2,630
2,097 2,536 2,229 2,587 2,826 2,274 2,750
1,116 1,118 1,088 1,125 1,199 1,137 1,443
1,590 1,464 1,565 1,525 2,096 1,796 1,790
1,002 0,906 1,046 1,047 1,044 1,086 1,001
4,106 3,686 3,490 3,308 3,016 3,905 2,992
41,869 44,736 43,840 43,448 65,093 39,380 64,899
71,004 76,450 67,988 70,447 89,409 70,434 86,685
54,900 55,748 57,026 55,216 74,770 51,218 72,460
154,621 153,418 152,824 147,041 172,396 147,010 151,414
78,118 86,167 86,499 83,906 95,859 75,783 101,116
205,639 204,568 213,707 202,851 222,672 207,912 226,348
43,478 47,592 46,942 46,334 66,083 41,082 65,500
41,872 45,130 43,848 43,542 65,896 39,484 65,604
Таблица 6
Результаты исследования на задаче 3 с помехой в 10 %
Мутация
Параметр размытия 1
Параметр размытия 2
Параметр размытия 3
Параметр размытия 4
Параметр размытия 5
Параметр размытия 6
Параметр размытия 7
Среднекв. ошибка без признака 1
Среднекв. ошибка без признака 2
Среднекв. ошибка без признака 3
Среднекв. ошибка без признака 4
Среднекв. ошибка без признака 5
Среднекв. ошибка без признака 6
Среднекв. ошибка без признака 7
Среднекв. ошибка со всеми приз.
Очень
Сред- Силь- Очень Адапт. Адапт.
Слабая
слабая
няя
ная сильная
1
2
7,563 7,254 6,726 5,796 5,528 6,678 5,478
1,624 1,750 1,761 1,758 2,264 1,428 2,538
2,447 2,435 2,271 2,509 2,651 2,659 2,284
1,121 1,189 1,171 1,127 1,188 1,154 1,296
1,573 1,462 1,622 1,536 1,925 1,610 1,955
1,004 0,990 1,053 1,053 1,014 1,019 1,035
4,435 3,462 3,553 3,375 3,179 4,084 3,165
46,831 42,866 37,953 42,931 62,187 44,582 74,501
79,046 67,534 64,229 71,031 83,442 76,157 94,404
57,588 54,121 50,088 53,683 70,767 53,755 81,467
148,348 146,173 143,587 142,853 163,054 148,487 164,002
89,129 83,019 76,377 82,172 97,027 83,528 102,881
214,745 211,390 199,436 212,752 219,040 212,389 235,815
48,767 45,668 40,705 45,824 63,813 46,860 74,690
46,754 42,891 38,088 43,471 62,561 44,642 74,771
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
С.С. Волкова, Р.Б. Сергиенко
46
Таблица 7
Результаты исследования на задаче 4 без помехи
Мутация
Параметр размытия 1
Параметр размытия 2
Параметр размытия 3
Параметр размытия 4
Параметр размытия 5
Параметр размытия 6
Параметр размытия 7
Параметр размытия 8
Параметр размытия 9
Среднекв. ошибка без признака 1
Среднекв. ошибка без признака 2
Среднекв. ошибка без признака 3
Среднекв. ошибка без признака 4
Среднекв. ошибка без признака 5
Среднекв. ошибка без признака 6
Среднекв. ошибка без признака 7
Среднекв. ошибка без признака 8
Среднекв. ошибка без признака 9
Среднекв. ошибка со всеми приз.
Очень
Сред- Силь- Очень Адапт. Адапт.
Слабая
слабая
няя
ная сильная
1
2
7,471 7,199 6,585 5,945 5,816 6,608 5,754
2,874 2,282 2,703 2,321 3,025 2,471 2,761
3,335 3,640 2,998 3,477 3,145 2,969 3,088
1,415 1,445 1,492 1,496 1,812 1,578 1,824
1,935 2,043 1,996 2,361 2,568 2,147 2,703
1,291 1,316 1,229 1,261 1,180 1,248 1,228
4,899 4,281 3,851 4,141 3,812 3,734 3,767
2,205 2,142 1,846 2,011 2,105 1,930 2,251
1,239 1,270 1,431 1,392 1,500 1,348 1,531
105,073 93,725 100,095 119,858 161,659 94,305 163,303
124,998 120,887 118,082 145,867 179,104 116,862 181,159
112,750 99,911 112,855 128,840 169,306 103,724 170,603
204,091 188,454 205,834 210,839 240,435 184,640 252,814
141,475 126,050 139,358 149,211 185,662 128,417 191,206
267,195 245,714 264,541 285,697 318,998 241,896 311,846
105,978 95,0553 102,996 121,077 158,801 97,490 162,247
149,247 133,191 149,692 159,272 196,230 137,032 204,620
248,216 218,108 219,263 241,911 267,340 212,029 278,311
104,652 93,623 100,293 120,930 163,065 94,335 164,284
Таблица 8
Результаты исследования на задаче 4 с помехой в 10 %
Мутация
Параметр размытия 1
Параметр размытия 2
Параметр размытия 3
Параметр размытия 4
Параметр размытия 5
Параметр размытия 6
Параметр размытия 7
Параметр размытия 8
Параметр размытия 9
Среднекв. ошибка без признака 1
Среднекв. ошибка без признака 2
Среднекв. ошибка без признака 3
Среднекв. ошибка без признака 4
Среднекв. ошибка без признака 5
Среднекв. ошибка без признака 6
Среднекв. ошибка без признака 7
Среднекв. ошибка без признака 8
Среднекв. ошибка без признака 9
Среднекв. ошибка со всеми приз.
Очень
Сред- Силь- Очень Адапт. Адапт.
Слабая
слабая
няя
ная сильная
1
2
7,804 7,846 7,411 6,451 5,638 7,276 5,808
1,982 2,965 2,286 2,564 3,146 2,281 2,515
3,200 3,372 3,627 3,600 2,958 3,521 2,914
1,565 1,506 1,454 1,221 1,828 1,418 1,873
2,495 2,161 2,300 2,215 2,759 2,278 2,882
1,185 1,200 1,343 1,274 1,196 1,230 1,238
4,799 5,014 4,979 4,174 3,687 4,263 3,439
2,035 1,916 1,768 1,953 2,226 2,099 2,310
1,309 1,363 1,236 1,207 1,251 1,447 1,540
108,802 104,548 103,278 110,128 172,413 110,136 161,865
140,405 121,808 128,702 131,260 189,477 135,557 182,102
116,349 113,316 109,455 115,295 177,679 118,704 167,849
199,495 198,846 201,369 213,642 244,206 203,395 241,838
135,114 133,140 138,789 139,074 194,955 143,403 186,799
270,854 267,295 250,053 286,834 332,546 261,031 320,799
110,467 106,276 104,923 111,871 168,673 112,656 157,546
155,108 154,755 160,347 149,426 203,050 150,585 199,607
227,572 234,789 229,838 237,740 287,421 221,972 274,727
109,133 104,825 103,524 110,663 173,356 110,698 162,774
Из табл. 1 – 8 видно, что алгоритм действительно определяет максимальное
значение параметра размытия для наименее информативного признака (признак 1
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Отбор информативных признаков в непараметрической оценке регрессии
47
во всех задачах). Более того, зачастую среднеквадратичная ошибка непараметрической оценки регрессии, получаемой в результате исключения наименее информативного признака, оказывается меньше ошибки при использовании всех признаков. Накладывание помехи на значения признаков элементов обучающей выборки не приводит к ухудшению работоспособности алгоритма. Следует отметить, что на разных задачах показывают наибольшую эффективность различные
типы мутации, что подтверждает актуальность проблемы выбора настроек генетического алгоритма.
Заключение
Таким образом, разработана процедура отбора информативных признаков в
непараметрической оценке регрессии на основе использования генетических алгоритмов для оптимизации параметров размытия и дальнейшего исключение малоинформативных признаков, соответствующих наибольшим значениям параметра размытия.
Проведены исследования разработанного метода на задачах различной размерности (3, 5, 7 и 9) , без помехи и с помехой в 10 %, на различных комбинациях настроек генетического алгоритма. Особое внимание уделено исследованию сравнительной эффективности различных типов мутации в генетическом алгоритме.
Можно сделать следующие выводы по результатам проведенных численных
исследований:
1) Метод определяет наименее информативный признак на задачах различной
размерности.
2) Для метода не является существенным наличие помех в значениях признаков элементов из обучающей выборки.
3) На различных задачах могут быть эффективными различные настройки генетического алгоритма, в том числе различные типы мутации, что делает актуальным проблему выбора наилучших настроек генетического алгоритма.
Разработанный метод может быть использован при построении регрессионных
моделей реальных процессов, для которых является существенной задача отбора
информативных признаков.
ЛИТЕРАТУРА
1. Айвазян С.А.и др. Прикладная статистика. Классификация и снижение размерности. М.:
Финансы и статистика, 1989. 607 c.
2. Медведев А.В. Непараметрические системы адаптации. Новосибирск: Наука, 1983. 174 с.
3. Goldberg D.E. Genetic Algorithms in Search, Optimization and Machine Learning. Reading,
MA: Addison-Wesley, 1989.
4. Сергиенко Р.Б. Исследование эффективности коэволюционного генетического алгоритма условной оптимизации // Вестник Сибирского государственного аэрокосмического
университета имени академика М.Ф. Решетнёва. 2009. № 3 (24). С. 31−36.
5. Семенкин Е.С., Семенкина О.Э., Коробейников С.П. Оптимизация технических систем:
учеб. пособие. Красноярск: СИБУП, 1996. 284 с.
6. Daridi F., Kharma N., Salik J. Parameterless genetic algorithms: review and innovation //
IEEE Canadian Review. Summer 2004. Nо. 47. P. 19−23.
Волкова Светлана Сергеевна
Сергиенко Роман Борисович
Сибирский государственный аэрокосмический университет
им. акад. М.Ф. Решетнёва (г. Красноярск)
E-mail: sv-vol@yandex.ru; romaserg@list.ru
Поступила в редакцию 14 мая 2012 г.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
48
С.С. Волкова, Р.Б. Сергиенко
Volkova Svetlana S., Sergienko Roman B. (Reshetnev Siberian State Aerospace University).
Informative attributes selection in nonparametric regression estimation by making use of
genetic algorithms.
Keywords: nonparametric estimated regression, genetic algorithms, Informative attributes selection.
A method of informative attributes selection in nonparametric regression estimation based on
genetic algorithms is considered. The idea of the method consists in optimization of attributes
fuzzy parameters using genetic algorithms and elimination of attribute with maximum value of
fuzzy parameter.
Investigation of the method for problems with different dimension (3, 5, 7, and 9), without
noise and with 10% noise, for different setting of genetic algorithm parameters was performed.
Special attention was paid to investigation of comparative efficiency for different mutation types
at genetic algorithm.
It is possible to draw following conclusions based on numerical experiments:
1) The method defines the least informative attribute.
2) Noise is not essential for efficiency of the method.
3) Different settings of genetic algorithm parameters for different problems can be effective.
So the problem of genetic algorithm parameters setting is actual.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.24; 621.3; 681.5.1
В.В. Губарев
НЕПАРАМЕТРИЧЕСКИЕ ИЗМЕРЕНИЯ ХАРАКТЕРИСТИК
СЛУЧАЙНЫХ СИГНАЛОВ И ПРОБЛЕМЫ ИНТЕРПРЕТАЦИИ
И ПРИМЕНЕНИЯ ИХ РЕЗУЛЬТАТОВ
Обсуждаются проблемы, к которым может привести интерпретация и применение результатов непараметрических измерений характеристик случайных
сигналов без учета модельных представлений сигналов и условий измерений.
Ключевые слова: cлучайные сигналы и процессы, характеристики, измерение, оценивание.
Словосочетание «непараметрические измерения» является производным от
термина математической статистики «непараметрическое оценивание». Под непараметрическим понимают оценивание характеристик случайных элементов (величин, векторов, функций), при котором не известна (или известна, но не используется) модель оцениваемой функционной или числовой характеристики и/или случайного элемента [1, с. 631; 2, с. 338; 3, с. 134]. Иногда такое оценивание называют свободным от распределения, т.е. от той модели распределения, которой
подчиняются выборочные значения случайного элемента [4, с. 628–629], или, в
общем виде, свободными от аналитического описания характеристик и/или моделей [3, с. 134]. Однако при этом остаются открытыми те вопросы, которые, как
правило, не ставятся при непараметрическом оценивании и, что особенно важно,
при непараметрических измерениях. Среди них такие, например, как: «Насколько
корректным является такое оценивание (измерение)?», «Насколько корректным
являются интерпретация и применение результатов оценивания, особенно измерения?». Ведь измерение является целью для измерителя и только лишь одним из
первичных этапов решения различных практических и теоретических прикладных
и исследовательских задач.
Цель настоящей работы – рассмотрение именно этих вопросов.
1. Необходимые определения
Для однозначности восприятия материала определимся с используемыми понятиями.
Прежде всего обратим внимание на такие разные понятия, как случайные сигналы и случайные элементы (величины, векторы, функции), а также измерение и
оценивание.
Под сигналами будем понимать внутриобъектные физические носители информации, мгновенные значения которых представляют собой различные физические величины [3, с. 34]. Случайные сигналы – те из сигналов, которые можно
описать вероятностными моделями, т.е. такие, физическая основа (суть) и условия
экспериментального восприятия которых подчиняются требованиям применимости вероятностно-статистического аппарата. В качестве моделей случайных сигналов и их отсчетов (временных, пространственных и т.п.) могут быть, например,
модели случайных элементов, в том числе заданные в виде стохастических интег-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.В. Губарев
50
ро-дифференциальных, конечно-разностных и т.п. уравнений. Что касается случайных элементов, то это объекты математики. Иными словами, случайные элементы могут рассматриваться лишь как математические образы (модели) случайных сигналов-оригиналов.
Из разных определений измерения (см., например, [5, с. 13]) будем использовать
только количественное, понимая под измерением установление соответствия значениям физических величин, характеризующих состояние некоторого материального
объекта, значений числового множества из заданной числовой измерительной шкалы. Иными словами, измерение как процесс есть последовательность физических
действий, связанных с сопоставлением физической величины с некоторой мерой
(единицей измерения) и подсчетом (отсчетом, снятием) количества мер, укладывающихся в размере этой физической величины. В отличие от измерения оценивание есть последовательность математических операций (действий), направленных
на вычисление по выборочным значениям (реализациям) случайного элемента эмпирических значений искомой характеристики (этап 1-й – получение эмпирических
характеристик) и принятие (обоснование, приравнивание) их в качестве приближенных значений оцениваемой характеристики генеральной совокупности (ГС), т.е.
характеристики модели, которой мы пытаемся описать эту генеральную совокупность. При параметрическом или смешанном [3, с. 171] оценивании эта модель ГС
или только модель искомой характеристики представляются в аналитическом (формальном) параметрическом виде. При непараметрическом – в виде набора чисел
(для числовых характеристик), таблиц «аргумент – значение функции» или графиков для функционных характеристик. В теории оценивания, как разделе математической, в том числе прикладной, статистики, физическая природа исходного числового множества ( x1 ,..., x N ) , выборочных значений ГС
xi , i = 1, N ,
xi = ( xi ,1 , xi ,2 ,..., xi ,n ) не рассматривается. Это рассмотрение есть предмет внимания
прикладного специалиста1 (физика, биолога, инженера, экономиста, …), который в
первом приближении в качестве выборочных значений ГС xi , i = 1, N , принимает
результаты
первичных
измерений
мгновенных
значений
( ξ1 ,..., ξ N )
ξ i = ( ξi ,1 , ξi ,2 ,..., ξi ,n ) сигналов, статистического обследования и т.п.
В этом случае оценивание представляет собой набор вычислительных операций над результатами первичных измерений – мгновенных значений сигналов в
процессе косвенных измерений2 искомых характеристик случайных сигналов.
При более тщательном подходе исходные данные ( ξ1 ,..., ξ N ) первичных измерений ставятся в соответствие выборочным значениям ГС ( x1 ,..., x N ) с учетом их
метрологических (в частности, точностных) показателей и условий (в том числе
1
Ситуация, когда в качестве выборочных значений ГС рассматриваются имитируемые при
имитационном моделировании значения не рассматривается. Их можно свести к значениям
ГС либо к рассматриваемому случаю, когда выборочными значениями ГС считаются результаты первичных измерений отсчетов сигналов (эмпирические данные).
2
Напомним, что результаты косвенных измерений q̂ получаются путем вычислительных
преобразований qˆ = f q (ξ 1 ,..., ξ N ) по формулам f q (⋅) , связывающим измеряемую характеристику q (параметр, величину) с результатами первичных измерений значений первичных физических величин (ξ1 ,..., ξ N ) .
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Непараметрические измерения характеристик случайных сигналов
51
используемых модельных представлений) получения ( ξ1 ,..., ξ N ) . Этот момент в
дальнейшем рассматривать не будем.
Иными словами, измерения есть совокупность физических, математических и
логических операций, в то время как оценивание – это последовательность только
математических и логических операций. Оценивание может быть составной частью косвенных статистических измерений.
Еще одна важная особенность измерений – обязательное сопровождение их
результатов метрологическими показателями качества (что, кстати, зачастую отсутствует) и условиями получения, подтверждающими как достоверность результатов измерения, так и сведения об области их применимости.
2. Цели и задачи непараметрических измерений
Как уже упоминалось, измерение не является, как правило, самоцелью. Его результаты далее обязательно используются их пользователями для достижения каких-то своих целей, решения задач, поставленных ими. От того, какие это задачи,
зависит выбор измеряемых характеристик, показателей их качества, условий измерения и т.п. Это ключевой момент планирования, организации и проведения
измерений. Рассмотрим, какие это могут быть задачи.
Прежде всего обратим внимание на назначение измерений, т.е. на те цели, для
достижения которых требуются измерения каких-то характеристик с таким-то качеством. Это такие, например, цели как гносеологические (получение научных
знаний), когнитивные (познавательные), логистические (образовательные), идентификационные (описательные), созидательные (проектные), коммуникабельные,
управленческие, метрологические, экспериментально-имитационные и т.д. В свою
очередь, в каждом из этих направлений используемые, построенные с помощью
измерений модели исследуемых объектов могут выполнять разные функции: передаточные, измерительные, описательные, объяснительные, интерпретаторские,
предсказательные, критериальные и т.д.
Например, результаты измерения корреляционно-спектральных характеристик
случайных сигналов могут применяться для идентификации динамических систем, определения и предсказания их реакций; идентификации и установления
идентичности трактов распространения сигналов; локализации источников шумов
и вибраций; выявления скрытых периодичностей и шероховатостей; решения диагностических задач; определения временных задержек и построения на этой основе корреляционно-экстремальных систем, измерителей скоростей бесконтактными методами; оценки качества звуковых полей в закрытых помещениях; выделения слабого сигнала на фоне помех; выявления роли и значимости отдельных
источников звука или вибраций, их скоростей и видов и т.п. Все это требует тщательного выбора как измеряемых характеристик, так и требований к качеству результатов измерений и условиям их получения.
4. Проблемные вопросы
4.1. Стационарность и эргодичность
Для конкретизации рассмотрим только измерение собственных и взаимных
характеристик q (λ ) случайных сигналов ξ (t ) временного аргумента t или оценивания их аналогов – характеристик Q(λ ) , λ = ( λ1 ,..., λ k ) , случайных процессов
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
52
В.В. Губарев
X(t ) = ( X1 (t ),..., X n (t ) ) (или временных рядов, если t – дискретно), с помощью ко-
торых описывается ξ (t ) . Первая проблема, которую мы рассмотрим, учет (или
неучет) класса X(t ) , т.е. модельное отнесение его к стационарным или нестационарным, эргодическим или неэргодическим (в смысле сходимости траекторных
характеристик к совокупным или ансамблевым по вероятности, почти наверное
или в среднем квадратическом) по отношению к характеристике Q(λ ) .
Посмотрим, что при этом может получиться, если мы будем непараметрически
оценивать Q(λ ) (или измерять q (λ ) ), не учитывая класс X(t ) . Предположим, что
для этого используется траекторная оценка по реализации x(t ) (по ξ(t ) ) при
t ∈ [0, T ] .
Допустим, необходимо описать физический объект, работающий в течение интервала времени Γ = [t1 , t2 ] , t2 − t1 = T < ∞ , на основе модели стационарного случайного процесса X (t ) . Возможны два принципиально отличных подхода к такому описанию. Первый связан с использованием стационарной модели
X (t ) = X ∞ (t ) , для которой по определению t ∈ (−∞, ∞) . Следовательно, данный
подход основан на предпосылке, что если бы объект существовал при всех
t ∈ Γ = (−∞, ∞) , то он сохранил бы свойство стационарности и, следовательно, мы
вправе выбрать такое большое T → ∞ , при котором краевые эффекты не сказываются, т.е. перейти к пределам t1 → −∞ , t2 → ∞ . Хотя об этом явно нигде не говорится, фактически почти во всех исследованиях по статистическим измерениям,
а в большинстве случаев и в исследованиях по оцениванию, по статистике случайных процессов постулируется именно этот подход.
Второй подход основан на использовании финитных моделей xΓ (t ) ,
Γ = [t1 , t2 ] , | t1 |, | t2 | < ∞ . В дальнейшем в подобных ситуациях для определенности
зачастую будем полагать Γ = [0, T ] , где t – непрерывный (для процессов) или дискретный (для последовательностей) аргумент. Использование подобного описания не столь очевидно как предыдущего и может осуществляться в следующих
вариантах.
Вариант 1. Использование «стационарных» финитных моделей xΓ (t ) , заданных на конечных интервалах, когда значение t ∉ Γ не имеет смысла. Стационарность в этом случае понимается как независимость рассматриваемых ансамблевых характеристик Q(λ , t , τ ) от t для всех t , t + τ1 , t + τ2 ,..., t + τn −1 ∈ Γ ;
τ = ( τ1 ,..., τn−1 ) . Трудность такого описания связана со сложностью учета краевых
эффектов ансамблевых характеристик при t + τ ≤ t1 и t + τ ≥ t2 .
Вариант 2. Учет нестационарности модели путем замены xΓ (t ) на нестационарный процесс.
X (t ) при t ∈ Γ,
X н (t ) = Γ
(1)
0 при t ∉ Γ.
{
Понятно, что ансамблевые характеристики такого процесса подчиняются условиям Q(λ , t ; τ ) = a , где а – константа, если хотя бы одно из значений
t , t + τ1 , t + τ2 ,..., t + τn −1 не принадлежит Г.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Непараметрические измерения характеристик случайных сигналов
53
Вариант 3. Замена процесса X Γ (t ) на стационарный X [T ] (t ) , полученный периодизацией X Γ (t ) .
X [T ] (t ) = X [t (mod T )] = X Γ (t ± kT ), k = 0,1, 2,... , где t (mod T ) – остаток от деления t на Т.
Ансамблевые характеристики такого процесса будут периодическими по
t1 , τi , i = 1, (n − 1) , c периодом Т, т.е. для них выполняется соотношение
Q(λ , t , τ ) = Q(λ , t ± kT ; τ ± nT ) , k , n = 0,1, 2,... .
(2)
Вариант 4. Замена процесса X Γ (t ) на «эквивалентный» ему стационарный
процесс X Э (t ) , ансамблевые характеристики которого QX Э (λ , τ ) получаются усреднением по траектории (по t) ансамблевых характеристик QX Γ (λ , t , τ ) на (0,Т):
QЭ (λ , τ ) = μT { QX Γ (λ , t , τ )} = Q X Γ (λ , τ ) ,
(3)
⋅ – оператор усреднения по траектории на отрезке [0,T].
где μT {}
Из изложенного ясно, что при описании реальных объектов вероятностными
моделями в статистических измерениях, имитации и т.п. необходимо учитывать
способы задания вероятностных моделей, вид исследуемых характеристик (ансамблевые, траекторные или совокупные) и используемый подход к описанию
объекта моделью. В частности, в большинстве практических измерений, использующих усреднение по траектории, в явной или неявной форме присутствует замена измеряемых характеристик q на qЭ , согласно (3). Это является результатом
того, что математическая стационарность, строго говоря, не может иметь место в
реальных физических системах. Следовательно, какой бы из описанных выше вариантов ни взять, мы обязательно используем его вместе с вариантом 4.
4.2. Существование характеристик
Вторая проблема при непараметрическом измерении q (λ ) (оценивании
Q(λ ) ) связана с априори принимаемой (сознательно или неосознанно) гипотезой
о том, что такая характеристика существует.
Это означает, что то математическое выражение, которое лежит в основе дефиниции Q(λ ) , существует (имеет математический смысл) и дает конечный результат в тех условиях, в которых происходит описание ξ (t ) моделью X(t ) . Например, для числовых моментных характеристик это имеет место, только если для
распределений X(t ) разрешима проблема моментов соответствующего порядка.
Так, для X(t ) с распределением Коши (например, когда X (t ) = Y (t ) Z (t ) , где
Y (t ) , Z (t ) – центрированные нормальные (гауссовы) процессы1), разбросы значений непараметрических оценок среднего или среднеквадратического отклонения X (t ) не будут сужаться при неограниченном увеличении объема выборки в
силу отсутствия математического ожидания и дисперсии X(t ) . Тем более не будут иметь смысла при этом оценки корреляционных функций и спектральных
1
Х(t) характеризует, например, относительный разброс случайной части Y(t) случайного
целого Z(t).
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.В. Губарев
54
плотностей мощности X (t ) (в отличие от конкорреляционных [3, c. 91–100]).
Следовательно их интерпретация и применение не будут иметь смысла.
4.3. Неучет допустимых и целесообразных
областей применимости характеристик
Третья проблема связана с тем, что, если даже измеряемая (оцениваемая) характеристика существует, ее пригодность для достижения поставленной цели,
решения поставленной задачи может не всегда иметь место без дополнительных
априорных или апостериорных сведений о моделях законов распределения X (t ) ,
а интерпретация полученных выводов может дать ложное представление о реальности. Примеры подобных ситуаций представлены на рис. 1, 2.
mY (x )
y
а
y
б
mY (x )
mX
x
x
mX
mY
m X (y )
mY
m X (y )
mY (x )
m X (y )
y
mY (x )
в
y
г
mX
x
mY =
~ ( x)
=m
Y
x
mY
mX
~ (x )
m
1Y
д
m X (y ) =
~ (y )
=m
X
~
m
1Y (x )
е
y
ж
y
~ (x )
m
1Y
y
mY (x )
x
mY (x )
x
Рис. 1. Примеры диаграмм рассеяния, функций регрессии
и прямых средней квадратической регрессии
x
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Непараметрические измерения характеристик случайных сигналов
y
y
y
x
x
x
в
б
а
y
y
y
x
x
г
x
е
д
y
y
y
x
x
ж
x
з
y
и
y
y
x
x
W X (x )
x
а
0
0
0
0
б
0,7
0,7
0,7
0,7
в
–0,6
0,6
0,6
–0,6
W X (x )
x
л
Параметры
ρxy
ηy/x
ηx/y
χxy
x
W X (x )
к
55
г
1
1
1
1
д
–1
1
1
–1
Рисунок
е
ж
?
0
1
0,5
1
0
–1
0
x
м
з
0
0
0,7
0
и
?
?
1
?
к
0
1
0
0
л
0,7
1
1
1
м
0,3
1
0,6
0,8
Рис. 2. Примеры статистических (а,б,в,ж,з) и функциональных (г,д,е,и,к,л,м) зависимостей и соответствующих им значений характеристик связи случайных величин
X и Y: ρxy – коэффициент корреляции; ηy/x, ηx/y – корреляционные отношения; χxy –
коэффициент конкорреляции; ? – означает, что значение зависит от закона распределения WX(x)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
56
В.В. Губарев
Так, из рис. 1, а–в видно, что имея только непараметрические оценки функций
регрессии mY ( x) и m X ( y ) и коэффициентов корреляции ρ XY , исследователь может сделать вывод об отсутствии связи между случайными величинами X, Y, в то
время как между величинами X и Y рис. 1, в существует функциональная связь.
Располагая только непараметрическим значениями оценок ρ XY для ситуации
рис. 1, д, е, ж, исследователь может заключить, что модельные ситуации рис. 1, д,
е, ж аналогичны друг другу, хотя реальности различны. Ошибочность интерпретаций по значению непараметрических оценок ρ XY о реальных ситуациях читатель может сам представить, анализируя рис. 2. Рис. 1, 2 лишний раз подтверждают, что непараметрический корреляционный анализ может быть применен только,
если гипотеза о линейной регрессионной зависимости между Х и Y соответствует
действительности (и то не всегда, см. рис. 1). В противном случае их применение
может привести не только к некорректным, но и ошибочным выводам.
Поскольку нормированные корреляционные функции есть коэффициенты корреляции отсчетов X (t ), X (t + τ) или X i (t ), X i (t + τ) , i, j = 1, n , а спектральные
плотности мощности получаются линейными преобразованиями Фурье от корреляционных функций, все изложенное относительно интерпретации и применения
их непараметрических оценок остается в силе. Для подтверждения корректности
интерпретаций и приложений необходимы дополнительные сведения о модели
X (t ) , полученные, например, нахождением и сопоставлением значений результатов непараметрических измерений (оцениваний) других характеристик (см. рис. 1,
2 и текст далее).
4.4. Неучет условий получения результатов
первичных измерений
Наконец, очень важной проблемой являются последствия неучета условий получения результатов первичных измерений мгновенных значений сигналов, сбора, съема данных. Ведь результаты «тупого» непараметрического анализа не обязаны учитывать, с какой достоверностью получены исходные данные, их однородность, полноту, наличие выбросов, влияние мешающих факторов и т.п., а также их стабильность. А такой неучет может привести к очевидным ошибкам при
интерпретации и применении результатов непараметрических измерений. Это
особенно важно именно при измерениях, поскольку в теории оценивания условия
получения выборочных данных обычно постулируются и считаются выполненными.
5. Прикладные примеры
Для иллюстрации изложенного рассмотрим несколько примеров.
Пример 1. Изучение связи между отсчетами X (t ) и X (t + τ) .
Изучение связи означает решение одной или нескольких из следующих задач:
установление наличия или отсутствия связи; выявление характера связи (функциональная или статистическая) и ее вида (линейная или нелинейная, однозначная
или неоднозначная), средних направлений связи, силы (тесноты) и степени нелинейности связи.
Рассмотрена пригодность решения прикладных задач на базе разных характеристик (традиционных корреляционных К. Пирсона, полярных, релейных, кон-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Непараметрические измерения характеристик случайных сигналов
57
корреляционных, полуконкоррреляционных, дисперсионных, корреляционных
отношений, а также вектор-характеристик).
Пример 2. Определение временной задержки между X (t ) и Y (t ) .
Рассмотрены корреляционные методы определения задержки между двумя
сигналами ξ(t ) и ζ (t ) (или стационарными эргодическими в среднем квадратическом по отношению к рассматриваемым характеристикам корреляционного типа
случайным процессам X (t ) и Y (t ) ), основанные на измерениях аргумента τm
максимума взаимной корреляционной функции rξζ (τ) (оценивании RXY (τ) ).
Исследуется предпочтительность по степени выраженности экстремума взаимной корреляционной функции и уровню статистических погрешностей разных
характеристик связи, указанных в примере 1. Показана зависимость решения о
предпочтительности той или иной характеристики от моделей X (t ) , Y (t ) и условий измерения (оценивания) ее.
Пример 3. Выделение скрытых периодичностей.
Рассматривается решение задачи обнаружения и идентификации периодичностей в аддитивной смеси периодического сигнала и белого шума с помощью корреляционного и спектрального методов. Задача решается аналогично задаче 2.
Показывается важность априорных модельных представлений сигналов, в частности выбора измеряемых характеристик, в данной задаче. В частности, рассматривается определение интервала периодичности на основе применения различных
видов корреляционных характеристик, «решетчатых» составляющих (или их
«взвешенных» аналогов) в спектре при использовании периодограммных традиционных, полярных и конкорреляционных спектральных методов.
6. Рекомендации
Учитывая изложенное, можно предложить следующие рекомендации для организаций непараметрических измерений.
Прежде всего, следует четко представлять себе назначение измерений, цель, для
достижения которой нужны результаты. Исходя из этого, сформулировать четкую
постановку задачи, включая требования к качеству результатов измерений.
Желательно по-возможности получить как можно более полную априорную
модельную информацию о сигнале ξ(t ) и условиях измерения (алгоритмы, средства, планы, технологии, сопутствующие факторы и т.п.).
Выбрать наиболее адекватную априорным сведениям и поставленной задаче
характеристику для измерения. Например, вместо среднего измерять медиану,
вместо стандартного отклонения – интерквантильную широту, вместо корреляционно-спектральных характеристик конкорреляционные [3, с. 91–100] и т.д. Если
позволяет постановка задачи, следует предпочесть характеристику, робастную на
как можно большем множестве условий измерения, позволяющую точнее решить
поставленную задачу (c точки зрения погрешностей при той же выборке, четкости
проявления экстремумов и других качеств, свойств характеристик, например, полярная корреляционная функция гауссовского процесса или КФ процесса X 3(t)
быстрее уменьшаются с увеличением лага задержки, чем традиционная).
Перед окончательной интерпретацией и применением результатов измерений
следует проверить корректность выбора характеристик, сравнивая выводы, полученные с использованием измеренной характеристики, с выводами, полученными
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
58
В.В. Губарев
по другим характеристикам сходного назначения (см. рис. 2), с учетом и без учета
мешающих факторов, возможных отклонений условий измерения от приписываемых им и т.п. Либо использовать вектор-модели, вектор-характеристики
[3, с. 105–110].
Заключение
В работе рассмотрены проблемы, к которым может привести интерпретация и
применение результатов непараметрических измерений, если совсем не учитывать
модельные представления об исследуемом сигнале и условиях измерения.
Даны стартовые рекомендации по снижению рисков получения далеких от реальности интерпретаций результатов непараметрических измерений. Приведены
примеры, поясняющие излагаемые положения.
Считаю необходимым дальнейшие исследования в этом направлении, в частности, получение теоретических и практических примеров ошибочных выводов
по итогам непараметрических измерений и путей предупреждения, непопадания в
такие ситуации и выходов из них, в том числе с получением дополнительных знаний о сигналах, основанных на корректном применении результатов непараметрических измерений разных характеристик.
ЛИТЕРАТУРА
1. Вероятность и математическая статистика: Энциклопедия / гл. ред. Ю.В. Прохоров. М.:
Большая Российская энциклопедия, 1999. 910 с.
2. Уилкс С. Математическая статистика. М.: Наука, 1967. 632 с.
3. Губарев В.В. Алгоритмы спектрального анализа случайных сигналов: монография. Новосибирск: НГТУ, 2005. 660 с.
4. Кендалл М. Статистические выводы и связи / М. Кенделл, А. Стьюарт. М.: Наука, 1973.
900 с.
5. Губарев В.В. Информатика: прошлое, настоящее, будущее. М.: Техносфера, 2011. 432 с.
Губарев Василий Васильевич
Новосибирский государственный технический университет (г. Новосибирск)
E-mail: gubarev@vt.cs.nstu.ru
Gubarev Vasily V. (Novosibirsk State Technical University). Nonparametric measurement of
random signals characteristics and problems of theirs results interpretation and application.
Keywods: random signals and processes, characteristics, measurement, estimation.
The concept of nonparametric measurement is introduced. Their similarity and difference
from nonparametric estimation, purposes and tasks is considered. The problems connected with
measurement of random signals characteristics, disregarding kind of theirs random processes
model representations are discussed: the properties of stationary and ergodicity, existence of the
model characteristics, similar measured, neglecting of admissible and expedient areas of characteristics applicability and also finding conditions of getting of instant values measurements. The
explanatory examples and the methodical recommendations for the organization of nonparametric
measurements are given.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.2
В.А. Демин, Е.В. Чимитова
ВЫБОР ОПТИМАЛЬНОГО ПАРАМЕТРА СГЛАЖИВАНИЯ
ДЛЯ НЕПАРАМЕТРИЧЕСКОЙ ОЦЕНКИ РЕГРЕССИОННОЙ
МОДЕЛИ НАДЕЖНОСТИ
Рассматривается один из популярных подходов к непараметрическому оцениванию регрессионной модели надежности, предложенный Бераном. Оценка Берана позволяет оценить функцию надёжности регрессионной модели.
Показаны результаты исследования зависимости точности оценки Берана от
различных факторов, и предлагается универсальный метод для подбора параметра сглаживания.
Ключевые слова: функция надёжности, регрессионная модель, непараметрическая оценка Берана, параметр сглаживания.
В задачах статистического анализа данных типа времени жизни, например,
времени безотказной работы технических изделий в теории надежности, времени
жизни пациентов в анализе выживаемости, типичной задачей является исследование зависимости функции надежности (выживаемости) наблюдаемой случайной
величины от объясняющих переменных. В теории надежности в качестве объясняющих переменных обычно выступают воздействия (нагрузки), оказывающие
влияние на продолжительность безотказной работы, такие, как температура, давление, напряжение, механические нагрузки и другие. Для описания зависимости
функции надежности от объясняющих переменных, или, как их принято называть
в анализе данных типа времени жизни, – ковариат, используют различные параметрические модели, наиболее популярными из которых являются модель ускоренных испытаний и модель пропорциональных интенсивностей. Однако построение любой параметрической модели требует выполнения определенных
предположений. На практике же априорные предположения о функциональной
зависимости функции надежности от ковариат обычно отсутствуют. В такой ситуации целесообразно применение непараметрических методов, которые позволяют не только оценить функцию надежности при различных значениях ковариаты, но и могут использоваться для построения статистического критерия согласия
с некоторой параметрической моделью надежности.
Одним из наиболее популярных подходов к непараметрическому оцениванию
регрессионной модели надежности является оценка, предложенная Бераном [1].
Исследования статистических свойств данной оценки для случайного плана эксперимента, когда значение ковариаты не фиксировано, представлены в [2−5].
В [6] исследованы свойства оценки для неслучайного плана, когда значения ковариат определяются заранее.
В литературе, посвященной непараметрическим оценкам, широко представлены различные методы выбора оптимального параметра сглаживания для случая
ядерного оценивания функции плотности распределения, например в [7]. В [8]
описываются основные подходы к выбору параметра сглаживания при построении непараметрических оценок регрессионных моделей, для которых имеются
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Демин, Е.В. Чимитова
60
значения отклика и факторов, от которых он зависит. К сожалению, в известной
авторам литературе проблема выбора оптимального параметра сглаживания для
оценки Берана не рассматривается. Тогда как от значения этого параметра существенно зависит качество получаемых оценок. В данной работе предлагается алгоритм выбора оптимального параметра сглаживания при построении непараметрической оценки Берана для регрессионных моделей надежности.
1. Непараметрическая оценка Берана
Обозначим через Tx время безотказной работы исследуемых технических изделий, которое зависит от скалярной ковариаты x . Функция надежности определяется соотношением
S (t | x ) = P (Tx ≥ t ) = 1 − F (t | x ) ,
(1)
где F (t | x) – условная функция распределения случайной величины Tx .
Главной особенностью данных типа времени жизни является наличие цензурированных справа наблюдений, которые можно представить в виде
(Y1 , x1 , δ1 ), (Y2 , x2 , δ 2 ),..., (Yn , xn , δ n ) ,
где n – объем выборки, xi – значение ковариаты для i-го объекта, Yi – время наработки до момента отказа или цензурирования, δi – индикатор цензурирования,
который принимает значение 1, если наблюдение полное, и 0, если цензурированное.
Оценка Берана имеет следующий вид [1]:
δ
⎧
⎫i
Wni ( x; hn )
⎪
⎪
(2)
Shn ( t | x ) = ∏ ⎨1 −
⎬ ,
i −1
j
1 − ∑ j =1Wn ( x; hn ) ⎪
Y( i ) ≤ t ⎪
⎩
⎭
где x – значение ковариаты, для которой оценивается функция надёжности;
Wni ( x; hn ) , i = 1, … , n – веса Надарая – Ватсона, которые можно вычислить по формуле [5]
⎛ x − xi ⎞ n ⎛ x − x j ⎞
(3)
Wni ( x; hn ) = K ⎜
⎟,
⎟ ∑K⎜
⎝ hn ⎠ j =1 ⎝ hn ⎠
⎛ x − xi ⎞
где K ⎜
⎟ – ядерная функция, удовлетворяющая условиям регулярности:
⎝ hn ⎠
∞
K ( y ) = K (− y ) , 0 ≤ K ( y ) < ∞ ,
∫ K ( y)dy
= 1 , hn > 0 – параметр сглаживания та-
−∞
кой, что lim hn = 0 , lim nhn = ∞ .
n →∞
n →∞
Следует отметить, что при значениях весов Надарая – Ватсона Wni ( x; hn ) = n −1
оценка Берана сводится к оценке Каплана – Мейера [5].
С использованием методов компьютерного моделирования и исследования
статистических закономерностей нами подтверждены свойства оценки Берана: с
увеличением объема выборки точность получаемых оценок растет. В результате
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Выбор оптимального параметра сглаживания для непараметрической оценки
61
проведенных исследований показано, что точность оценок существенно зависит
от значения параметра сглаживания и практически не зависит от вида ядерной
функции. При этом выбор параметра сглаживания должен осуществляться, в первую очередь, на основании разницы предполагаемых функций надежности, соответствующих разным значениям ковариаты, тогда как влияние объема выборки и
плана эксперимента оказывается несущественным при выборе параметра сглаживания. Проиллюстрируем данный результат на примере.
Рассмотрим следующий план эксперимента: все испытуемые объекты разделены на 10 групп по ni = 15 , i = 1,...,10 , объектов. Каждая группа объектов тестируется при воздействии x равном 0, 0,11, 0,22, 0,33, 0,44, 0,56, 0,67, 0,78, 0,89, 1,
соответственно. На основе данного плана эксперимента смоделируем 2 выборки в
соответствии с моделью ускоренных испытаний вида
S (t | x ) =
1
1
⎛1
⎛ t ⎞ 1⎞
−
⋅ Γ ln 2 ⎜
⎟, ⎟ ,
2 2 π ⎜⎝ 2
⎝ r ( x; β) ⎠ 2 ⎠
(4)
где Γ ( ⋅, q ) – неполная гамма-функция, функция от воздействий r ( x, β) = eβx . Первая выборка моделировалась при значении регрессионного параметра равном
β = 2 , вторая выборка – при β = 5 .
На рис. 1 представлены оценки Берана для функции надежности при x = 0 и
x = 0,56 , полученные по первой выборке. Для сравнения также приведены соответствующие истинные функции надежности (4). Оценки Берана, построенные по
второй выборке, и соответствующие истинные функции надежности изображены
на рис. 2. Параметр сглаживания hn при построении оценки Берана в обоих случаях взят равным 0,5.
Как видно из рис. 1, оценки Берана достаточно близки к соответствующим
функциям надежности, однако, как показано на рис. 2, при таком же плане эксперимента наблюдается существенное отклонение оценок Берана от истинных
функций в случае, когда влияние воздействия x более значимо (при большем
значении регрессионного параметра).
S(t)
0,8
0,6
0,4
0,2
0
5
10
15
20
t
Рис. 1. Функции надёжности и оценки Берана, hn = 0,5 , β =2
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Демин, Е.В. Чимитова
62
S(t)
0,8
0,6
0,4
0,2
0
10
20
30
40
t
Рис. 2. Функции надёжности и оценки Берана, hn = 0,5 , β =5
2. Выбор оптимального параметра сглаживания
Параметр сглаживания определяет, какие наблюдения будут участвовать в построении оценки Берана, а какие нет: чем больше параметр сглаживания, тем
больше наблюдений будет участвовать в построении оценки. Таким образом, меняя параметр сглаживания, мы можем отсеивать «лишние» наблюдения.
В данной работе предлагается алгоритм выбора оптимального параметра
сглаживания hn для оценки Берана, основанный на минимизации среднеквадратического отклонения времен отказов Y1 , Y2 ,..., Yn от непараметрической оценки
обратной функции надежности S x−1 ( p ) . Обозначим обратную функцию надежности через g ( p | x ) . Тогда модель (1) можно переписать в виде
Tx = g ( p | x ) + ε ,
(5)
где p ∈ ( 0,1) , ε – ошибка наблюдения, которая в общем случае может зависеть от
p и x.
Ядерная оценка для модели (5) имеет вид
gˆ ( pˆ i | xi ) =
1 n
Wnj ( pˆ i ) ⋅ Y j ,
∑
n j =1
где Wnj – это уже известные нам веса Надарая – Ватсона, которые в данном случае вычисляются следующим образом:
⎛ pˆ i − pˆ j ⎞
n
⎛ pˆ i − pˆ k ⎞
Wnj ( pˆ i ) = K ⎜
⎟ ∑ k =1K ⎜
⎟.
⎝ bn ⎠
⎝ bn ⎠
Вероятности pˆ i вычисляются с использованием оценки Берана по формуле (2):
pˆ i = Shn (Yi | xi ) ,
параметр сглаживания bn можно рассчитать, например, по формуле [7]
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Выбор оптимального параметра сглаживания для непараметрической оценки
bn = 1, 059 ⋅ σˆ ⋅ n
−1
63
2
5
⎞
1 n ⎛
1 n
ˆ
−
, σˆ =
p
pˆ j ⎟ .
⎜
∑
∑
i
⎜
n i =1 ⎝
n j =1 ⎟⎠
Таким образом, получить оптимальный параметр сглаживания можно в результате минимизации:
hnopt = arg min
hn
1 n
∑ δi ⋅ ( gˆ ( pˆ i | xi ) − Yi )2 .
n i =1
Исследуем точность получаемых оценок с использованием предложенного алгоритма выбора оптимального параметра сглаживания. В качестве оценки точности получаемых оценок будем рассчитывать среднее отклонение вида
Davg =
1
N
N n
∑∑
i =1 j =1
δi
⋅ ( Shh (Y j | x j ) − S (Y j | x j ) ) ,
n
(6)
где N – число моделируемых выборок, соответствующих модели S ( t | x ) .
В таблице приведены средние отклонения (6) в случае моделирования
N = 2000 выборок в соответствии с моделью ускоренных испытаний (4) при различных значениях регрессионного параметра и объемах выборок n . Значения ковариаты в моделируемых выборках генерировались из равномерного на отрезке
[0, 1] распределения.
Зависимость точности оценки Берана от параметра сглаживания
β
4,5
7
Объём выборки(n)
hn = 0,1
hn = 0,5
hn = 0,9
hnopt
50
75
100
50
75
100
0,083
0,067
0,058
0,061
0,048
0,043
0,066
0,063
0,061
0,096
0,095
0,094
0,087
0,085
0,083
0,131
0,130
0,129
0,063
0,053
0,048
0,057
0,047
0,041
Из таблицы видно, что применение алгоритма выбора оптимального параметра
сглаживания позволяет получать более точные оценки Берана: значение отклонения (6) в случае заданных значений параметра сглаживания hn больше, чем в случае использования оптимального параметра hnopt при всех рассмотренных объемах выборок и значениях регрессионного параметра.
Вернемся к рассмотренному выше примеру построения оценки Берана для
двух выборок, смоделированных в соответствии с моделью ускоренных испытаний (4). Построим по ним оценки Берана с использованием оптимального параметра сглаживания hnopt . На рис. 3 и 4 представлены теоретические функции надежности и оценки Берана с использованием оптимального параметра сглаживания, полученные по тем же выборкам, для которых на рис. 1 и 2 соответственно
представлены оценки Берана с заданным значением параметра сглаживания.
Как видно из рис. 3, оценки Берана достаточно близки к соответствующим
функциям надежности, впрочем, как и на рис. 1. Однако на рис. 4 оценки Берана
значительно ближе к соответствующим теоретическим функциям надежности,
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Демин, Е.В. Чимитова
64
чем на рис. 2, что свидетельствует о том, что применение алгоритма выбора оптимального параметра сглаживания позволяет существенно повысить точность
оценок Берана по сравнению с подходами к выбору параметра сглаживания, основанными на объеме выборки и особенностях плана эксперимента.
S(t)
0,8
0,6
0,4
0,2
0
5
10
15
20
Рис. 3. Функция надёжности и оценки Берана с параметром
t
hnopt
, β =2
S(t)
0,8
0,6
0,4
0,2
0
10
20
30
40
Рис. 4. Функция надёжности и оценки Берана с параметром
t
hnopt
, β=5
Заключение
В работе рассматриваются вопросы построения непараметрической оценки
Берана для регрессионной модели надежности. Основным фактором, влияющим
на точность получаемых оценок, является выбор параметра сглаживания. На примере выборок, смоделированных в соответствии с параметрической моделью ускоренных испытаний, показано, что выбор параметра сглаживания должен осуществляться, в первую очередь, на основании разницы предполагаемых функций надежности, соответствующих разным значениям ковариаты, тогда как влияние
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Выбор оптимального параметра сглаживания для непараметрической оценки
65
объема выборки и плана эксперимента оказывается несущественным при выборе
параметра сглаживания.
В работе предложен алгоритм выбора оптимального параметра сглаживания
для построения непараметрической оценки Берана регрессионной модели надежности. Алгоритм основан на минимизации среднеквадратического отклонения
времен отказов от непараметрической оценки обратной функции надежности.
Оценки Берана, построенные с использованием оптимального параметра сглаживания, оказываются точнее, чем при использовании фиксированного параметра
сглаживания, во всех рассмотренных случаях.
ЛИТЕРАТУРА
1. Beran R. Nonparametic Regression with Randomly Censored Survival Data. Technical report.
Department of Statistics. University of California. Berkeley, 1981.
2. Dabrowska D.M. Nonparametric quantile regression with censored data // Sankhya Ser. A. 54.
1992. P. 252−259.
3. Gonzalez M.W., Cadarso S.C. Asymptotic properties of a generalized Kaplan-Meier estimator
with some application // J. Nonparametric Statistics. 1994. No. 4. P. 65−78.
4. McKeague I.W., Utikal K.J. Inference for a nonlinear counting process regression model //
Ann. Statist. 1990. V. 18. P. 1172−1187.
5. Van Keilegom I., Akritas M.G., Veraverbeke N. Estimation of the conditional distribution in
regression with censored data: a comparative study // Computational Statistics & Data Analysis. 2001. V. 35. P. 487–500.
6. Akritas M.G. Nearest neighbor estimation of a bivariate distribution under random censoring
// Ann. Statist. . 1994V. 22. P. 1299−1327.
7. Расин Д. Непараметрическая эконометрика: вводный курс // Квантиль. 2008. № 4.
С. 7−26.
8. Хардле В. Прикладная непараметрическая регрессия. М.: Мир, 1993. C. 6−45.
Демин Виктор Андреевич
Чимитова Екатерина Владимировна
Новосибирский государственный технический университет
E-mail: vicdemin@gmail.com; ekaterina.chimitova@gmail.com Поступила в редакцию 28 апреля 2012 г.
Demin Victor A., Chimitova Ekaterina V. (Novosibirsk State Technical University). Choice of
optimal smoothing parameter for nonparametric estimation of regression reliability model.
Keywords: reliability function, regression model, nonparametric Beran estimator, smoothing parameter.
The problem of nonparametric estimation of regression reliability model is considered. We
consider nonparametric estimates, suggested by Beran. The main factor influencing the quality of
estimates is the choice of smoothing parameter. On the example of samples, simulated from the
accelerated failure time model it has been shown that the choice of smoothing parameter should
be based on the difference between reliability functions corresponding to different values of the
covariate, whereas the influence of the sample size and plan of experiment is not significant in the
choice of smoothing parameter.
In this paper we propose the algorithm of the choice of optimal smoothing parameter for nonparametric Beran estimate of regression reliability model. The algorithm is based on the minimization of standard deviation of lifetimes from nonparametric estimate of the inverse reliability
function. In all considered examples the Beran estimates, obtained with the optimal smoothing parameter, turn out to be more accurate than in the case of using fixed parameter.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.95
Н.Г. Загоруйко, О.А. Кутненко
ЦЕНЗУРИРОВАНИЕ ОБУЧАЮЩЕЙ ВЫБОРКИ1
Предлагается количественная мера компактности образов, основанная на
использовании функции конкурентного сходства (FRiS-функции). Рассматривается метод цензурирования обучающей выборки путем исключения
«шумящих» объектов, что повышает компактность образов и приводит к
улучшению качества распознавания контрольной выборки. Состав исключаемых объектов определяется автоматически. Эффективность алгоритма
цензурирования иллюстрируется решением модельной задачи распознавания двух образов.
Ключевые слова: функция конкурентного сходства, компактность, цензурирование.
Цензурирование обучающей выборки состоит в исключении из нее объектов,
которые понижают компактность образов. Это могут быть как «случайные» объекты, свойства которых сильно отличаются от свойств остальных объектов своих
образов, так и объекты, находящие в зоне пересечения с объектами других образов. Такие данные разрушают компактность образов и усложняют решающие правила, что ведет к увеличению числа ошибок при распознавании контрольной выборки. Назовем подобные объекты «шумящими» и будем исключать их из обучающей выборки.
Предлагаемый метод повышения компактности основывается на использовании новой меры для оценки сходства между объектами – функции конкурентного
сходства, с помощью которой можно описывать любые распределения образов
набором эталонных объектов («столпов»). Использование столпов позволяет оценить вклад в компактность образов каждого объекта выборки и получить количественную меру компактности всей совокупности образов или любого отдельного
образа, а также выбрать объекты, вносящие отрицательный вклад в компактность
образов. В итоге решающее правило, построенное по очищенной обучающей выборке, обеспечивает повышение качества распознавания контрольных объектов.
1. Функция конкурентного сходства
Сформулируем следующие требования, которым должна удовлетворять мера
F(z,a|b) сходства объекта z с объектом a в конкуренции с объектом b.
1. Свойство нормированности. Если оценивается мера сходства объекта z с
объектом a в конкуренции с объектом b, то при совпадении объектов z и a мера
F(z,a|b) должна иметь максимальное значение равное 1, а при совпадении z с b –
минимальное значение равное −1. Во всех остальных случаях мера конкурентного
сходства принимает значения от −1 до 1.
2. Свойство антисимметричности. Значения сходства z с а в конкуренции с b
и сходства z с b в конкуренции с а связаны соотношением F(z,a|b) = −F(z,b|a). При
1
Работа выполнена при финансовой поддержке РФФИ, проект № 11-01-00156.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Цензурирование обучающей выборки
67
одинаковых расстояниях r(z,a) и r(z,b) объект z в равной степени будет похожим
на объекты a и b и F(z,a|b) = F(z,b|a) = 0.
3 Свойство инвариантности. Значение F(z,a|b) должно сохраняться при аффинных преобразованиях пространства признаков: при сдвиге начала координат,
повороте координатных осей, а также при умножении всех координат на одно и то
же число.
Предлагаемая нами функция конкурентного сходства FRiS (Function of Rival
Similarity) [1]
r ( z , b) − r ( z , a )
F ( z , a | b) =
(1)
r ( z , b) + r ( z , a )
удовлетворяет всем этим требованиям.
Как расстояния r между объектами, так и сходство F между ними не зависит
от аффинных преобразований пространства признаков. Но независимые изменения масштабов разных координат меняют вклад, вносимый отдельными характеристиками в оценку и расстояний, и сходства. Меняя веса характеристик, можно
подчеркнуть сходство или различие между заданными объектами, что обычно и
делается при выборе информативных признаков и построении решающих правил
в распознавании образов.
Сходство в шкале порядка, используемое в методе k ближайших соседей, отвечает на вопрос: «На объект какого образа z похож больше всего?». Конкурентное сходство, измеряемое с помощью FRiS-функции, отвечает на этот вопрос и,
кроме того, на такой вопрос: «Какова абсолютная величина сходства z с a ∈ A в
конкуренции с b ∈ B ?» Оказалось, что дополнительная информация, которую дает абсолютная шкала по сравнению со шкалой порядка, позволяет существенно
улучшить методы анализа данных (АД). Функция конкурентного сходства используется нами в алгоритмах решения широкого круга как известных, так и новых задач АД [2].
Определим меру сходства F(z,A|B) объекта z с образом A в конкуренции с образом B как F(z,a|b), где a (b) – ближайший к z объект образа A(B), т.е. помимо
указанных выше свойств мера сходства F(z,A|B) удовлетворяет свойству локальности: F(z,A|B) зависит не от характера распределения всего множества объектов
образов A и B, а от особенностей распределения объектов в окрестности z. Окрестностью объекта будем называть сферу минимального радиуса, содержащую
объекты анализируемых образов. Отметим, что в зависимости от рассматриваемой задачи образы могут быть представлены как непосредственно своими объектами, так и своими эталонами (столпами).
2. Выбор эталонных объектов
Для распознавания образов необходимо выбрать объекты-эталоны (столпы), c
которыми будут сравниваться контрольные объекты. Набор столпов считается
достаточным для описания выборки, если сходство F всех объектов обучающей
выборки с ближайшими своими столпами в конкуренции с ближайшими объектами других образов превышает пороговое значение F * , например F * = 0 . Здесь
описано решающее правило, которое основано на использовании FRiS-функции и
строится с помощью алгоритма FRiS-Stolp. Этот алгоритм работает при любом
соотношении количества объектов к количеству признаков и при произвольном
виде распределения образов.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Н.Г. Загоруйко, О.А. Кутненко
68
В качестве столпов выбираются объекты, которые обладают высокими значениями двух свойств: обороноспособности по отношению к объектам своего
образа и толерантности по отношению к объектам других образов. Чем выше обороноспособность эталона, тем меньше будет ошибок типа «пропуск цели». Чем
выше толерантность эталона, тем меньше будет ошибок типа «ложная тревога».
В результате для каждого образа выбираются такие столпы, на которые свои объекты похожи больше, чем на объекты конкурирующих образов.
Алгоритм выбирает эталоны для произвольного количества образов, но объяснять его работу будем на примере распознавания двух образов – A = {a1 ,… , aM A }
и B = {b1 ,… , bM B } , представленных наборами из MA и MB объектов обучающей
выборки соответственно. Поясним алгоритм FRiS-Stolp с помощью рис. 1.
B
aj
r(aj,ai)
bj'
r(aj,bj')
ai
bn
r(bn,bn')
r(bn,ai)
bn'
A
Рис. 1. Оценка обороноспособности и толерантности объекта ai ∈ A
Начнем с выбора первого столпа для образа A.
1. Оценим качество исполнения роли столпа всеми объектами ai , i = 1,… , M A ,
по очереди. Вначале проверим, хорошо ли объект ai защищает объекты a j ,
j = 1,… , M A , образа A. Для каждого объекта a j , j = 1,… , M A , определим расстояния r (a j , ai ) и r (a j , b j ′ ) , где b j ′ ∈ B является ближайшим соседом объекта a j , т. е.
j ′ = arg
min
m =1,…, M B
r (a j , bm ) , и по формуле (1) получим значение F (a j , ai | b j ′ ) функ-
ции сходства объекта a j с ai ∈ A в конкуренции с b j ′ ∈ B (см. рис. 1).
2. Выделим m(ai ) объектов a j ∈ A , сходство которых с ai не меньше заданного порога F * : F j+ = F (a j , ai | b j ′ ) − F * ≥ 0 , j ∈ {1,… , M A } . Эти объекты надежно
защищены ai . Получим оценку D(ai ) обороноспособности объекта ai :
D(ai ) =
MA
∑ F j+ |F
j =1
+
j ≥0
.
3. Теперь оценим толерантность ai , т. е. меру несходства с ai объектов образа
B. Для каждого bn ∈ B , n = 1,… , M B , вычислим расстояния r (bn , ai ) и r (bn , bn′ ) ,
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Цензурирование обучающей выборки
69
где bn′ ∈ B – ближайший сосед bn . По (1) найдем величину сходства F (bn , bn′ | ai )
объекта bn с bn′ в конкуренции с ai (см. рис. 1).
4. Выделим те объекты образа B, у которых Fn− = F (bn , bn′ | ai ) − F * < 0 ,
n ∈ {1,… , M B } . Эти объекты больше похожи на ai , чем на ближайшие объекты
своего образа, что отрицательно влияет на оценку ai . Получим оценку T (ai ) «нетолерантности» объекта ai :
T (ai ) =
MB
∑ Fn− |F
n =1
−
n <0
.
5. Качество выполнения объектом ai роли столпа образа A оценивается величиной
S (ai ) = D(ai ) + T (ai ) .
(2)
6. Первым столпом образа A становится объект ai , набравший наибольшее
значение величины S (ai ) , i = 1,… , M A . Данный столп защищает m(ai ) объектов
своего образа.
7. Если в образе A не все объекты надежно защищены выбранным столпом ai ,
т. е. m(ai ) < M A , то для оставшихся незащищенными объектов повторяем пункты
1−6, предварительно заменив исходное количество объектов величиной
M A − m(ai ) . В результате будет выбран следующий столп. Процесс выбора столпов повторяется до момента, когда сходство всех M A объектов образа A со своими столпами будет не меньше порога F * .
8. Тем же способом выбираются столпы и для образа B.
9. Кластеры возникали поочередно, и формирование состава каждого следующего кластера осуществлялось в условиях «отсутствия» многих исходных объектов. По этой причине делается уточнение состава кластеров: объект включается в
кластер, образованный ближайшим к нему столпом своего образа. Теперь каждый
из столпов стоит в центре своего кластера, т. е. подмножества объектов, которые
на него похожи больше, чем на любой другой столп.
Если количество образов K больше двух, то при построении столпов для образа Ak , k ∈ {1,… , K } , объекты всех остальных образов объединяются в один виртуальный образ Bk =
∪
Ai .
i =1,…, K
i≠k
Отметим некоторые особенности алгоритма FRiS-Stolp. Вне зависимости от
вида распределения обучающей выборки столпами выбираются объекты, расположенные в центрах локальных сгустков и защищающие максимально возможное
количество объектов с заданной надежностью. При нормальных распределениях
столпами в первую очередь будут выбраны объекты, ближайшие к точкам математического ожидания. Следовательно, при приближении закона распределения к
нормальному решение задачи построения решающих функций стремится к статистически оптимальному. Если распределения полимодальны и образы линейно
неразделимы, столпы будут стоять в центрах мод.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
70
Н.Г. Загоруйко, О.А. Кутненко
Процесс распознавания с опорой на столпы очень прост и состоит в следующем.
1. Находятся расстояния от контрольного объекта z до двух ближайших столпов, принадлежащих разным образам.
2. Объект z будет принадлежать тому образу, чей стоп оказался ближайшим.
3. По данным расстояниям определяется значение функции конкурентного
сходства F объекта с образом. По величине F можно судить о надежности принятого решения.
3. Гипотеза компактности
Практически все алгоритмы распознавания основаны на использовании гипотезы компактности [3]. К сожалению, строгой формулировки гипотезы и способа
количественной оценки компактности образов в литературе нет. Иногда простыми или компактными называются такие образы, которые отделяются друг от друга «не слишком вычурными» границами. Описание образов столпами позволяет
предложить количественную меру компактности образов.
Компактность образа зависит от того, насколько сильно его объекты похожи
на свои столпы и насколько сильно они отличаются от столпов других образов.
Эти две характеристики можно определить для каждого объекта в отдельности и
тем самым оценить вклад этого объекта в компактность своего образа [4].
В случае двух образов A = {a1 ,… , aM A } и B = {b1 ,… , bM B } предлагается следующий вариант оценки компактности.
1. С помощью алгоритма FRiS-Stolp строятся c столпов образов A и B:
c = cA+cB, где cA и cB – число столпов образов A и B соответственно. Обозначим
через I A , I A ⊆ {1,… , M A } , – множество индексов элементов образа A, являющихся столпами.
2. Для каждого элемента ai ∈ A , не являющегося столпом образа A, оценивается сходство со своим ближайшим столпом s A (ai ) в конкуренции с ближайшим
столпом sB (ai ) образа B. Затем вычисляется компактность образа A в конкуренции с образом B:
1 MA
C A| B =
(3)
∑ F (ai , s A (ai ) | sB (ai )) |i∉I A .
c A M A i =1
3. Аналогично вычисляется величина CB| A компактности образа B в конкуренции с A.
4. Далее получим оценку компактности образов A и B как геометрическое усреднение величин C A| B и CB| A .
Если количество образов K больше двух, то при оценке компактности образа
Ak , k ∈ {1,… , K } , объекты всех остальных образов объединяются в один виртуальный образ Bk . После получения оценок компактности C Ak | Bk , k = 1,…,K, всех
образов общая оценка их компактности в данном признаковом пространстве может быть получена путем геометрического усреднения данных оценок:
K
C = K ∏ C Ak | Bk .
k =1
(4)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Цензурирование обучающей выборки
71
4. Метод повышения компактности
При построении столпов наряду с объектами, хорошо отражающими структуру образов, принимали участие и шумящие объекты и даже мелкие кластеры таких объектов, влияние которых было бы целесообразно исключить. Для их цензурирования можно применять алгоритм FRiS-Compactor, использующий в качестве
критерия, управляющего процессом повышения компактности обучающей выборки, меру FRiS-компактности образов и включающий как составную часть алгоритм FRiS-Stolp.
Опишем алгоритм FRiS-Compactor на примере двух образов A и B, представленных наборами из M A и M B объектов, M = M A + M B . Компактность образов
C вычисляется по формулам (3), (4). Через M * обозначим число объектов обучающей выборки, оставшихся после очередного этапа сокращения выборки. Веα
⎛ M* ⎞
личину ⎜
⎟ , α ≥ 0 , будем использовать в качестве штрафа за исключение
⎝ M ⎠
объектов из обучающей выборки. С учетом этого компактность H AB образов на
каждом шаге сокращения выборки будем оценивать следующим образом:
α
⎛ M* ⎞
H AB = ⎜
(5)
⎟ C A| B CB| A .
⎝ M ⎠
Выбор оптимального значения параметра α осуществляется путем сравнения
результатов работы алгоритма FRiS-Compactor при разных значениях α . Определим пороги сокращения обучающей выборки: 0 ≤ d < 1 – максимальная доля объектов обучающей выборки, которые можно исключить; m* – максимальное количество объектов в удаляемом кластере. Положим M * = M .
1. Алгоритмом FRiS-Stolp строятся столпы, стоящие в центрах своих кластеров. По формуле (5) вычисляется компактность H AB образов и заносится в список оценок компактности. Если M − M * = dM , то переход на пункт 7.
2. Кластеры с количеством объектов m ≤ m* заносятся в список из L кластеров
– кандидатов на удаление. Если в выборке нет таких кластеров, то переход на
пункт 7. Через l = 1,… , L обозначим номер кластера в сформированном списке.
Положим l = 1.
3. Из выборки исключается l-й кластер, который входит в список и состоит из
m(l) объектов. Для оставшихся объектов алгоритмом FRiS-Stolp строятся столпы и
вычисляется компактность H AB (l ) . Элементы l-го кластера возвращаются в выборку. Положим l := l+1. Если l ≤ L , то пункт 3 повторяется.
4. После прохода всех L кластеров списка выбирается кластер l * , исключение
которого обеспечивало максимальное значение компактности H AB (l ) :
l * = arg max H AB (l ) .
l =1,…, L
5. Если при исключении кластера l * оказывается превышен порог сокращения
обучающей выборки, т. е. M − M * + m(l * ) > dM , то переход на пункт 7.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Н.Г. Загоруйко, О.А. Кутненко
72
6. Объекты l * -го кластера удаляются из выборки, корректируется количество
элементов, оставшихся после сокращения выборки. Переход на пункт 1.
7. По списку оценок компактности выбирается вариант, соответствующий
максимуму величины H AB . Набор столпов, который был зафиксирован при этом,
служит основой решающего правила, используемого для распознавания контрольной выборки. Алгоритм заканчивает работу.
5. Тестирование алгоритма FRiS-Compactor
Алгоритм тестировался на модельной задаче распознавания двух образов, каждый из которых представлял собой суперпозицию нескольких (от 2-х до 4-х)
нормально распределенных кластеров в двумерном пространстве признаков. Рассматривалось 10 распределений, которые отличались друг от друга дисперсией
кластеров, координатами их математических ожиданий и количеством объектов в
кластерах, что отражалось на величине FRiS-компактности образов. Каждый образ был представлен 250 объектами. При каждом распределении выборка 100 раз
случайным способом делилась на две части: обучающую (по 50 объектов первого
и второго образов) и контрольную (по 200 объектов каждого образа). Таким образом, общее количество экспериментов при различных численных реализациях исходных данных было равно 1000. Максимальное число элементов в удаляемом
кластере m* = 4 , допустимая доля исключаемых объектов d = 0,15, т. е. из 100
объектов обучающей выборки разрешалось удалять не более 15 объектов.
По результатам машинного эксперимента было найдено, что оптимальное значение α равно 5. Эксперименты показали, что повышение компактности обучающей выборки более чем в 99 % случаев приводит к повышению качества распознавания. Очищенная выборка описывается более простым решающим правилом, что повышает надежность распознавания контрольных объектов.
Обобщенные результаты распознавания контрольной выборки приведены на
рис. 2. По оси ординат отложено абсолютное число экспериментов N (из 1000), в
которых была достигнута данная надежность Р(%). Кривая 1 соответствует надежности без цензурирования, среднее значение равно 91,6 %. Кривая 2 соответствует надежности распознавания с использованием цензурирования. Здесь среднее
значение равно 95,9 %. Количество ошибок уменьшилось более чем в два раза.
N
2
40
1
20
0
75
85
95
P, %
Рис. 2. Распределения надежности распознавания
контрольной последовательности
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Цензурирование обучающей выборки
73
Трудоемкость алгоритма зависит от исходной компактности образов Н0. Чем
выше Н0, тем короче список из L претендентов на исключение и тем меньше времени требуется для выбора наилучшего варианта цензурирования. Однако при одном
и том же значении Н0 при разных распределениях образов доля исключенных объектов d *, при которой достигалось максимальное значение компактности образов,
меняется в очень больших пределах и предсказать значение d * по величине Н0 невозможно. Среднее по 1000 экспериментам значение d * было равно 12,7 %.
Заключение
В работе рассматривается количественная мера компактности образов, основанная на функции конкурентного сходства. Показана полезность применения
данной меры сходства для решения задачи цензурирования обучающей выборки.
Эффективность предлагаемого метода повышения компактности образов иллюстрируется решением модельной задачи распознавания двух образов. Как показали
эксперименты, удаление шумящих объектов из обучающей выборки заметно
улучшает результаты распознавания контрольных объектов. Поэтому рекомендуется применять цензурирование выборки при построении решающих правил в задачах распознавания образов.
ЛИТЕРАТУРА
1. Zagoruiko N.G., Borisova I.A., Dyubanov V.V., Kutnenko O.A. Methods of recognition based
on the function of rival similarity // Pattern Recognition and Image Analisys. 2008. V. 18.
No. 1. P. 1−6.
2. Borisova I.A., Dyubanov V.V., Kutnenko O.A., Zagoruiko N.G. Use FRiS-function for
taxonomy, attribute selection and decision rule construction // Knowledge Processing and Data
Analysis. Berlin – Heidelberg: Springer-Verlag, 2011. P. 256−270.
3. Браверман Э.М. Эксперименты по обучению машины распознаванию зрительных образов // Автоматика и телемеханика. 1962. Т. 23. № 3. С. 349−365.
4. Загоруйко Н.Г., Борисова И.А., Дюбанов В.В., Кутненко О.А. Количественная мера компактности и сходства в конкурентном пространстве // Сибирский журнал индустриальной математики. 2010. Т. XIII. № 1(41). С. 59−71.
Загоруйко Николай Григорьевич
Кутненко Ольга Андреевна
Институт математики им. С.Л. Соболева СО РАН (г. Новосибирск)
E-mail: zag@math.nsc.ru; olga@math.nsc.ru
Поступила в редакцию 4 мая 2012 г.
Zagoruiko Nikolay G., Kutnenko Olga A. (Sobolev Institute of Mathematics of Siberian Branch of
the Russian Academy of Sciences). Training dataset censoring.
Keywords: function of rival similarity, compactness, censoring.
The proposed method of compactness increasing is based on the new measure of similarity
between objects – function of rival similarity (FRiS-function) – which allows to describe any type
of probability distribution with the set of standards. One can estimate contribution of every object
of the dataset into compactness of its class, calculate the quantitative measure of compactness of
each class separately and compactness of the whole dataset. As well objects, which influence
negatively on the compactness value, can be selected. Main idea of proposed method of training
dataset censoring consists in removing such objects. As a result the decision rule, constructed on
censored dataset, has a better recognition quality. The set of excluded objects is detected automatically. Effectiveness of the censoring algorithm is illustrated by a model task of two classes
recognition.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.2
Б.Ю. Лемешко, А.А. Горбунова, С.Б. Лемешко,
С.Н. Постовалов, А.П. Рогожников, Е.В. Чимитова
КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ И ИССЛЕДОВАНИЕ
ВЕРОЯТНОСТНЫХ ЗАКОНОМЕРНОСТЕЙ1
Рассматриваются вопросы применения компьютерных технологий для исследования вероятностных и статистических закономерностей. Показывается, что компьютерные технологии являются мощным средством развития
аппарата прикладной математической статистики, средством расширения
возможностей классических методов в условиях нарушения стандартных
предположений.
Ключевые слова: оценивание параметров, проверка статистических гипотез, критерии согласия, мощность критериев.
Практика применения методов статистического анализа в различных приложениях, в том числе в задачах надежности и контроля качества, богата постановками, формулировки которых не укладываются в рамки классических предположений. Широкий спектр методов статистического анализа базируется на предположении о принадлежности ошибок измерений нормальному закону. В реальных условиях предположение «нормальности», а часто и другие предположения,
не выполняются. Использование классических методов математической статистики в таких ситуациях может оказаться некорректным.
Использование популярных программных систем статистического анализа не
снимает проблем корректного решения задач анализа данных в различных приложениях и не только в силу того, что новые результаты в области прикладной
математической статистики далеко не сразу воплощаются в программном обеспечении.
Многие классические результаты имеют асимптотический характер, в то время
как на практике обычно имеют дело с конечными, часто весьма ограниченными,
объемами выборок. В таких ситуациях применение асимптотических результатов
далеко не всегда оказывается правомерным. Форма представления (регистрации)
данных (измерений) зачастую не соответствуют рассматриваемым в учебниках по
математической статистике точечным выборкам. Реальные наблюдения (выборки)
могут быть группированными, частично группированными, цензурированными,
многократно цензурированными, интервальными, что резко ограничивает применение классических методов и результатов.
Выявление фундаментальных статистических закономерностей в нестандартных условиях приложений, как правило, является сложной задачей. При этом аналитические методы исследования таких закономерностей (например, статистических свойств оценок или распределений статистик критериев) чрезвычайно трудоемки и не позволяют, вследствие сложности, обеспечить решение всего множества задач. Реальный выход заключается в широком использовании численного
1
Работа выполнена при поддержке Минобрнауки РФ в рамках госзадания (проект 8.1274.2011) и ФЦП
«Научные и научно-педагогические кадры инновационной России» (соглашение № 14.В37.21.0860).
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Компьютерное моделирование и исследование вероятностных закономерностей
75
подхода, связанного с компьютерным моделированием статистических закономерностей в условиях, имитирующих реальную ситуацию проведения измерений,
с последующим построением математических моделей, приближенно описывающих полученные закономерности. Такой подход позволяет добиться хороших результатов там, где этого не удается достичь одними аналитическими методами.
Поэтому методы компьютерного моделирования и анализа статистических закономерностей в последнее время получают все более широкое распространение.
В настоящей работе обсуждаются результаты, полученные в некоторых разделах прикладной математической статистики с использованием развиваемого компьютерного подхода и программного обеспечения, предназначенного для исследования статистических закономерностей и статистического анализа данных [1].
1. Исследование свойств оценок параметров
В частности, с использованием компьютерных технологий было показано, что
за редким исключением оценки максимального правдоподобия (ОМП) по негруппированным наблюдениям являются неробастными. Напротив, ОМП по группированным данным [2, 3] и предложенные оптимальные L-оценки параметров
сдвига и масштаба по выборочным квантилям для больших выборок [4, 5] устойчивы как к аномальным ошибкам измерений, так и к отклонениям наблюдаемого
закона от предполагаемого. Применение построенных таблиц вероятностей попадания в интервал, соответствующих асимптотически оптимальному группированию (АОГ), и формул, опирающихся на вычисленные таблицы коэффициентов,
делает процесс вычисления этих оценок очень простым.
В работах [6, 7] были исследованы потери в информации Фишера, связанные с
цензурированием выборок. Оказалось, что даже при значительной степени цензурирования в некоторых случаях сохраняется достаточно много информации, позволяющей получать хорошие оценки параметров закона. Методами компьютерного моделирования были исследованы законы распределения ОМП параметров
ряда распределений по цензурированным наблюдениям при различной степени
цензурирования и различных объемах полных выборок. Было показано, что при
ограниченных объемах выборок распределения ОМП (асимптотически эффективных) оказываются далекими от асимптотического нормального закона. Более того, распределения оказались асимметричными, а ОМП – смещенными. Дальнейшие исследования показали возможность на основании полученных статистических закономерностей строить для ОМП поправки, ликвидирующие смещение.
2. Исследование свойств критериев типа χ2
В [8] было показано, что при близких конкурирующих гипотезах мощность
критериев типа χ2 (χ2 Пирсона, отношения правдоподобия) тем выше, чем меньше
потери в информации Фишера, связанные с группированием данных. Были построены таблицы асимптотически оптимального группирования для достаточно
широкого круга распределений, наиболее часто используемых в приложениях [1,
9]. Применение таблиц асимптотически оптимального группирования обеспечивает максимальную мощность критериев типа χ2 при близких конкурирующих гипотезах.
Впервые было показано, что существует оптимальное число интервалов, зависящее от объема выборки, конкретных альтернатив и способа группирования. Оптимальное число интервалов k зависит от объема выборки n и от конкретной па-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
76
Б.Ю. Лемешко, А.А. Горбунова, С.Б. Лемешко и др.
ры конкурирующих гипотез H 0 и H1 . Как правило, оптимальное k оказывается
существенно меньше значений, рекомендуемых различными рекомендациями и
множеством эмпирических формул для выбора k . Результаты исследований
[10−16] свойств критериев согласия типа χ2 (Пирсона, Рао – Робсона – Никулина
[17−20]) вошли в разработанные нами рекомендации [21].
В настоящее время решены задачи А- и Е-оптимального группирования для
ряда законов распределения. Построены таблицы асимптотически оптимального
группирования, которые могут использоваться в задачах оценивания параметров
по группированным данным и в критериях согласия. Исследована мощность критерия типа χ2 Джапаридзе-Никулина при различных способах группирования данных и числе интервалов группирования.
Исследованы вопросы максимизации мощности критериев типа χ2 Пирсона и
Рао – Робсона – Никулина для заданных пар конкурирующих гипотез. Рассмотрено использование, так называемых, интервалов Неймана – Пирсона [20], при которых границы интервалов совпадают с абсциссами точек пересечения плотностей конкурирующих законов. Показана целесообразность применения таких интервалов. В то же время, применение интервалов Неймана – Пирсона не гарантирует максимум мощности критерия при данном числе интервалов для заданной
пары конкурирующих гипотез.
3. Исследование распределений статистик
непараметрических критериев согласия
При проверке сложных гипотез H 0 : F ( x) ∈ {F ( x, θ), θ ∈ Θ } , когда оценка θ̂
скалярного или векторного параметра распределения F ( x, θ) вычисляется по той
же самой выборке, непараметрические критерии согласия Колмогорова, ω2 Крамера – Мизеса – Смирнова, Ω2 Андерсона – Дарлинга теряют свойство свободы от
распределения [22]. В этом случае условные распределения G ( S H 0 ) статистик S
соответствующих критериев становятся зависящими от ряда факторов: от вида
наблюдаемого закона F ( x, θ) , соответствующего справедливой проверяемой гипотезе Н0; от типа оцениваемого параметра и числа оцениваемых параметров; во
многих случаях от конкретного значения параметра или параметров (например, в
случае семейств гамма-, бета-распределений и др.); от метода оценивания параметров [23].
Различия в предельных распределениях той же самой статистики при проверке
простых и сложных гипотез настолько существенны, что пренебрегать этим ни в
коем случае нельзя. Например, на рис. 1 показаны распределения статистики критерия Андерсона – Дарлинга при проверке сложных гипотез относительно различных законов распределения при вычислении по той же выборке ОМП двух параметров закона. Рис. 2 иллюстрирует зависимость распределения статистики
критерия Колмогорова от типа и числа оцениваемых параметров на примере закона распределения Su-Джонсона.
При исследовании распределений статистик непараметрических критериев согласия для случая проверки сложных гипотез использовались различные подходы.
В наших исследованиях [23−35] распределения статистик непараметрических критериев согласия исследовались методами статистического моделирования. Далее,
опираясь на полученные эмпирические распределения статистик, строились при-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Компьютерное моделирование и исследование вероятностных закономерностей
77
ближенные аналитические модели законов распределения статистик. На основании
результатов [23−25] были подготовлены рекомендации по стандартизации [26].
G(S|H0)
0,8
0,6
0,4
0,2
0
0,2
0,4
0,6
0,8
SΩ
Рис. 1. Распределения статистики Андерсона – Дарлинга при проверке сложных гипотез относительно различных законов распределения
при вычислении ОМП двух параметров закона
G(SK|H0)
0,8
0,6
0,4
0,2
0
0,25
0,50
0,75
1
1,25
SK
Рис. 2. Распределения статистики Колмогорова при проверке сложных гипотез распределения Su-Джонсона при вычислении ОМП различных комбинаций параметров закона
В дальнейшем [27−35] результаты уточнялись, расширялось множество построенных моделей и таблиц процентных точек и множество законов, относительно которых можно корректно применять непараметрические критерии согласия при проверке сложных гипотез. Достаточно обширный список законов распределения, относительно которых можно проверять сложные гипотезы, используя построенные
приближения для предельных распределений непараметрических критериев согласия, представлен в [1]. В случае применения ОМП моделями, представленными в [1, 27−35], можно пользоваться в задачах статистического анализа при объемах выборок, начиная с n > 25 .
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
78
Б.Ю. Лемешко, А.А. Горбунова, С.Б. Лемешко и др.
4. Сравнительный анализ мощности критериев согласия
Относительно мощности критериев, предназначенных для проверки гипотез
того же вида, информация, как правило, противоречива. Асимптотические оценки
мощности не имеют практического значения, так, приходится иметь дело с ограниченными объемами выборок, при которых свойства критериев существенно отличаются от асимптотических. Единственный реальный выход заключается в использовании численных методов.
В работах [36−38] методами статистического моделирования нами проведен
анализ мощности ряда непараметрических и параметрических критериев согласия
при проверке простых и сложных гипотез относительно различных пар конкурирующих гипотез. Исследования показали, что при проверке простых гипотез критерии можно упорядочить по мощности следующим образом:
χ 2 Пирсона (АОГ) > Ω 2 Андерсона-Дарлинга > ω2 Мизеса ≥ Колмогорова
Такое упорядочение справедливо при использовании в критерии χ 2 Пирсона
асимптотически оптимального группирования, при котором минимизируются потери в информации Фишера. В случае близких конкурирующих гипотез преимущество в мощности критерия χ 2 Пирсона может быть существенным.
При проверке сложных гипотез порядок предпочтения оказывается существенно иным:
Ω 2 Андерсона – Дарлинга > ω2 Мизеса > Yn2 Рао – Робсонf – Никулина (АОГ) >
> χ 2 Пирсона (АОГ) > Колмогорова.
При очень близких гипотезах может быть:
Ω 2 Андерсона – Дарлинга > Yn2 Рао – Робсона – Никулина (АОГ) >
> ω2 Мизеса > χ 2 Пирсона (АОГ) > Колмогорова.
Указанные выводы носят интегрированный характер.
5. Исследования распределений статистик
и мощности критериев нормальности
Проведенные в работах [39−41] исследования и сравнительный анализ мощности множества критериев, ориентированных на проверку гипотез о принадлежности выборок нормальному закону, с одной стороны, позволили проранжировать
критерии по мощности, с другой – выявили ряд серьезных недостатков присущих
многим из них. Например, недостатком критериев Шапиро–Уилка, Эппса–Палли,
Шпигельхальтера, Хегази–Грина и некоторых других является их смещенность
при малых объемах выборок по отношению к конкурирующим гипотезам, которым соответствуют законы с плотностями, более плосковершинными по сравнению с нормальным законом (со значением эксцесса меньше 3), т. е. критерии не
способны отличать такие законы от нормального [1].
Рассмотренные критерии можно упорядочить по мощности следующим образом:
Гири > Шпигельгалтера > Хегази – Грина ( T2 ) > Хегази – Грина ( T1 ) >
> Эппса – Палли > Дэвида – Хартли – Пирсона > Шапиро – Уилка > Фросини.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Компьютерное моделирование и исследование вероятностных закономерностей
79
Некоторые из рассмотренных критериев вообще нецелесообразно применять
вследствие их принципиальных недостатков. Проведено сравнение мощности
рассмотренных критериев с критериями согласия
6. Исследования распределений статистик критериев однородности
Критерии однородности предназначены для проверки гипотезы о принадлежности двух выборок одному и тому же закону. В работе [42] исследованы распределения и мощность критериев Смирнова и Лемана – Розенблатта проверки однородности двух выборок. Недостатком критерия Смирнова является то, что его
статистика представляет собой дискретную случайную величину и ее распределение медленно (особенно при равных объемах выборок m = n ) сходится (слева!) к
асимптотическому распределению Колмогорова. Вследствие этого использование
при ограниченных объемах выборок в качестве предельного распределения этой
статистики закона Колмогорова K ( s ) приводит к завышенным значениям достигаемого уровня значимости и, следовательно, к увеличению числа ошибок второго рода. Поэтому при построении процедур проверки однородности по критерию
Смирнова целесообразно выбирать m ≠ n так, чтобы они представляли собой взаимно простые числа, а их наименьшее общее кратное k было максимальным и
равным mn . Предложена модификация статистики критерия, при которой применение распределения Колмогорова в качестве предельного будет более корректным при относительно малых m и n .
Мощность критерия Лемана – Розенблатта, как правило, выше мощности критерия Смирнова.
7. Исследования распределений статистик
и мощности критериев однородности средних
В [43] проведен сравнительный анализ мощности параметрических и непараметрических критериев проверки однородности средних. В общем случае проверяемая гипотеза о равенстве математических ожиданий, соответствующих k выборкам, имеет вид
H 0 : μ1 = μ 2 = = μ k
при конкурирующей гипотезе
H1 : μi1 ≠ μi2 ,
хотя бы для некоторой пары индексов i1 , i2 .
Для проверки гипотезы H 0 может использоваться ряд параметрических критериев: сравнения двух выборочных средних при известных дисперсиях; сравнения двух выборочных средних при неизвестных, но равных дисперсиях (критерий
Стьюдента); сравнения двух выборочных средних при неизвестных и неравных
дисперсиях; F-критерий. В этих же целях применяется целая совокупность непараметрических критериев: критерий Уилкоксона, критерий Манна–Уитни, критерий Краскела – Уаллиса.
В [43] показана устойчивость параметрических критериев проверки однородности средних к нарушению предположения нормальности наблюдений случайных величин: если закон (законы) распределения анализируемых выборок отличается от нормального, но нет оснований полагать, что наблюдаемые величины
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
80
Б.Ю. Лемешко, А.А. Горбунова, С.Б. Лемешко и др.
принадлежат законам с «тяжелыми хвостами», то применение параметрических
критериев остается корректным, по крайней мере, не приводит к существенным
погрешностям.
Сравнительный анализ мощности параметрических и непараметрических критериев показал лишь незначительное преимущество в мощности параметрических. В то же время, непараметрические критерии лишь немного уступают по
мощности параметрическим: критерий Манна – Уитни критерию Стьюдента, а
Краскела – Уаллиса – F-критерию (используемому для проверки однородности
средних) соответственно.
8. Исследования распределений статистик
и мощности критериев однородности дисперсий
Одним из основных предположений при построении классических критериев
проверки однородности дисперсий является принадлежность наблюдаемых случайных величин (погрешностей измерений) нормальному закону. Поэтому применение классических критериев всегда сопряжено с вопросом, насколько корректны получаемые выводы в данной конкретной ситуации? При нарушении
предположения о принадлежности анализируемых величин нормальному закону
условные распределения статистик критериев при справедливости проверяемой
гипотезы, как правило, сильно изменяются.
Проверяемая гипотеза о постоянстве дисперсий m выборок имеет вид
H 0 : σ12 = σ22 = ... = σ2m ,
а конкурирующая с ней гипотеза
H1 : σi21 ≠ σi22 ,
где неравенство выполняется, по крайней мере, для одной пары индексов i1 , i2 .
В работах [44−46] методами компьютерного моделирования исследованы распределения статистик и проведен сравнительный анализ мощности классических
критериев проверки гипотез о равенстве дисперсий (Бартлетта, Кокрена, Хартли,
Фишера, Левене) и непараметрических ранговых критериев (Ансари – Бредли,
Сижела – Тьюки, Муда) (в том числе, при законах распределения наблюдаемых
случайных величин, отличных от нормального).
В отличие от утверждаемого в [47], показано, что при числе выборок m = 2 в
случае принадлежности случайных величин нормальному закону критерии Бартлетта, Кокрена, Хартли и Фишера имеют одинаковую мощность. Критерий Левене заметно им уступает.
Критерии Бартлетта, Кокрена, Хартли и Левене могут применяться при числе
выборок m > 2 . В таких ситуациях мощность этих критериев оказывается различной. При m > 2 в случае выполнения предположений о нормальном законе данные критерии можно упорядочить по убыванию мощности следующим образом:
Кокрена > Бартлетта > Хартли > Левене.
Порядок предпочтения сохраняется и в случае нарушений предположений о
нормальном законе. Исключение касается ситуаций, когда выборки принадлежат
законам с более «тяжелыми хвостами» по сравнению с нормальным законом. Например, в случае принадлежности выборок закону Лапласа критерий Левене оказывается несколько мощнее трех других.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Компьютерное моделирование и исследование вероятностных закономерностей
81
Результаты исследований непараметрических критериев показали заметное
преимущество в мощности критерия Муда и практическую эквивалентность критериев Ансари – Бредли и Сижела – Тьюки. Непараметрические критерии существенно уступают в мощности критериям Бартлетта, Кокрена, Хартли и Фишера.
Воспользовавшись для исследования распределений статистик методикой
компьютерного моделирования, действие параметрических критериев при необходимости можно распространить на ситуации, когда выборки описываются законами, отличающимися от нормального.
9. Применение компьютерного моделирования при решении
других задач прикладной математической статистики
При исследовании распределений статистик и мощности ряда критериев, ориентированных на проверку гипотез о случайности или об отсутствии тренда, выявлены недостатки или преимущества отдельных критериев [48−50].
В [51] рассмотрено расширение возможностей критериев, используемых при
отбраковке измерений.
Классический подход к определению закона распределения вероятностей
функции от системы случайных величин предполагает знание совместной плотности распределения и очень редко позволяет получить результат в явном виде.
В [52] показана эффективность методики компьютерного моделирования при
исследовании законов распределения функций от случайных величин и систем
случайных величин.
Компьютерное моделирование представляет собой эффективный инструмент
расширения аппарата прикладного многомерного анализа [53, 54].
Заключение
Компьютерные методы анализа данных и исследования статистических закономерностей являются мощным средством, способствующим расширению аппарата прикладной математической статистики. Они дают возможность исследовать
реальные свойства оценок и распределений статистик критериев проверки гипотез, в том числе в условиях нарушения стандартных предположений, когда использование классических результатов оказываются некорректным.
Всегда существует принципиальная возможность методами статистического
моделирования заранее исследовать распределение статистики интересующего
нас критерия в конкретных условиях, нарушающих стандартные предположения
(при заданном объеме выборки, в случае принадлежности выборки заданному закону, отличному от нормального, при нестандартной форме регистрации результатов измерений и т.п.). В результате получим эмпирическое распределение статистики, с заданной точностью описывающее её истинное распределение. Затем
можно построить приближенную математическую модель этого распределения
или найти процентные точки. Все эти действия способствуют расширению аппарата прикладной математической статистики.
Проблема заключатся в том, что множество таких задач оказывается бесконечным. Например, распределения статистик непараметрических критериев согласия при проверке сложных гипотез относительно таких параметрических моделей законов распределения, как семейства гамма- и бета-распределений, обобщенное распределение Вейбулла, обратное распределение Гаусса и др., зависят от
конкретных значений параметров формы. А оценки этих параметров находятся в
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
82
Б.Ю. Лемешко, А.А. Горбунова, С.Б. Лемешко и др.
ходе статистического анализа и заранее неизвестны. Аналогично в задачах выживания и надежности результаты наблюдений чаще всего оказываются различным
образом цензурированными, а вид и степень цензурирования являются факторами, влияющими на распределения статистик критериев, используемых при проверке адекватности построенных моделей [55−58]. Как правило, вид и степень
цензурирования далеко не всегда известны заранее. Другой пример, распределения статистик параметрических критериев однородности дисперсий зависят от закона (законов), которым принадлежат анализируемые выборки. В случае отличия
законов от нормального распределения этих статистик становятся зависящими от
объемов выборок и эта зависимость аналитически не выражается. Ситуации другого рода, распределения статистик многих непараметрических критериев проверки гипотез являются дискретными. Для них предлагаются различные аппроксимации, которые в условиях ограниченных объемов выборок зачастую сильно
отличаются от истинных, что может приводить к некорректным выводам.
Какой же выход? Выход заключается в исследовании требуемых закономерностей в ходе решения задачи статистического анализа. То есть в программном
обеспечении анализа данных должен быть предусмотрен интерактивный режим,
позволяющий исследовать требуемую закономерность (распределение статистики
критерия) при тех предположениях, которые соответствуют условиям решаемой
задачи анализа. И найденное распределение статистики будет использоваться для
корректного вывода относительно проверяемой гипотезы.
Задачи статистического моделирования удается достаточно просто распараллеливать, а развитие многоядерных и многопроцессорных компьютеров делает
вычислительные затраты на исследование практически незаметными для пользователя, решающего задачу статистического анализа. Именно по такому перспективному пути идут авторы данной работы. Развиваемое программное обеспечение
успешно используется в исследованиях и учебном процессе.
ЛИТЕРАТУРА
1. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход: монография / Б.Ю. Лемешко, С.Б. Лемешко,
С.Н. Постовалов, Е.В. Чимитова. Новосибирск: Изд-во НГТУ, 2011. 888 с. (серия «Монографии НГТУ»).
2. Лемешко Б.Ю. Робастные методы оценивания и отбраковка аномальных измерений //
Заводская лаборатория. 1997. Т.63. № 5. С. 43−49.
3. Лемешко Б.Ю. Группирование наблюдений как способ получения робастных оценок //
Надежность и контроль качества. 1997. № 5. С. 26−35.
4. Лемешко Б.Ю., Чимитова Е.В. Построение оптимальных L-оценок параметров сдвига и
масштаба распределений по выборочным квантилям // Сибирский журнал индустриальной математики. 2001. Т.4. № 2. С. 166−183.
5. Лемешко Б.Ю., Чимитова Е.В. Оптимальные L-оценки параметров сдвига и масштаба
распределений по выборочным квантилям // Заводская лаборатория. Диагностика материалов. 2004. Т. 70. № 1. С. 54−66.
6. Лемешко Б.Ю., Гильдебрант С.Я., Постовалов С.Н. К оцениванию параметров надежности по цензурированным выборкам // Заводская лаборатория. Диагностика материалов. 2001. Т. 67. № 1. С. 52−64.
7. Лемешко Б.Ю. Об оценивании параметров распределений и проверке гипотез по цензурированным выборкам // Методы менеджмента качества. 2001. № 4. С. 32−38.
8. Денисов В.И., Лемешко Б.Ю. Оптимальное группирование при обработке экспериментальных данных // Измерительные информационные системы. Новосибирск, 1979.
С. 5−14.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Компьютерное моделирование и исследование вероятностных закономерностей
83
9. Денисов В.И., Лемешко Б.Ю., Цой Е.Б. Оптимальное группирование, оценка параметров
и планирование регрессионных экспериментов. В 2 ч. / Новосиб. гос. техн. ун-т. Новосибирск, 1993. 347 с.
10. Лемешко Б.Ю. Асимптотически оптимальное группирование наблюдений – это обеспечение максимальной мощности критериев // Надежность и контроль качества. 1997.
№ 8. С. 3−14.
11. Лемешко Б.Ю. Асимптотически оптимальное группирование наблюдений в критериях
согласия // Заводская лаборатория, 1998. Т. 64. № 1. С. 56−64.
12. Лемешко Б.Ю., Постовалов С.Н. О зависимости предельных распределений статистик
хи-квадрат Пирсона и отношения правдоподобия от способа группирования данных //
Заводская лаборатория. 1998. Т. 64. № 5. С. 56−63.
13. Лемешко Б.Ю., Чимитова Е.В. Максимизация мощности критериев типа хи-квадрат //
Доклады СО АН ВШ. 2000. № 2. С. 53−61.
14. Лемешко Б.Ю., Постовалов С.Н., Чимитова Е.В. О распределениях статистики и мощности критерия типа хи-квадрат Никулина // Заводская лаборатория. Диагностика материалов. 2001. Т. 67. № 3. С. 52−58.
15. Лемешко Б.Ю., Чимитова Е.В. О выборе числа интервалов в критериях согласия типа
хи-квадрат // Заводская лаборатория. Диагностика материалов. 2003. Т. 69. № 1.
С. 61−67.
16. Лемешко Б.Ю., Чимитова Е.В. Об ошибках и неверных действиях, совершаемых при использовании критериев согласия типа χ2 // Измерительная техника. 2002. № 6. С. 5−11.
17. Никулин М.С. О критерии хи-квадрат для непрерывных распределений // Теория вероятностей и ее применение. 1973. Т. 18. № 3. С. 675–676.
18. Никулин М.С. Критерий хи-квадрат для непрерывных распределений с параметрами
сдвига и масштаба // Теория вероятностей и ее применение. 1973. Т. 18. № 3.
С. 583−591.
19. Rao K.C., Robson D.S. A chi-squared statistic for goodness-of-fit tests within the exponential
family // Commun. Statist. 1974. V. 3. P. 1139−1153.
20. Greenwood P.E., Nikulin M.S. A Guide to Chi-Squared Testing. New York: John Wiley &
Sons, Inc. 1996. 280 p.
21. Р 50.1.033-2001. Рекомендации по стандартизации. Прикладная статистика. Правила
проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа
хи-квадрат. М.: Изд-во стандартов, 2002. 87 с.
22. Kac M., Kiefer J., Wolfowitz J. On tests of normality and other tests of goodness of fit based
on distance methods // Ann. Math. Stat. 1955. V. 26. P. 189−211.
23. Лемешко Б.Ю., Постовалов С.Н. О правилах проверки согласия опытного распределения с теоретическим // Методы менеджмента качества. Надежность и контроль качества. 1999. № 11. С. 34−43.
24. Лемешко Б.Ю., Постовалов С.Н. О распределениях статистик непараметрических критериев согласия при оценивании по выборкам параметров наблюдаемых законов // Заводская лаборатория. 1998. Т. 64. № 3. С. 61−72.
25. Лемешко Б.Ю., Постовалов С.Н. Применение непараметрических критериев согласия
при проверке сложных гипотез // Автометрия. 2001. № 2. С. 88−102.
26. Р 50.1.037-2002. Рекомендации по стандартизации. Прикладная статистика. Правила
проверки согласия опытного распределения с теоретическим. Часть II. Непараметрические критерии. М.: Изд-во стандартов, 2002. 64 с.
27. Лемешко Б.Ю., Маклаков А.А. Непараметрические критерии при проверке сложных гипотез о согласии с распределениями экспоненциального семейства // Автометрия. 2004.
№ 3. С. 3−20.
28. Lemeshko B.Yu. Errors when using nonparametric fitting criteria // Measurement Techniques.
2004. V. 47. No. 2. P. 134−142.
29. Design of experiments and statistical analysis for grouped observations: Monograph / V.I.
Denisov, K.-H. Eger, B.Yu. Lemeshko, E.B. Tsoy. Novosibirsk: NSTU Publishing house,
2004. 464 p.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
84
Б.Ю. Лемешко, А.А. Горбунова, С.Б. Лемешко и др.
30. Лемешко Б.Ю., Лемешко С.Б., Никулин М.С., Сааидиа Н. Моделирование распределений статистик непараметрических критериев согласия при проверке сложных гипотез
относительно обратного гауссовского закона // Автоматика и телемеханика. 2010. № 7.
С. 83−102.
31. Лемешко Б.Ю., Лемешко С.Б. Модели распределений статистик непараметрических
критериев согласия при проверке сложных гипотез с использованием оценок максимального правдоподобия. Ч. I // Измерительная техника. 2009. № 6. С. 3−11.
32. Лемешко Б.Ю., Лемешко С.Б. Модели распределений статистик непараметрических
критериев согласия при проверке сложных гипотез с использованием оценок максимального правдоподобия. Ч. II // Измерительная техника. 2009. № 8. С. 17−26.
33. Lemeshko B.Yu., Lemeshko S.B., Postovalov S.N. Statistic distribution models for some nonparametric goodness-of-fit tests in testing composite hypotheses // Communications in Statistics – Theory and Methods. 2010. V. 39. No. 3. P. 460−471.
34. Lemeshko B.Yu., Lemeshko S.B. Models of statistic distributions of nonparametric goodnessof-fit tests in composite hypotheses testing for double exponential law cases // Communications in Statistics – Theory and Methods. 2011. V. 40. No. 16. P. 2879−2892.
35. Lemeshko B.Yu., Lemeshko S.B. Construction of statistic distribution models for nonparametric goodness-of-fit tests in testing composite hypotheses: The computer approach //
Quality Technology & Quantitative Management. 2011. V. 8. No. 4. P. 359−373.
36. Лемешко Б.Ю., Лемешко С.Б., Постовалов С.Н. Мощность критериев согласия при
близких альтернативах // Измерительная техника. 2007. № 2. С. 22−27.
37. Лемешко Б.Ю., Лемешко С.Б., Постовалов С.Н. Сравнительный анализ мощности критериев согласия при близких конкурирующих гипотезах. I. Проверка простых гипотез //
Сибирский журнал индустриальной математики. 2008. Т.11. № 2(34). С. 96−111.
38. Лемешко Б.Ю., Лемешко С.Б., Постовалов С.Н. Сравнительный анализ мощности критериев согласия при близких альтернативах. II. Проверка сложных гипотез // Сибирский журнал индустриальной математики. 2008. Т. 11. № 4(36). С. 78−93.
39. Лемешко Б.Ю., Лемешко С.Б. Сравнительный анализ критериев проверки отклонения
распределения от нормального закона // Метрология. 2005. № 2. С. 3−24.
40. Лемешко Б.Ю., Рогожников А.П. Исследование особенностей и мощности некоторых
критериев нормальности // Метрология. 2009. № 4. С. 3−24.
41. Лемешко Б.Ю., Рогожников А.П. О нормальности погрешностей измерений в классических экспериментах и мощности критериев, применяемых для проверки отклонения от
нормального закона // Метрология. 2012. № 5. С. 3−26.
42. Лемешко Б.Ю., Лемешко С.Б. О сходимости распределений статистик и мощности критериев однородности Смирнова и Лемана – Розенблатта // Измерительная техника.
2005. № 12. С. 9−14.
43. Лемешко Б.Ю., Лемешко С.Б. Об устойчивости и мощности критериев проверки однородности средних // Измерительная техника. 2008. № 9. С. 23−28.
44. Лемешко Б.Ю., Миркин Е.П. Критерии Бартлетта и Кокрена в измерительных задачах
при вероятностных законах, отличающихся от нормального // Измерительная техника.
2004. № 10. С. 10−16.
45. Лемешко Б.Ю., Лемешко С.Б., Горбунова А.А. О применении и мощности критериев
проверки однородности дисперсий. Ч. I. Параметрические критерии // Измерительная
техника. 2010. № 3. С. 10−16.
46. Лемешко Б.Ю., Лемешко С.Б., Горбунова А.А. О применении и мощности критериев
проверки однородности дисперсий. Ч. II. Непараметрические критерии // Измерительная техника. 2010. № 5. С. 11−18.
47. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1983.
416 с.
48. Лемешко С.Б. Критерий независимости Аббе при нарушении предположений нормальности // Измерительная техника. 2006. № 10. С. 9−14.
49. Лемешко Б.Ю., Комиссарова А.С., Щеглов А.Е. Применение некоторых критериев проверки гипотез случайности и отсутствия тренда // Метрология. 2010. № 12. С. 3−25.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Компьютерное моделирование и исследование вероятностных закономерностей
85
50. Лемешко Б.Ю., Комиссарова А.С., Щеглов А.Е. Свойства и мощность некоторых критериев случайности и отсутствия тренда // Научный вестник НГТУ. 2012. № 1(46).
С. 53−66.
51. Лемешко Б.Ю., Лемешко С.Б. Расширение области применения критериев типа Граббса, используемых при отбраковке аномальных измерений // Измерительная техника.
2005. № 6. С. 13−19.
52. Лемешко Б.Ю., Огурцов Д.В. Статистическое моделирование как эффективный инструмент для исследования законов распределения функций случайных величин // Метрология. 2007. № 5. С. 3−13.
53. Лемешко Б.Ю., Помадин С.С. Корреляционный анализ наблюдений многомерных случайных величин при нарушении предположений о нормальности // Сибирский журнал
индустриальной математики. 2002. Т. 5. № 3. С. 115−130.
54. Лемешко Б.Ю., Помадин С.С. Корреляционный анализ многомерных случайных величин при нарушении предположений о нормальности // Труды 10-го юбилейного Международного симпозиума по непараметрическим и робастным методам в кибернетике.
Томск, 2002. С. 125−141.
55. Лемешко Б.Ю., Чимитова Е.В., Плешкова Т.А. Проверка простых и сложных гипотез о
согласии по цензурированным выборкам // Научный вестник НГТУ. 2010. № 4(41).
С. 13−28.
56. Chimitova E., Lemeshko B., Nikulin M., Tsivinskaya A. Nonparametric goodness-of-fit tests
for censored data // Proc. 7th International Conference on «Mathematical Methods in Reliability»: Theory. Methods. Applications, Beijing, China, June 20−24, 2011. P. 817−823.
57. Лемешко Б.Ю., Чимитова Е.В., Ведерникова М.А. Модифицированные критерии согласия Колмогорова, Крамера – Мизеса – Смирнова и Андерсона – Дарлинга для случайно
цензурированных выборок. Ч. 1 // Научный вестник НГТУ. 2012. № 4(49). С. 12−19.
58. Галанова Н.С., Лемешко Б.Ю., Чимитова Е.В. Применение непараметрических критериев согласия к проверке адекватности моделей ускоренных испытаний // Автометрия.
2012. № 6. С. 53−68.
Лемешко Борис Юрьевич
Горбунова Алиса Александровна
Лемешко Станислав Борисович
Постовалов Сергей Николаевич
Рогожников Андрей Павлович
Чимитова Екатерина Владимировна
Новосибирский государственный технический университет,
E-mail: Lemeshko@fpm.ami.nstu.ru, gorbunova.alisa@gmail.com,
skyer@mail.ru, Postovalov@ngs.ru, rogozhnikov.andrey@gmail.com,
ekaterina.chimitova@gmail.com
Поступила в редакцию 3 мая 2012 г.
Lemeshko B.Yu., Gorbunova A.A., Lemeshko S.B., Postovalov S.N., Rogozhnikov A.P., Chimitova
E.V. (Novosibirsk State Technical University) Computer simulations and research of probabilistic regularities.
Keywords: parameter estimation, statistical hypothesis testing, goodness-of-fit tests, test power.
The problems of application of computer technologies for the research of probabilistic and statistical regularities are considered. It is shown that computer technologies are a powerful means for
the development of applied mathematical statistics apparatus, as well as a means for the extension of
classical methods when some standard assumptions are not satisfied.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.68
А.А. Корнеева, Н.А. Сергеева, Е.А. Чжан
О НЕПАРАМЕТРИЧЕСКОМ АНАЛИЗЕ ДАННЫХ
В ЗАДАЧЕ ИДЕНТИФИКАЦИИ
Исследуется задача восстановления матрицы наблюдений при оценивании
функции регрессии по измерениям со случайными ошибками. Заполнение
пропусков осуществляется с помощью непараметрической оценки кривой
регрессии. Приводятся результаты численных исследований, иллюстрирующих эффективность работы предложенной методики. Рассматривается
моделирование нового класса процессов стохастических объектов со статистической зависимостью компонент вектора входа.
Ключевые слова: идентификация, непараметрические модели, «трубчатые» процессы.
Проблема моделирования, идентификации, безусловно, надолго останется одной из центральных проблем кибернетики. При формулировке задач идентификации и управления особую роль играет уровень априорной информации. Он зависит как от априорных знаний о процессе, имеющихся средствах контроля, так и от
самой технологии измерения переменных. Более того, отличие в средствах контроля неизбежно будет приводить к различным постановкам задач идентификации и моделирования даже для процессов одного и того же типа.
Приведем достаточно общую схему исследуемого процесса:
ξ(t)
u1(t)
u2(t)
A (Объект )
um(t)
H u1
h u1(t)
u1∆t
H u2
h u2(t)
u2∆t
Hm
h um(t)
um∆t
x(t)
Hx
hx(t)
x∆T
Рис. 1. Общая схема исследуемого процесса и контроля переменных
На рис. 1 приняты обозначения: А – неизвестный оператор объекта,
х(t ) ∈ Ω( x) ⊂ R1 – выходная переменная процесса,
и (t ) = ( u1 (t ), u2 (t ),..., um (t ) ) ∈ Ω(u ) ⊂ R m
– входное воздействие, ξ(t ) – векторное случайное воздействие, t – непрерывное
время, H u , H x – каналы связи, соответствующие различным переменным, включающие в себя средства контроля, hu (t ) , h x (t ) – случайные помехи измерений
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом анализе данных в задаче идентификации
87
соответствующих переменных процесса с нулевыми математическими ожиданиями и ограниченной дисперсией. Контроль u (t ) осуществляется через интервал
времени ∆t , контроль x(t ) – через ∆T , причем ∆t << ∆T . Пример матрицы измерений подобного рода объектов представлен в табл. 1 («–» – пропуск матрицы
наблюдений).
Таблица 1
Матрица наблюдений исследуемого процесса
Входная переменная u
u2
…
u21
…
u22
…
u23
…
u24
…
…
…
u2s
…
u1
u11
u12
u13
u14
…
u1s
um
um1
um2
um3
um4
…
ums
x
x1
–
–
x4
…
xs
Отличие дискретности измерения переменных, характеризующих состояние
исследуемого процесса, обусловлено средствами контроля. В частности, измерения некоторых переменных может осуществляться электрическими средствами и
быть достаточно малой величиной. Измерения же других переменных может быть
проведено только в результате химического анализа, который требует значительно больше времени.
1. Идентификация в «узком» и «широком» смыслах
При моделировании разнообразных дискретно-непрерывных процессов в настоящее время доминирует теория идентификации в «узком» смысле [1]. Ее содержание состоит в том, что на первом этапе, на основании имеющейся априорной информации, определяется параметрический класс операторов Aα , например:
xα (t ) = Aα (u (t ), α),
(1)
где Aα – параметрическая структура модели, а α – вектор параметров. На втором
этапе осуществляется оценка параметров α на основе имеющейся выборки
xi , ui , i = 1, s , s – объем выборки. Оценка параметров может осуществляться с
{
}
помощью многочисленных рекуррентных процедур, в частности методом стохастических аппроксимаций либо методом наименьших квадратов. Успех решения
задачи идентификации в этом случае существенно зависит от того, насколько
«удачно» определен оператор (1). В настоящее время теория параметрической
идентификации является наиболее развитой [1].
Идентификация в «широком» смысле предполагает отсутствие этапа выбора
параметрического класса оператора [2]. Часто оказывается значительно проще
определить класс операторов на основе сведений качественного характера, например линейности процесса или типа нелинейности, однозначности либо неоднозначности и др. В этом случае задача идентификации состоит в оценивании
этого оператора на основе выборки xi , ui , i = 1, s в форме
{
}
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.А. Корнеева, Н.А. Сергеева, Е.А. Чжан
88
xs (t ) = As (u (t ), xs , us ),
(2)
где xs = ( x1 , x2 ,..., xs ), us = (u1 , u2 ,..., us ) – временные векторы. Оценка оператора
As может быть осуществлена средствами непараметрической статистики [3, 4].
Примечательным здесь является то, что при этом исключается этап выбора параметрической структуры. Тем самым можно утверждать, что идентификация в
этом случае, а это вариант идентификации в «широком» смысле, является более
адекватной для некоторых реальных задач.
2. Непараметрические оценки функции регрессии по наблюдениям
Пусть даны наблюдения
{ xi , ui , i = 1, s}
случайных величин x , u , распреде-
ленных с неизвестными плотностями вероятности p ( x, u ), p (u ) > 0 ∀u ∈ Ω(u ) . Для
восстановления x = M { x | u} используются непараметрические оценки [2,4]:
s
m
i =1
j =1
( (
xs ( u ) = ∑ xi ∏ Φ cs−1 u j − uij
s
m
) ) ∑ ∏ Φ ( cs−1 ( u j − uij ) ) ,
(3)
i =1 j =1
где Φ (сs−1 (u j − uij )), i = 1, s, j = 1, m, – ядерная колоколообразная функция и коэффициент размытости ядра cs удовлетворяют следующим условиям сходимости
[2, 4]:
Φ (сs−1 (u j − uij )) ≥ 0;
cs > 0;
∫
lim cs = 0;
s →∞
Φ (сs−1 (u j − uij ))du j < ∞;
Ω (u )
lim cs−1Φ (сs−1 (u j − uij )) = δ(u j − uij ).
lim scsm = ∞;
s →∞
s →∞
В данном случае в качестве колоколообразной функции Φ (сs−1 (u j − uij )) было
использовано треугольное ядро:
⎧⎪1 − сs−1 (u j − uij ) , если сs−1 (u j − uij ) ≤ 1,
− ui )) = ⎨
j
j
−1
⎪⎩0, если сs (u − ui ) > 1.
Параметр размытости cs определяется путем решения задачи минимизации
квадратичного показателя соответствия выхода объекта и выхода модели, основанного на «методе скользящего экзамена», когда в модели (3) исключается i-я
переменная, предъявляемая для экзамена:
Φ (сs−1 (u j
j
s
R(cs ) = ∑ ( xk − xs ( uk , cs ) ) = min , k ≠ i.
k =1
2
cs
В случае, если каждой компоненте вектора u соответствует компонента вектора cs , то во многих практических задачах cs можно принять скалярной величиной, если предварительно привести компоненты вектора u по выборке наблюдений к одному и тому же интервалу, например использовать операции центрирования и нормирования.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом анализе данных в задаче идентификации
89
3. Методика заполнения матрицы наблюдений
На практике часто возникают случаи, как было замечено ранее, когда дискретность измерения «входных-выходных» переменных исследуемого процесса может
не совпадать. В результате матрица наблюдений состоит из не полностью заполненных строк (табл. 1).
Для решения задач идентификации предпочтительно иметь выборки большего
объема. Отсюда возникает проблема восстановления пропусков в незаполненных
строках матрицы наблюдений. Конечно, при решении задачи идентификации
можно использовать только заполненные строки матрицы наблюдений. Но в этом
случае объем выборки становится существенно меньше. В настоящей работе
предлагается дать оценки x в незаполненных строках матрицы наблюдений при
известных значениях входных переменных u . Таким образом, используется выборка, состоящая из результатов заполненных строк матрицы наблюдений
(табл. 1). В этом случае получим заполненную матрицу, представленную в табл. 2,
и оценку x(u ) класса (1) или (2) будем осуществлять уже на основании заполненной матрицы наблюдений.
Таблица 2
Матрица наблюдений с заполненными строками
u1
u11
u12
u13
u14
…
u1s
Входная переменная u
u2
…
u21
…
u22
…
u23
…
u24
…
…
…
u2s
…
um
um1
um2
um3
um4
…
ums
x
x1
xs2
xs3
x4
…
xs
В качестве оценки x = M { x | u} можно использовать как параметрические
оценки функции регрессии [1], так и непараметрические [2−4]. Такой прием, как
это будет показано ниже, оказывается вполне оправданным, так как задача идентификации в последнем случае (табл. 2) решается более точно, чем в случае, когда
мы исключаем строки с пропусками из матрицы наблюдений (табл. 1), тем самым
уменьшая объем выборки.
4. Этапы восстановления пропусков матрицы наблюдений
Методику восстановления пропусков матрицы наблюдений можно разделить
на три этапа [5].
На первом этапе восстанавливается функция регрессии xs по наблюдениям u ,
полностью представленным в исходной матрице измерений, то есть по полностью
заполненным строкам в результате эксперимента (табл. 1). Подбирается оптимальное значение коэффициента размытости cs.
На втором этапе происходит заполнение пропусков матрицы c использованием
оценки xs и оптимального значения коэффициента размытости ядра cs, полученных на предыдущем этапе. Там, где наблюдения x пропущены, в оценку
xs (u1 , u2 ,..., um ) подставляем значения измеренных u = (u1 , u2 ,..., um ) и вычисляем
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
90
А.А. Корнеева, Н.А. Сергеева, Е.А. Чжан
соответствующую оценку xs , которой восполняем недостающее наблюдение x
(например, недостающее значение x2 в представленной выше матрице наблюдений заполняется значением xs 2 ). После этого этапа матрица наблюдений принимает вид, представленный в табл. 2.
Заключительный этап восстановления зависимости x от u = (u1 , u2 ,..., um ) состоит в построении модели. В данном случае была использована непараметрическая оценка функции регрессии (3) по всей имеющейся (заполненной) матрице
наблюдений (табл. 2). При этом коэффициент размытости cs подбирается по всей
имеющейся выборке еще раз.
5. Вычислительный эксперимент
На исследуемый объект действует векторное входное воздействие
u = (u1 , u2 , u3 ) ∈ [0;3] , x – выходная переменная, скаляр. Имеются выборки статистически независимых наблюдений (ui , xi , i = 1, s ) , где s – объем выборки. Пусть
матрица наблюдений объекта имеет вид, представленный в табл. 1, т.е. ∆T = 3∆t .
Зададим структуру объекта следующим уравнением:
x = 0,5u12 + sin u2 + 2 u3 .
(4)
Вычислительный эксперимент состоял из двух этапов. На первом этапе оценка
(3) строилась по исходной матрице наблюдений с пропусками (табл. 1). Затем
данная матрица заполнялась при помощи предложенной выше методики. На втором этапе оценка строилась уже по восстановленной матрице наблюдений без
пропусков (табл. 2).
На нижеследующем рисунке приведены результаты вычислительного эксперимента для объекта, описываемого (4). На выход объекта ξ накладывалась помеха по формуле
ξ = 0.05 ⋅ ς ⋅ x,
где ς – случайная величина, нормально распределенная в интервале [−1;1] .
Объем выборки s варьировался от 100 до 1200. На рис. 2 представлено два
графика, соответствующих оцениванию по исходной матрице наблюдений с пропусками (табл. 1) и по восстановленной (табл. 2). Графики показывают зависимость относительной ошибки моделирования σ от объема выборки s . Относительная ошибка моделирования σ находится по формуле
σ=
s
∑ ( xi − xs (ui ))2
i =1
s
∑ (m − xi )2 ,
i =1
где m – оценка математического ожидания.
Так как мы имеем дело со случайными величинами, то необходимо провести
усреднение полученных результатов. В данном случае производилось усреднение
по результатам десяти экспериментов.
Как видно из приведенного рис. 2, ошибка моделирования, полученная при
оценке по восстановленной матрице наблюдений, меньше, чем ошибка – по матрице с пропусками. В среднем качество оценивания повышается на 5−10 %. Данный численный эксперимент демонстрирует, что задача идентификации по вос-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом анализе данных в задаче идентификации
91
становленной (заполненной) матрице наблюдений решается более точно, чем по
матрице с пропусками.
Оценка по исходной матрице с пропусками
Оценка по восстановленной матрице
σ
0,3
0,2
0,1
0
200
400
600
800
1000
s
Рис. 2. Зависимость ошибки моделирования σ от объема выборки s
6. H-модели
На практике достаточно часто встречаются процессы, имеющие стохастическую
зависимость компонент вектора входных переменных. Будем говорить, что объекты, обладающие подобной особенностью, имеют «трубчатую» структуру [6].
Рассмотрим в качестве примера процесса с «трубчатой» структурой объект,
представленный на рис. 3.
Рис. 3. Объект с «трубчатой структурой»
Как видно из рисунка, область протекания процесса Ω(u , x) ∈ R3 представляет
собой, без нарушения общности, единичный гиперкуб, где u ∈ R 2 , x ∈ R1 . Однако
если исследуемый процесс имеет «трубчатую» структуру, то область его протекания ограничивается не всем объемом гиперкуба Ω(u , x) , а его подобластью
Ω H (u , x) ∈ Ω(u , x) , которая нам никогда не известна. Поскольку подобласть
Ω H (u , x) никогда не известна, то и вид самой «трубчатой» структуры нам неиз-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.А. Корнеева, Н.А. Сергеева, Е.А. Чжан
92
вестен. При этом заметим, что объем гиперкуба, как это видно из вышеприведенного рисунка, может значительно превышать объем «трубки».
Рассмотрим моделирование процессов, имеющих подобную структуру. Обычно в задаче идентификации безынерционных объектов предполагается наличие
некоторой параметризованной модели, представляющей собою поверхность в
пространстве «входных-выходных» переменных:
xs (u ) = f (u , α s ) ,
(5)
где α s – вектор параметров. В том случае, когда компоненты вектора входных
переменных статистически зависимы, т.е. мы имеем дело с «трубчатой» структурой объекта, необходимо ввести индикатор I (u ) . Модель вышеприведенного типа при этом должна быть скорректирована следующим образом:
xs (u ) = f (u , α s ) I s (u ) ,
(6)
где в качестве оценки индикатора можно принять следующее приближение:
s
m
( (
I s (u ) = sgn( scs )∑∏ Φ cs−1 u j − uij
i =1 j =1
)) ,
(7)
Параметр размытости ядра сs определяется так же, как и в (3), а колоколообраз-
( (
ная функция Φ cs−1 u j − uij
))
имеет вид треугольного ядра.
Логика построения такого индикатора состоит в том, что при произвольно заданном значении текущей переменной u = u ′ индикатор I s (u ) примет значение
единицы, если u ′ принадлежит «трубчатой» структуре, определяемой имеющейся
выборкой xi , ui , i = 1, s , если же u ′ приняло значение за пределами «трубки», то
{
}
индикатор равен нулю. Заметим, что если процесс описывается поверхностью в
пространстве Ω(u , x) , то модели (5) и (6) совпадают. Если же процесс имеет трубчатую структуру в этом пространстве, то необходимо использовать модель (6).
7. Численное исследование H-модели
Рассмотрим результаты численного эксперимента. Пусть исследуемый объект
описывается системой уравнений:
⎧ x(t ) = 0.5u1 (t ) + 0.5u2 (t ) + ξ;
(8)
⎨
⎩u2 (t ) = u1 (t ) + ψ,
где ξ и ψ – случайные числа, распределенные по равномерному закону на интервале [−0, 05; 0, 05] , u1 , u2 ∈ [0;3] . В данном случае уравнение объекта задано с
целью получения выборок «входных-выходных» переменных для решения задачи
идентификации. При построении модели на основе полученных выборок, структура зависимости выходной переменной x от входных переменных u принята с
точностью до параметров. При оценивании параметров используется метод наименьших квадратов (МНК).
Итак, получена выборка статистически независимых наблюдений
{xi , ui , i = 1, s} , где x – измеряемая выходная переменная, u = (u1 , u2 ) – векторное
входное воздействие, s – объем выборки.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом анализе данных в задаче идентификации
93
Построим параметрическую модель исследуемого объекта. Результаты моделирования показаны на рис. 4 ( s = 100 ), где черными точками обозначен исследуемый объект, серыми – полученная параметрическая модель. Как видно из
рис. 4, исследуемый объект является «трубкой». Модель (5) при этом представляет собой плоскость. Как известно, прямую, в данном случае «трубку», можно аппроксимировать бесконечным числом плоскостей. Пусть имеется шесть выборок
статистически независимых измерений {xi , u1i , u2i , i = 1, s} объемом s = 100 . Для
каждого случая построим 6 моделей с помощью МНК. Результаты моделирования
представлены на рис. 5.
x
x
2
2
1
u2
u2
2
1
0
1
1
2
1
2
2 u
1
Рис. 4. Объект с «трубчатой структурой»
и его параметрическая модель
u1
Рис. 5. Множество параметрических моделей
объекта с «трубчатой» структурой
В результате моделирования было получено 6 моделей с различными оценками параметров, так как в каждом случае выборки были различны. Можно сделать
вывод о том, что полученные модели не являются адекватными. Кроме того, для
построения параметрической модели необходим большой объем выборки.
Теперь для рассматриваемого объекта (8) будем использовать модель (6), содержащую индикатор. Вид индикатора описан формулой (7). Результаты численного моделирования объекта (8) для объема выборки s = 1000 представлены на
рис. 6.
x
2
1
Выборка, определяющая
«трубчатый» процесс
Выборка, случайно
сгенерированная в
интервале [0; 3]
0
1
1
2
u1
2
u2
Рис. 6. Выборка измерений «входных-выходных» переменных
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.А. Корнеева, Н.А. Сергеева, Е.А. Чжан
94
Как мы видим, индикаторная функция (7) при построении модели учитывала
только те точки, которые принадлежат области протекания «трубчатого» процесса, т. е. I s (u ) = 1 . В остальных точках выборки значение выхода модели не восстанавливалось, т. е. I s (u ) = 0 . В частности, из общего объема выборки s =1000
объему трубки принадлежат лишь 20.
Изменим систему уравнений, которой описывается исследуемый объект, на
следующую:
⎧ x(t ) = u12 (t ) + u22 (t ) + ξ;
⎨
⎩u2 (t ) = u1 (t ) + ψ.
(9)
Результаты аналогичных экспериментов представлены на нижеследующих рисунках:
x
«Трубчатый» объект
Выборка, определяющая
«трубчатый» объект
15
10
10 Параметрическая
модель
Выборка, случайно
5
сгенерированная в
интервале [0; 3]
0
u2
2
1
а
1
u2
2 u
1
x
15
5
2
б
1
0
1
2
u1
Рис. 7. Моделирование «трубчатого» процесса
На рис. 7, а показан объект, описываемый системой (9) и имеющий «трубчатую» структуру (черные точки на графике). Плоскость (рис. 7, а) показывает восстановленную с помощью МНК параметрическую модель объекта. Также построена (рис. 7, б) параметрическая модель с использованием индикаторной
функции (6). Как и в предыдущем эксперименте показано, что индикатор учитывает только те точки, которые принадлежат объему «трубки» ( I s (u ) = 1 ), в остальных точках выборки индикатор становится равным нулю и в дальнейшем эти
точки не участвуют в построении модели.
Заключение
Рассмотрена задача восстановления матрицы наблюдений с пропусками для
повышения эффективности решения задачи идентификации стохастических безынерционных объектов. Предложена методика восстановления пропусков матрицы
наблюдений и приведены соответствующие алгоритмы, основанные на использовании непараметрической оценки функции регрессии. Результаты численных экспериментов иллюстрируют, что задача идентификации по заполненной матрице
решается более точно, чем по незаполненной.
Рассмотрен класс объектов, имеющих «трубчатую» структуру. При моделировании объектов такого рода необходимо учитывать ряд его особенностей и использовать H-модели. Предложенные модели процессов, имеющих «трубчатую»
структуру, относятся к категории новых по отношению к своим предшественни-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О непараметрическом анализе данных в задаче идентификации
95
кам, рассматриваемым в теории идентификации. Здесь важно иметь в виду, что
область протекания такого процесса никогда не известна и при моделировании
должна подлежать определению. H-модели отличаются от общепринятых моделей безынерционных систем наличием индикаторной функции, которая, по существу, определяет область протекания «трубчатого» процесса.
ЛИТЕРАТУРА
1. Эйкхоф П. Основы идентификации систем управления. М.: Мир, 1975. 683 с.
2. Медведев А.В. Непараметрические системы адаптации. Новосибирск: Наука, 1983.174 с.
3. Кошкин Г.М. Пивен И.Г. Непараметрическая идентификация стохастических объектов.
Хабаровск: Российская академия наук. Дальневосточное отделение, 2009. 336 с.
4. Надарая Э.А. Непараметрические оценки плотности вероятности и кривой регрессии.
Тбилиси: Изд-во Тбил. ун-та, 1983. 194 с.
5. Корнеева А.А. О непараметрическом восстановлении матрицы наблюдений с пропусками в задаче идентификации с шумами / Молодой ученый. 2012. № 3(38). С. 51−60.
6. Медведев А.В. Анализ данных в задаче идентификации // Компьютерный анализ данных
моделирования. Минск: БГУ, 1995. Т. 2. С. 201−206.
7. Чжан Е.А. О непараметрической идентификации стохастических систем с запаздыванием / Е.А. Чжан, Н.А. Сергеева // Кибернетика и высокие технологии XXI века: труды
XIII Международной научно-технической конференции. Воронеж, 2012. Т. 1. С. 63–74.
Корнеева Анна Анатольевна
Сергеева Наталья Александровна
Чжан Екатерина Анатольевна
Сибирский федеральный университет,
E-mail: anna.korneeva.90@mail.ru; sergena@list.ru;
ekach@list.ru
Поступила в редакцию 30 апреля 2012 г.
Korneeva Anna A., Sergeeva Natalya A., Chzhan Ekaterina A. (Siberian Federal University).
Nonparametric data analysis in identification problem.
Keywords: identification, nonparametric models, «tubular» processes.
By investigation of many processes it is necessary to solve the modeling and identification
problem. The qualitatively constructed models help to simplify the control of the object as well as
to predict its future behavior. This paper focuses on the identification of a new class of processes
which have statistical relationship between the components of the input variables. Further, these
objects will be called «tubular».
As it is known, the quality of the identification problem solution is determined by the quality
of source data, so the stage of data preprocessing is an important part of the modeling process. In
this paper some peculiarities of the samples, as blanks are described. There are proposed two
nonparametric estimation algorithms using the regression function.
The use of parametric identification methods does not give satisfactory results in modeling
«tubular» processes.
A modification of the parametric identification algorithm using the indicator function is suggested. The indicator shows whether the points belong to the true course of the process or not.
The experimental results demonstrate the feasibility of the proposed algorithms.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 519.6
Е.С. Мангалова, Е.Д. Агафонов
О ПРОБЛЕМЕ ВЫДЕЛЕНИЯ ИНФОРМАТИВНЫХ ПРИЗНАКОВ
В ЗАДАЧЕ КЛАССИФИКАЦИИ ТЕКСТОВЫХ ДОКУМЕНТОВ
Описан подход к решению проблемы выделения информативных признаков
в задаче классификации текстовых документов. Задача характеризуется высокой размерностью пространства исходных признаков и сравнительно малым объемом обучающей выборки. Предложен алгоритм формирования
подмножеств информативных признаков. С применением алгоритма решена
задача классификации медицинских документов.
Ключевые слова: text mining, выделение информативных признаков, классификация.
Разработка медицинских баз данных и предоставление свободного доступа к
ним позволяет пользователям осуществлять эффективный поиск документов, содержащих высокоспециализированные медицинские знания. Быстрый рост числа
каталогов научных статей и текстовых хранилищ, например таких, как MEDLINE
или PubMed Central (PMC), обуславливает необходимость в развитии методов автоматической расстановки тэгов и автоматической классификации текстовых
данных. Специалисты часто осуществляют поиск медицинских документов для
получения информации о современных средствах диагностики, лекарственных
препаратах, возможных осложнениях в результате того или иного лечения и т.п.
При этом они используют в запросах специфическую терминологию, которая может быть правильно интерпретирована только с помощью специализированной
медицинской онтологии (содержащей специальные для медицины значения терминов), например такой, как Medical Subject Headings (MeSH). Для того чтобы облегчить процесс поиска, все документы базы данных должны быть проиндексированы в соответствии с онтологией. Результаты поиска могут быть сгруппированы
в классы документов, которые соответствуют разным разделам (например, «методы диагностики», «симптомы» и т.д.). Такие классы могут быть пересекающимися: один документ может содержать информацию, относящуюся к различным разделам, так статья, посвященная современным способам лечения какого-либо заболевания, может включать в себя как методы диагностики, так и симптомы, информацию о лекарственных препаратах, их противопоказаниях и т.д.
1. Постановка задачи
Постановка задачи классификации сформулирована организаторами JRS 2012
Contest [1]. Имеется некоторое множество научных статей по медицине, которые
необходимо отнести к 83 классам. Классы пересекаются, так что статья может
быть отнесена сразу к нескольким классам. Ситуация, когда статья не принадлежит ни одному из заданных классов, исключена из рассмотрения. Организаторы
конкурса предоставили обучающую выборку – информацию о 10 000 статьях с
указанием классов, к которым они отнесены.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О проблеме выделения информативных признаков в задаче классификации
97
Признаками для классификации в рассматриваемой задаче принимают так называемые «степени раскрытия» определенных научных терминов в статьях. Степень раскрытия термина определяется частотой, с которой термин встречается в
статье, а также некоторыми дополнительными факторами, которые организаторами конкурса не разглашаются. Выделяют 25 640 ключевых терминов, степени
раскрытия которых приведены для каждой статьи в обучающей выборке. Как правило, подавляющее большинство степеней раскрытия для конкретной статьи будет принимать нулевое значение, что соответствует отсутствию термина в статье.
Сформулированную задачу классификации можно отнести к сложным и большим, так как модель принятия решения отсутствует, классические методы классификации неприменимы. Исходный набор признаков классификации значительно превышает объем обучающей выборки: доступные данные в обучающей выборке плохо обусловлены.
Важнейшей задачей на пути решения сформулированной проблемы классификации становится преобразование множества признаков. Требуется перейти к новой системе признаков, значительно уменьшив их количество без потери информативности нового набора.
2. Описание алгоритма
Задача классификации 83 пересекающихся классов может быть сведена к решению 83 задач бинарной классификации (принадлежности или непринадлежности статьи к каждому классу).
Введем следующие обозначения:
xij – степень раскрытия j-го термина в i-й статье ( j = 1, n , i = 1, N ), степень
раскрытия термина может принимать значение от 0 до 999: 0 – термин в статье не
встречается, 999 – термин раскрыт в статье полностью;
yik – принадлежность i-й статьи к k-му классу ( i = 1, N , k = 1, m )
yik =
{
1, i -я статья ∈ k -му классу,
0, i -я статья ∉ k -му классу;
{
}
j
= { j : xi > 0, i ∈ Ω k } – множества терминов, встречающихся в статьях, при-
Ω k = i : yik = 1 – множества порядковых номеров статей k-го класса,
T
k
надлежащих k-му классу.
В исходном пространстве n признаков классы не являются компактными. Гипотеза компактности состоит в том, что элементы одного и того же класса отражаются в признаковом пространстве в геометрически близкие точки. Если среди
признаков имеется много случайных, неинформативных, то элементы класса могут оказаться далекими друг от друга и рассеянными среди элементов других
классов [2, c. 29]. Таким образом, требуется выделить такое подмножество исходных признаков, в котором множество элементов класса компактно. Однако применение известных алгоритмов выделения информативных признаков, таких, как
метод последовательного добавления признаков, метод последовательного сокращения [2, с. 108], метод случайного поиска с адаптацией [2, с. 110], неприменимы из-за отсутствия большинства терминов в каждой статье. Исключение одно-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Е.С. Мангалова, Е.Д. Агафонов
98
го любого признака из множества Tk не приведет к росту качества классификации,
так же, как и добавление одно информативного признака к другому.
Идея предлагаемого подхода к выделению информативных признаков состоит
в синтезе набора подпространств исходного пространства признаков, таких, что в
рамках каждого подпространства среди элементов выборки с ненулевыми значениями признаков возможно выделение компактных групп элементов принадлежащих и не принадлежащих к классу. Для каждого подпространства признаков из
исходной формируется своя обучающая выборка, элементы которой не содержат
признаков с нулевыми значениями. Объединение полученных подпространств не
принесет значимого улучшения качества классификации, так как в рамках каждого подпространства признаков возможно вынесение однозначного решения о
принадлежности или не принадлежности элемента с ненулевыми значениями признаков к классу, а после объединения подпространств в одно, за счет уменьшения
объема выборки, количество выносимых решений сократится.
Расстояние ρ j ( xi , xs ) между элементами xi и xs в пространстве j-го признака
будем определять как
⎧ xij − xsj
⎪2
, xij xsj > 0,
ρ j ( xi , xs ) = ⎨ xij + xsj
⎪
1,
xij xsj = 0.
⎩
Расстояние ρ j ( xi , xs ) может принимать значения от 0 до 1:
ρ j ( xi , xs ) = 0 , если степени раскрытия j-го термина в статьях i и s равны,
ρ j ( xi , xs ) = 1 , если j-й термин не встречается хотя бы в одной из статей i и s.
Теперь введем меру расстояния ρ P ( xi , xs ) между элементами xi и xs в произвольном подпространстве признаков P = (p1, p2, …, pr), где r – размерность подпространства, r ∈ {1, 2, …, n}, pv ∈ {1, 2, …, n}, v = 1, r :
⎧ −1 r
ρ pv ( xi , xs ) < 1,
⎪r ∑ ρ p ( xi , xs ) , max
v
ρ P ( xi , xs ) = ⎨ v =1 v
⎪
1,
max ρ pv ( xi , xs ) = 1.
⎩
v
ρ P ( xi , xs ) = 0 , если степени раскрытия всех терминов p1, p2, …, pr в статьях i и
s попарно равны,
ρ P ( xi , xs ) = 1 , если хотя бы один из терминов p1, p2, …, pr не встречается хотя
бы в одной из статей i и s.
Для
Dlk
=
(
искомого
d1,kl , d 2,k l ,..., d rk,l
набора
),
пространств
признаков
D k = {Dlk , l = 1, Lk } ,
где
k
L – количество подпространств, требуется выполнение
условий
(
)
(
) ∪ ρD ( xi , xs*,i,k ,1 ) = ρD ( xi , xs*,i,k ,0 ) = 1,
( xi , xs*,i,k ,1 ) > ρD ( xi , xs*,i,k ,0 ) ∪ ρD ( xi , xs*,i,k ,1 ) = ρD ( xi , xs*,i,k ,0 ) = 1,
∀i ∈ Ω k : ρ D k xi , xs*,i , k ,1 < ρ D k xi , xs*,i ,k ,0
l
∀i ∉ Ω k : ρ D k
l
k
l
l
k
l
k
l
k
l
k
l
(1)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О проблеме выделения информативных признаков в задаче классификации
{
= arg min {ρ
99
}
( x , x ) : x ∈ Ω , x ≠ x }.
xs*,i ,k ,0 = arg min ρ D k ( xi , xs ) : xs ∉ Ω k , xi ≠ xs ,
где
xs*,i ,k ,1
xs
l
xs
Dlk
i
s
k
s
i
s
Иными словами, в каждом из искомых пространств признаков Dlk ближайшим
к элементу, принадлежащему k-му классу, должен быть элемент k-го класса, а к
элементу, не принадлежащему этому классу, – элемент также ему не принадлежащий.
Определим итеративную процедуру построения множества пространств при-
{
}
знаков D k = Dlk , l = 1, Lk :
1. r = 1, L = 0, пространство поиска r-го термина в комбинации Grk = T k ;
k
(
)
2. Формирование множества подпространств признаков Dlk = d1,kl , d 2,k l ,..., d rk,l ,
где d vk,l ∈ Gvk , v = 1, r , l = Lk + 1, Lk + Rrk , Rrk – количество множеств признаков
размерности r , таких, что выполняются условия (1);
3. Сокращение пространства поиска r-го термина:
Lk + R k
Grk = Grk \ ∪ l = Lk +r1 Dlk , Lk = Lk + Rrk , r = r + 1, Grk = Grk−1 ;
{
}
4. Классификация в подпространствах D k = Dlk , l = 1, Lk :
k
{
}
y i = max yqk : xq = arg min ρ D k ( xi , xs ) .
l
xs
l
5. Вычисление ошибки классификации:
N
(
k
)
Er = N −1 ∑ I y i ≠ yik .
i =1
(2)
6. Если Er < ε или Er-1 – Er < δ, или Grk = ∅ , множество подпространств при-
{
знаков D k = Dlk , l = 1, Lk
} сформировано, иначе к шагу 2.
Формирование наборов информативных признаков происходит последовательно: если Dlk удовлетворяет условиям (1), то Dlk не может быть подпространством любого другого набора признаков. Таким образом, с одной стороны, с ростом размерности искомых пространств r возрастает количество комбинаций признаков, с другой стороны, сокращается область поиска таких комбинаций Gk.
Специфика задачи классификации текстовых документов такова, что большинство статей содержат от 80 до 130 терминов (см. рис. 1), большинство терминов встречаются менее чем в 100 статьях (см. рис. 2).
Анализ рис. 1 и 2 показывает, что рост количества комбинаций признаков с
ростом количества признаков в подпространстве r ограничен. Это обусловлено
тем, что вероятность того, что комбинация терминов встречается во многих
статьях, мала.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Е.С. Мангалова, Е.Д. Агафонов
100
Количество статей
1200
800
400
0
60
100
140
180
Количество терминов в статье
220
Рис. 1. Гистограмма распределения количества терминов в статье
Количество терминов
5000
4000
3000
2000
1000
0
50
100
Количество статей
150
200
Рис. 2. Гистограмма распределения количества статей,
содержащих одинаковые термины
Количество классов
30
25
20
15
10
5
0
500
1000
1500
2000
Количество статей в классе
Рис. 3. Гистограмма распределения статей в классах
2500
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О проблеме выделения информативных признаков в задаче классификации
101
Конфигурации наборов информативных признаков непосредственно зависят
от количества элементов, принадлежащих k-му классу. При этом элементы обучающей выборки распределены по классам неравномерно: гистограмма распределения статей в классах |Ωk| приведена на рис. 3. Следует отметить, что для неко-
{
}
торых малочисленных классов пространства признаков D k = Dlk , l = 1, Lk , удовлетворяющие условиям (1), могут не существовать.
Применим процедуру выделения подмножеств информативных признаков для
классов с различным количеством представителей. Вначале рассмотрим самый
многочисленный класс (k = 40, |Ωk| = 2475).
На рис. 4 приведены зависимости количества подпространств признаков Dk,
количества признаков, входящих хотя бы в одно подпространство множества Dk и
ошибки классификации от r (E0 =|Ωk|/N), гистограмма распределения количества
подпространств, содержащих одинаковые термины.
Количество терминов
Rr40 ⋅104
8
а
6
4
2
0
1
3
2
б
3000
2000
1000
0
r
1
2
3
r
1000
Количество терминов
Er
в
0,2
0,1
0
4000
0
1
2
3
r
800
г
600
400
200
0
200 400 600 800 1000
Количество подпространств
Рис. 4. Зависимость количества подпространств признаков от размерности подпространства r (а); зависимость количества признаков, входящих в подпространства, от
размерности подпространства r (б); ошибка классификации (в); гистограмма распределения количества подпространств, содержащих тот или иной термин
Применим алгоритм выделения информативных признаков для класса,
находящегося на 42-м месте по количеству представителей (см. рис. 5). Выбор
этого класса (k = 29, |Ωk| = 201) обусловлен тем, что количество представителей
для него – среднее по всем классам.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Е.С. Мангалова, Е.Д. Агафонов
102
Rr29 ⋅104
3
Количество терминов
а
2
1
0
1
4
3
2
0,015
0,01
0,005
1
2
3
200
0
Количество терминов
в
0,02
0
400
r
Er
0
б
4
1
2
3
250
4
r
г
200
150
100
r
50
0
1000
2000
Количество подпространств
Рис. 5. Зависимость количества подпространств признаков от размерности подпространства r (а); зависимость количества признаков, входящих в подпространства, от
размерности подпространства r (б); ошибка классификации (в); гистограмма распределения количества подпространств, содержащих тот или иной термин (г)
Приведенные графики (рис. 4, 5) иллюстрируют закономерности функционирования алгоритма классификации. Сходимость ошибки к установившемуся значению фактически наблюдается для значения r = 2.
Табл. 1 содержит результаты сравнения ошибок классификации (2), вычисленных по методу скользящего экзамена, для следующих методов:
1 – предложенного алгоритма синтеза информативных признаков с последующей классификацией,
2 – метода ближайших соседей, учитывающего все n признаков,
3 – алгоритма Random Forest [3, с. 5], учитывающего все n признаков.
Сравнение методов классификации по критерию качества
k
|Ωk|
29
40
201
2475
1
0,0044
0,054
Ошибка классификации
2
0.0183
0.1869
3
0.0188
0.198
Заключение
В работе предложен подход к синтезу системы информативных признаков в
задаче классификации текстовых документов. Он предусматривает формирование
подпространств признаков в соответствии с предположением о компактности
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
О проблеме выделения информативных признаков в задаче классификации
103
объектов классификации в каждом из подпространств. Подпространства признаков, входящие в систему, выбирались исходя из выполнения условий (1). Описанный подход позволяет значительно улучшить качество классификации по сравнению с методом ближайших соседей, учитывающим все n признаков, Random Forest. Дальнейшее улучшение качества будет требовать корректировки метрики,
критерия принадлежности к классу.
ЛИТЕРАТУРА
1. JRS 2012 Data Mining Competition: Topical Classification of Biomedical Research Papers.
[электронный ресурс], URL: tunedit.org/challenge/JRS12Contest. (дата обращения:
15.04.2012).
2. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. – Новосибирск: Изд-во
Ин-та математики, 1999. – 270 с.
3. Breiman L. Random forests // Machine Learning. 2001. V. 45 (1). P. 5–32.
Мангалова Екатерина Сергеевна
Сибирский государственный аэрокосмический университет
Агафонов Евгений Дмитриевич
Сибирский федеральный университет
E-mail: e.s.mangalova@hotmail.com, agafonov@gmx.de
Поступила в редакцию 5 мая2012 г.
Mangalova Ekaterina S., Agafonov Evgeny D. (Siberian State Aerospace University, Siberian
Federal University). On features selection approach for text mining problem.
Keywords: text mining, feature selection, classification.
One approach of classification features selection for the text mining problem is proposed in
the paper The initial system of features is defined in a high-order space, at the same time learning
data set is relatively small. Classes form vast intersected system. One algorithm of features subsets generation is proposed in the paper. It is based upon compactness hypothesis: in every resulting features subset the nearest element to the one that belongs to the k’s class, should also belong to the k’s class, and the nearest element to the one that doesn’t belong to the k’s class,
shouldn’t belong to the k’s class. Using the algorithm a medical documents classification problem, offered by JRS 2012 Contest team, has been solved. By its classification accuracy the proposed approach exceeds the nearest neighbors method and the Random Forest algorithm.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 629.7.058.7.001
В.И. Никитенок, С.С. Ветохин
БЫСТРЫЕ НЕПАРАМЕТРИЧЕСКИЕ АЛГОРИТМЫ ОБНАРУЖЕНИЯ
СЛАБЫХ ОПТИЧЕСКИХ СИГНАЛОВ
Рассматривается задача обнаружения слабых оптических сигналов для широко распространенного на практике использования в квантово-оптических
средствах приемников с фотодетектированием. Представлены модели сигнала и помех для случая слабых оптических сигналов, ограничения на применение непараметрических алгоритмов их обнаружения в реальном времени (быстрые алгоритмы), структурные схема и показатели качества двухканальных обнаружителей Манна – Уитни, Вальда – Вольфовица. Дан сравнительный анализ непараметрических и квазиоптимального обнаружителей.
Ключевые слова: слабый оптический сигнал, счетчик фотонов, непараметрические алгоритмы обнаружения, фотоприемник, ранговые тесты.
В квантово-оптических средствах находят применение обнаружители с использованием приемников с фотодетектированием [1–7]. При этом для обнаружения предельно слабых сигналов используют метод счета отдельных оптических
фотонов, возникший полвека назад, который в настоящее время хорошо разработан с теоретической и практической позиций [8]. Реализующими метод фотоприемниками могут служить фотоэлектронные умножители (ФЭУ) [9], диссекторы
[10] и лавинные фотодиоды (ЛФД) [11].
Статистика фотоэлектронов повторяет статистику фотонов в плоскости чувствительного слоя фотоприемника [2, 12], и квантовый характер оптического сигнала проявляется в случайном количестве фотоэлектронов и в случайных моментах
их появления. Слабый оптический сигнал на выходе детектора оптического излучения представляет собой последовательность флуктуирующих по амплитуде
«одноэлектронных» [8] импульсов. Математические модели этих последовательностей кратко рассматриваются ниже. Принята пуассоновская модель.
Основная сложность практической реализации мощных непараметрических, в
том числе ранговых, алгоритмов затруднена при этом необходимостью обрабатывать последовательности больших объемов [13–17]. Так, для формирования ранговой последовательности при обработке двух стационарных пуассоновских потоков m импульсов П1 и П2 с интенсивностями λ1 и λ2 наблюдаются выборки первого и второго потоков, представляющие собой величины интервалов между соседними импульсами в каждом потоке, и составная выборка из этих элементов,
имеющих экспоненциальные распределения с параметрами λ1 и λ2 [18, 19].
Широко известны процедуры формирования ранговой последовательности
[13, 14, 20]. В рассматриваемом случае для формирования ранговой последовательности первого стационарного пуассоновского потока П1 в составной выборке
размера 2m ее запоминают, образуют 2m2 разностей и выполняют m суммирований. Недостаток процедур – необходимость запоминания всей выборки, что исключает формирование ранговой последовательности в реальном масштабе времени. Поэтому реализацию непараметрических тестов, основанных на рангах, в
реальном времени часто считают невозможной [13].
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Быстрые непараметрические алгоритмы обнаружения слабых оптических сигналов
105
В [20] было показано, что для простейших пуассоновских потоков ранговое
двухканальное обнаружение сигналов реализуемо в реальном времени (быстрое
обнаружение), так как при этом можно исключить операции запоминания и упорядочения обрабатываемых данных с сохранением высоких показателей качества.
Этот результат используется и развивается далее в настоящей статье: кратко описываются модели сигнала и помех, счетчик фотонов, рассматриваются ограничения на формирование ранговой последовательности, структурная схема устройства ее формирования, оценка эффективности быстрых непараметрических алгоритмов обнаружения, непараметрические обнаружители слабых оптических сигналов, основанные на тестах Манна – Уитни, Вальда – Вольфовица, и их показатели качества. Обоснована достаточно простая практическая реализация и высокая эффективность двухканального непараметрического обнаружителя Манна –
Уитни.
1. Модели сигнала и помех. Счетчик фотонов
Статистические характеристики оптических полей отличаются большим разнообразием. В общем случае аналитические выражения распределений сигнала,
помех и их смеси зависят от условий эксперимента, в том числе от длительности
интервала наблюдения, ширины полосы частот шумового сигнала, ширины полосы оптического фильтра, интенсивности полей, турбулентности атмосферы [2, 3].
Обычно рассматривают и используют отдельные частные модели, которые наиболее полно учитывают те или иные явления и которые для наиболее важных практических ситуаций оказываются почти адекватными. Для решения конкретных
задач в заданной обстановке достаточно использование соответствующей частной
модели лазерного сигнала [2].
Отметим, что для слабых оптических сигналов при определенных условиях
приемлемой оказывается пуассоновская модель, в том числе для следующих случаев приема: общего случая слабого оптического поля, теплового излучения, излучения одномодового оптического квантового генератора, отраженного лазерного излучения, отраженного лазерного излучения совместно с пуассоновским шумом. Так, для многоцелевого лазерного локатора стыковки космических аппаратов характеристики обнаружения лазерного сигнала (использовался диссектор с
электромагнитной фокусировкой) были рассчитаны именно в предположении пуассоновской статистики выходного сигнала [21, 22].
Отметим также, что пуассоновская модель распределения используется не
только в случае слабых оптических сигналов, но и при интенсивных отражениях
монохроматических сигналов от гладких движущихся целей или их элементов
(при высоком разрешении) [16]. Это расширяет область применения предлагаемого подхода.
Конкретизируем регистрацию принимаемого светового излучения.
Применяемые в современных счетчиках фотонов фотоприемники [9–11] обладают квантовой эффективностью вплоть до десятков процентов, спектральным
диапазоном чувствительности от ультрафиолета до ближнего инфракрасного излучения при полосе передаваемых частот до гигагерца. Прогресс в конструировании и элементной базе устройств обработки выходных сигналов фотодетектора
позволяет создавать низкошумящие усилители с полосой частот более 100 МГц,
дискриминаторы-формирователи с мертвым временем порядка нескольких наносекунд, что все еще уступает характеристикам быстрых ФЭУ и ЛФД, но вполне
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
106
В.И. Никитенок, С.С. Ветохин
приемлемо для задач, решаемых с применением счетчиков фотонов. Возникающие при аппаратурных перегрузках просчеты нарушают линейность устройства
[23], искажают статистику отсчетов и снижают вероятность обнаружения сигнала.
В частности, при обработке телевизионных изображений это ведет к снижению
измеряемой контрастности [24]. В данной работе авторы ограничились случаем
линейной передачи сигнала по всем цепям, что в современных счетчиках фотонов
достигается в диапазоне 6 порядков изменения мощности светового потока.
Помимо фонового фотонного сигнала на характеристики обнаружителя –
счетчика фотонов – оказывают влияние и фоновые процессы, происходящие в самом фотоприемнике, которые приводят к образованию на его выходе импульсов,
как правило, неотличимых от импульсов, обусловленных отдельными фотонами.
Среди причин «темновых» отсчетов называют [8] термоэлектронную эмиссию
фотокатода и активированных динодов ФЭУ, ионизацию остаточных газов, автоэлектронную эмиссию и т. п. Статистика таких отсчетов чаще всего принимается
пуассоновской. Вклад в темновой сигнал коррелированных процессов, например,
оптической и ионной обратной связи, в данной работе не учитывается.
Базовая схема счетчика фотонов [7] включает фотоприемник, генерирующий
одноэлектронные и темновые импульсы. Эти импульсы широкого амплитудного
диапазона поступают на широкополосный усилитель, а после усиления – на амплитудный дискриминатор, порог срабатывания которого оптимизируется так,
чтобы в максимальной степени отсечь темновые отсчеты, среди которых значительную часть составляют импульсы малой амплитуды, но пропустить одноэлектронные импульсы. Дискриминатор в случае срабатывания формирует на выходе
стандартные импульсы, подаваемые на счетчик импульсов, который в рассматриваемой задаче заменяется на обнаружитель.
Схема телевизионного счетчика фотонов содержит дополнительные блоки,
обеспечивающие развертку, оптическую или электронную, изучаемого изображения. При использовании диссектора легко достигается стандарт частоты вещательного телевидения, однако чаще используют менее быстрые пошаговые развертки.
При построении обнаружителей оптических сигналов на уровне счета отдельных фотонов в случае низких оптических фонов ведущую роль в формировании
пороговых характеристик обнаружителя будут играть темновые отсчеты. В этой
связи счетчики фотонов комплектуют предварительно отобранными фотоприемниками [8]. Вероятно, выходом для некоторых обнаружителей может быть применение многопороговых схем отбора [25], вводимых вместо одного дискриминатора, однако алгоритмы обработки последовательностей получаемых сигналов в
настоящее время не разработаны.
В [20] доказано, что в случае формирования ранговой последовательности в
двух стационарных пуассоновских потоках импульсов можно обойтись без запоминания выборок потоков. Информация для ее формирования уже содержится в
потоках П1, П2 и объединенном потоке П3. При этом имеет место рассматриваемое далее ограничение.
2. Ограничение на формирование ранговой последовательности
Пусть на интервале [0, T1] задан один пуассоновский поток m точек П1 с интенсивностью λ1, а на интервале [0, T2] – другой пуассоновский поток с таким же
количеством m точек П2 с интенсивностью λ2. Согласно [20], каждый из потоков
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Быстрые непараметрические алгоритмы обнаружения слабых оптических сигналов
107
можно представить как результат упорядочения гипотетических элементов выборок из равномерных распределений с плотностями
⎧1/ T ≅ λ1 / m, 0 < t < T1 ,
f1 (t ) ≅ ⎨ 1
(1)
t ≤ 0, t ≥ T1 ;
⎩0,
⎧1/ T ≅ λ 2 / m, 0 < t < T2 ,
f 2 (t ) ≅ ⎨ 2
(2)
t ≤ 0, t ≥ T2 .
⎩0,
Рассмотрим теперь расстояние между плотностями распределений, настроенное на данный опыт. Таковым может быть расстояние Бхаттачария [26]
B = −ln ∫
f1 ( x) f 2 ( x) dx .
(3)
Вполне логично потребовать, чтобы оно для реально существующих экспоненциальных распределений и порождаемых ими равномерных распределений
определялось одними и теми же параметрами.
Для экспоненциальных распределений интервалов между соседними точками
пуассоновских потоков с интенсивностями λ1 и λ2 расстояние Бхаттачария (3) оказывается равным
Bэ = ln(0,5(1 + kλ )/ kλ ), kλ = {λ 2 / λ1 , λ 2 > λ1 ; λ1 /λ 2 , λ1 > λ 2 }.
(4)
Видно, что расстояние Бхаттачария (4) определяется отношением интенсивностей потоков. Как и условились, потребуем, чтобы это расстояние зависело от
указанного отношения и в случае приведенных выше равномерных распределений гипотетических элементов выборок (1) и (2). Вначале положим, что пуассоновские потоки представлены различным количеством точек m1 и m2. Вычисления
по (3) с учетом (1) и (2) показывают, что расстояние Бхаттачария в этом случае
определяется выражением (для определенности взято Т2 ≤ Т1):
Bр = ln m1λ 2 /(m2 λ1 ).
Из (5) следует, что именно при m1 = m2 = m расстояние Бхаттачария для равномерных распределений оказывается равным
Bэ = ln kλ
и зависящим только от отношения интенсивностей пуассоновских потоков.
Таким образом, из (5) и (6) следует необходимость оперирования с одинаковым количеством точек в пуассоновских потоках. Это является своеобразной
«платой» за указанные выше достоинства. В различных приложениях теории проверки статистических гипотез оно имеет довольно прозрачное физическое толкование.
3. Структурная схема устройства формирования
ранговой последовательности
Структурная схема устройства представлена на рис. 1. Блоки 1 и 2 формирования импульсов преобразуют соответственно входные первый и второй стационарные пуассоновские потоки m импульсов П1 и П2 в стационарные пуассоновские
потоки m единичных импульсов П*1 и П*2, стандартных по амплитуде и длительности. На выходе блока 3 «ИЛИ» путем взаимного наложения потоков П*1 и П*2
формируется совмещенный во времени стационарный пуассоновский поток единичных импульсов П*3.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.И. Никитенок, С.С. Ветохин
108
П1
1
4
П*1
3
П2
П*3
5
А(t)
6
R1.i
П*2
2
Рис. 1. Структурная схема устройства формирования ранговой последовательности:
1, 2 – блоки формирования импульсов, 3 – блок «ИЛИ», 4 – блок задержки, 5 –
счетчик импульсов, 6 – ключевой блок
Первый стационарный пуассоновский поток П*1, содержащий m импульсов на
интервале времени [0, T1], представляет собой результат упорядочения элементов
выборки {t*1.i}, т. е. {t1.i} = {t*(1.i)}, из равномерного распределения с плотностью
(1), а второй стационарный пуассоновский поток П*1, содержащий m импульсов
на интервале времени [0, T2] – результат упорядочения элементов выборки {t*2.j},
т. е. {t2.j} = {t*(2.j)}, из равномерного распределения с плотностью (2). Тогда совмещенный поток П*3 с 2m импульсами в моменты времени t1.i и t2.j есть общий
вариационный ряд {t(1.i + 2.j)}, составленный из элементов выборок {t*1.i} и {t*2.j}.
Поэтому номера импульсов в П*3 являются рангами R1.i элементов первой {t*1.i}
выборки и рангами R2.j элементов второй {t*2.j} выборки. Текущее значение общей ранговой последовательности формируется в реальном масштабе времени на
выходе счетчика импульсов 5 в виде функции А(t). Ее текущее значение равно
рангам R1.i и R2.j. Для формирования рангов R1.i на один вход ключевого блока 6
поступает А(t), а на второй – импульсы потока П*1, задержанные блоком 4 задержки на величину длительности единичного импульса. Задержка обеспечивает
формирование рангов после формирования А(t).
То есть, ранговая последовательность для потока П1 формируется в реальном
масштабе времени.
4. Оценка эффективности быстрых непараметрических алгоритмов
обнаружения пуассоновских сигналов
Проведем оценку, используя расстояние Бхаттачария (3) и величину асимптотической относительной эффективности [13, 14].
Очевидно, чем больше расстояние Бхаттачария, тем на большую эффективность можно рассчитывать при проверке гипотез (обнаружении сигналов). Сравним это расстояние для представленных выше экспоненциальных и соответствующих им равномерных распределений
Bр / Bэ = ln kλ /ln(0,5(1 + kλ ) / kλ )
или
Bр / Bэ = ln (1 + g ) /ln(0,5(2 + g ) / 1 + g ), g = kλ − 1,
где g = λс / λ0 – отношение сигнала к шуму; λс, λ0 – соответственно интенсивности
сигнального и шумового потоков.
Отношение расстояний Бхаттачария (7) или (8) всегда превышает единицу.
Это означает, что при одинаковых условиях предложенная процедура всегда эффективнее традиционной. Отношение расстояний (7) и (8) особенно велико при
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Быстрые непараметрические алгоритмы обнаружения слабых оптических сигналов
109
малых отношениях интенсивностей пуассоновских потоков. Если Bр / Bэ = 4 при
kλ = 3, то Bр / Bэ = 41 при kλ = 1,1. Таким образом, в рассматриваемом случае на
бóльшую эффективность непараметрических алгоритмов можно рассчитывать
при использовании гипотетического равномерного распределения.
Заметим, что получена качественная оценка эффективности. Предварительную количественную оценку можно выполнить с помощью питмэновской
асимптотической относительной эффективности (АОЭ) [18, 19]. Величину АОЭ
определим для случая использования рангового двухвыборочного теста суммы
рангов. Учтем, что при использовании предложенной процедуры формирования
ранговой последовательности гипотетические элементы имеют равномерное распределение, а при традиционной – экспоненциальное. После несложных преобразований можно получить АОЭ = 4. Это означает, что в пределе, когда альтернатива стремится к гипотезе (случай малого отношения сигнала к шуму), предложенная процедура формирования ранговой последовательности обеспечивает в 4 раза
меньший объем выборки, чем традиционная. При стремлении альтернативы к гипотезе объем выборки стремится к бесконечности и, казалось бы, по величине
АОЭ трудно судить о качестве сравниваемых процедур для конечных объемов
выборок. Однако для очень малых выборок часто наблюдается [13, 14] обнадеживающее совпадение асимптотических результатов с точными.
То есть, в практической реализации быстрые непараметрические алгоритмы
обнаружения пуассоновских сигналов, использующие предложенную процедуру
формирования ранговой последовательности, могут быть достаточно эффективны
и, вместе с тем, работают в реальном масштабе времени. Ограничением на их
применение является обработка стационарных пуассоновских потоков с одинаковым количеством импульсов.
Рассмотрим двухканальные непараметрические обнаружители слабых оптических сигналов, основанные на статистиках тестов Манна – Уитни и Вальда –
Вольфовица, оперирующие с гипотетическими равномерными распределениями
обрабатываемых данных (1) и (2). На один из входов обнаружителя поступают
импульсы помехи, на другой – импульсы смеси полезного сигнала и помехи.
5. Обнаружитель Манна – Уитни
Алгоритм работы обнаружителя определяется видом статистики рангового
двухвыборочного теста Манна – Уитни [15, 27]:
m
m
m
m
S = ∑ j =1 Rj − 0,5m(m + 1) = ∑ j =1 Rj − ∑ j =1 j = ∑ j =1 ( Rj − j )
(9)
и порогами решения
c1.2 = 0,5m 2 ± m (2m + 1) /12Ф −1 (1 − F/2),
(10)
где Rj – ранг j-го импульса первого пуассоновского потока в общем вариационном ряду; m – количество импульсов в пуассоновском потоке; F – задаваемая
вероятность ложной тревоги; Ф–1(·) – функция, обратная интегралу вероятности
Ф(x) = (1 2π) ∫
x
−∞
e−t
2
/2
dt.
Заметим, что используемый вид статистики (9) упрощает ее аппаратурную
реализацию. Структурная схема обнаружителя представлена на рис. 2. Сумматор
11 вычисляет величину статистики (9), которая в пороговой схеме 12 сравнивается с порогами (10), на основании чего принимается решение о наличии (K) или
отсутствии (H) сигнала в одном из каналов.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.И. Никитенок, С.С. Ветохин
110
Уравнение рабочей характеристики двухпорогового рангового двухканального
обнаружителя Манна – Уитни (ОМУ), оперирующего с гипотетическими равномерными распределениями, имеет вид [20]
D = Ф{(1 + g )
1 + 2 g × ( 1,5m (1 − 1/(1 + g )) − Ф −1 (1 − F / 2))},
(11)
откуда
m = 2 / 3(( 1 + 2 g Ф −1 ( D)/(1 + g ) + Ф −1 (1 − F / 2)) /(1 − 1/(1 + g ))) 2 ,
(12)
где D – вероятность правильного обнаружения.
1
2
3
4
H
5
10
11
12
K
6
7
8
9
Рис. 2. Структурная схема обнаружителя Манна – Уитни (ключевые блоки 1, 4, 6 и 9; блок
5 сравнения; блоки 2, 7 нормирования; счетчики импульсов 3, 8; сумматор 11; блок разности 10; пороговый блок 12).
6. Обнаружитель Вальда – Вольфовица
Алгоритм работы обнаружителя определяется видом статистики теста Вальда
– Вольфовица [28]
S = s1 + s2
(13)
и порогом решения (тест серий односторонний)
c = m + 1 − m(m − 1) /(2m − 1) Ф −1 (1 − F ),
(14)
где s1, s2 – число серий элементов первой и второй выборок соответственно в общем вариационном ряду (серией называют последовательность элементов одной
выборки в общем вариационном ряду, ограниченную с двух сторон элементами
другой выборки). Структурная схема обнаружителя Вальда – Вольфовица (ОВВ)
представлена на рис. 3.
1
H
2
4
5
6
9
10
11
12
K
3
7
8
Рис. 3. Структурная схема обнаружителя Вальда – Вольфовица (ключевые блоки 1 и 3,
блок сравнения 2, RS-триггер 4, дифференцирующий блок 5, диоды 6 и 8, инвертор 7, блок
«ИЛИ» 9, блок нормирования 10, счетчик импульсов 11, пороговый блок 12)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Быстрые непараметрические алгоритмы обнаружения слабых оптических сигналов
111
На выходе счетчика импульсов 11 формируется значение суммы серий, которое в пороговом блоке 12 сравнивается с порогом обнаружения (14). Если входное
напряжение порогового блока меньше порога, то принимается решение «сигнал
есть» (К), в противном случае – «сигнала нет» (Н). Затем накопитель 11 импульсов обнуляется. Поскольку, как указывалось, тест Вальда – Вольфовица является
односторонним, то номер канала с сигналом не определяется.
По устройству ОВВ оказывается еще более простым, чем ОМУ.
Уравнение рабочей характеристики непараметрического двухканального ОВВ,
оперирующего с гипотетическими равномерными распределениями, при m ≥ 20
имеет вид [20]
D = Ф{0,5(2 + g ) 2 / 2(1 + g )(1 + (1 + g ) 2 ) ( 2m g /(2 + g ) − Ф −1 (1 − F ))},
(15)
откуда требуемое количество импульсов
m = 0,5 ((2 + g ) / g (2 2(1 + g )(1 + (1 + g ) 2 ) Ф −1 ( D)/(2 + g ) 2 + Ф −1 (1 − F ))) 2 , (16)
7. Сравнительный анализ эффективности обнаружителей
Сравнение обнаружителей проведем по рабочим характеристикам и значениям
относительной эффективности (ОЭ):
ε(Si, Sj ) = mj / mi ,
(17)
где индексы i и j относят соответствующие характеристики к сравниваемым обнаружителям, S – статистика теста, используемого в обнаружителе.
Рассмотренные непараметрические двухканальные обнаружители настроены
на равномерные распределения. Практический интерес представляет сравнение их
по эффективности с обнаружителями, настроенными на экспоненциальные распределения: квазиоптимальный (КОО) и Манна – Уитни (ОМУ-Э). Уравнение
рабочей характеристики двухканального КОО можно представить в виде [29, 30]
откуда
D = Ф{ 2m ( 1 + g − 1) − 1 + g Ф −1 (1 − F / 2)},
(18)
m = 0, 25 (( Ф −1 ( D) + 1 + g Ф −1 (1 − F / 2)) /( 1 + g − 1)) 2 .
(19)
Отметим, что при F / (1 – D) ≤ 0,1 (что обычно имеет место) сравнительный
анализ практически эквивалентен сопоставлению непараметрических и оптимального обнаружителей [30].
Можно показать, что уравнение рабочей характеристики двухпорогового рангового двухканального ОМУ-Э имеет вид [20]
D = Ф{(2 + g ) / 6(1 + g )(6 + g (6 + g ))/(9 + g (9 + 2 g )) ×
× ( 1,5m g /(2 + g ) − Ф −1 (1 − F / 2))},
(20)
откуда
m = 0,67 (( 6(1+ g )(6 + g (6 + g ))/(9 + g (9 + 2 g )) Ф −1 ( D) + (2 + g ) Ф −1 (1− F / 2))/ g ) 2 ,
(21)
Сравнение обнаружителей слабых оптических сигналов по рабочим характеристикам (11), (15), (18), (20) и ОЭ (17) с учетом (12), (16), (19) и (21) показывает:
1) при D = 0,5 ОЭ обнаружителя Манна – Уитни не зависит от F и при g = 0,1–3,1
составляет: 2,50–1,06 относительно ОВВ, 1,43–0,84 относительно КОО, 3,66–1,56
относительно ОМУ-Э. При g ≥ 1,4 КОО сравнивается по эффективности с ОМУ и
незначительно превосходит его;
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
112
В.И. Никитенок, С.С. Ветохин
2) при D = 0,9 ОЭ обнаружителя Манна – Уитни зависит от F и при g = 0,1–3,1
составляет:
- для F = 10−4: 1,84–1,05 относительно ОВВ; 1,43–0,84 относительно КОО;
3,75–1,80 относительно ОМУ-Э. Здесь также при g ≥ 1,4 КОО сравнивается по
эффективности с ОМУ, незначительно превосходя его;
- для F = 10−6: 3,12–1,38 относительно ОВВ; 2,24–1,07 относительно КОО;
5,83–2,24 относительно ОМУ-Э.
Таким образом, для обнаружения слабых оптических сигналов можно рекомендовать простой в практической реализации и эффективный обнаружитель Манна –
Уитни.
Заключение
1. Для пуассоновской модели слабых оптических сигналов предложена структурная схема формирования ранговой последовательности, обеспечивающая работу мощных двухканальных непараметрических обнаружителей в реальном времени с увеличением их эффективности по сравнению с использованием традиционной процедуры вычисления рангов.
2. Разработаны структурные схемы и получены показатели качества двухканальных обнаружителей Манна – Уитни и Вальда – Вольфовица, работающих в
реальном времени.
3. Наиболее эффективным является обнаружитель Манна – Уитни, работающий с гипотетическими выборками из равномерных распределений. Затем следуют квазиоптимальный обнаружитель, настроенный на экспоненциальные распределения, обнаружитель Вальда – Вольфовица и обнаружитель Манна – Уитни, работающий с выборками из экспоненциальных распределений.
4. Рекомендован простой в реализации ранговый двухканальный обнаружитель
Манна – Уитни, настроенный на гипотетические равномерные распределения.
ЛИТЕРАТУРА
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
Шереметьев А.Г. Статистическая теория лазерной связи. М.: Связь, 1971. 264 с.
Лазерная локация / И. Н. Матвеев и др. М.: Машиностроение, 1984. 272 с.
Сигналы и помехи в лазерной локации / В. Е. Зуев и др. М.: Радио и связь, 1985. 264 с.
Манин А.П. Основы теории оптических систем траекторных и навигационных комплексов. М.: МО СССР, 1989. 224 с.
Многофункциональные лидарные системы / В.И. Иванов и др. Минск.: Университетское, 1986. 286 с.
Тришенков М.А. Фотоприемные устройства и ПЗС. Обнаружение слабых оптических
сигналов. М.: Радио и связь, 1992. 400 с.
Ветохин С.С. Контрастность изображения биообъектов при измерениях методом счета
отдельных фотонов // Труды БГТУ. Сер. IV. 2008. Вып. XVI. С. 263–265.
Одноэлектронные фотоприемники / С.С. Ветохин и др. М.: Энергоатомиздат, 1986. 246 с.
Ветохин С.С., Резников И.В. Одноэлектронные характеристики фотоумножителей для
счета фотонов // Приборы и техника эксперимента. 1977. № 7. С. 57–62.
Ветохин С.С., Резников И.В. Диссекторы – счетчики фотонов. // Оптико-механическая
пром-сть. 1980. № 8. С. 46–50.
Ветохин С.С. и др. Исследование лавинных МДП-фотоприемников в режиме счета фотонов // Доклады АН БССР. 1987. T. 31. № 5. С. 141–144.
Марова С.Н. Обнаружение слабых сигналов в оптическом диапазоне волн // Теория и
техника радиолокации: Труды МАИ. М.: Машиностроение, 1972. Вып. 207, С. 198–208.
Тарасенко Ф.П. Непараметрическая статистика. Томск: ТГУ, 1976. 294 с.
Левин Б.Р. Теоретические основы статистической радиотехники. Кн. 3. 1976. 286 с.
Гаек Я., Шидак З. Теория ранговых критериев. М.: Наука, 1971. 376 с.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Быстрые непараметрические алгоритмы обнаружения слабых оптических сигналов
113
16. Радиоэлектронные системы: Основы построения и теория: справ. / Я.Д. Ширман и др.
М.: Радиотехника, 2007. 512 с.
17. Коваленко И.Н., Филиппова А.А. Теория вероятностей и математическая статистика:
учеб. пособие для втузов. М.: Высшая школа, 1973. 368 с.
18. Вентцель Е.С. Теория вероятностей: учеб. для вузов. М.: Высшая школа, 2001. 575 с.
19. Ширман Я.Д., Манжос В.Н. Теория и техника обработки радиолокационной информации на фоне помех. М.: Радио и связь, 1981, 416 с.
20. Никитенок В.И. Быстрые непараметрические алгоритмы обнаружения сигналов.
Минск: БГУ, 2010. 131 с.
21. Flom T. Spaceborne laser radar // Appl. Оpt. 1972. V. 11. No. 2. P. 291.
22. FlomТ., Coombes D. Multiple target tracking with scanning laser radar // Navigation. 1974–
1975. V. 21. No. 4. P. 298.
23. Ташкун А.П. и др. Световые характеристики диссектора, работающего в одноэлектронном режиме // Приборы и техника эксперимента. 1973. № 3. С. 258–260.
24. Ветохин С.С. Влияние контраста изображения на отношение сигнал/шум одноэлектронного диссектора // Оптико-механическая промышленность. 1978. № 6. С. 65–66.
25. Ветохин С.С., Холондырев С.А. Двухпороговый метод измерения сверхслабых световых потоков // Вестник БГУ. Сер. 1. 1986. № 1. С 64–65.
26. Прикладная статистика: Классификация и снижение размерности / С.А. Айвазян и др.
М.: Финансы и статистика, 1989. 607 с.
27. Mann N.B., Whitney D.R. One test of whether one two random variables is stochastically
larger than other // Annals of Mathematical Statistics. 1947. No. 18. P. 50–60.
28. Уилкс С. Математическая статистика. М.: Наука. 1967. 632 с.
29. Левин Б.Р. Теоретические основы статистической радиотехники. Кн. 2. М.: Сов. радио,
1975. 392 с.
30. Гуткин Л.С. Теория оптимальных методов радиоприема при флюктуационных помехах. М.: Сов. радио, 1972. 448 с.
Никитенок Виктор Иванович
Белорусский государственный университет
E-mail: nikitsvi@bsu.by
Ветохин Сергей Сергеевич
Белорусский государственный технологический университет,
E-mail: serega49@mail.ru
Поступила в редакцию 5 мая 2012 г.
Nickitsionak Victar I. (Belarusian State University, Minsk), Vetokhin Siarhei S. (Belarusian State
Technological University, Minsk). Fast nonparametric algorithms of weak optical signals detection.
Keywords: weak optical signal, photon counter, nonparametric detection algorithm, photo detector, rank test.
The problem of weak optical signals detection by a photon counter, which is built with a
photo detector like photomultiplier tube, dissector or avalanche photodiode, is considered. The
scheme and principals of a photon counter are described. For approved model of weak optical
signal as a Poisson output of a photon counter the block-scheme of a powerful double channel
detector mean that provides rank sequence form and improves its efficiency in comparison with a
traditional rank calculation procedure is proposed.
It is obtained that the pulse number equality in two treated Poisson series is the condition of
the applicability. The block-schemes of dual-channel Mann – Whitney and Wald – Wolfowitz
detectors, which operate in real time mode, are described. The quality indicators of these fast
nonparametric detectors are derived. Our comparative analysis of nonparametric and quasioptimal detectors demonstrates that the Mann – Whitney one, which operates with hypothetic retrievals from a rectangular distribution, is the most effective among them. The line is continued
by quasi-optimal detector, which is adjusted for exponential distribution, Wald – Wolfowitz detector and Mann – Whitney one for exponential distribution. The advantage rises for low level
signal-to-noise ratio and false alarm probability.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 517.977
А.И. Рубан
МЕТОД ГЛОБАЛЬНОЙ ОПТИМИЗАЦИИ,
ОСНОВАННЫЙ НА СЕЛЕКТИВНОМ УСРЕДНЕНИИ КООРДИНАТ,
ПРИ НАЛИЧИИ ОГРАНИЧЕНИЙ
Изложены идеи конструирования алгоритмов недифференцируемой глобальной оптимизации, в основе которых лежит: разнесение во времени пробных и
рабочих шагов, селективное усреднение координат по результатам пробных
движений, адаптивная перестройка размеров прямоугольной области пробных
движений и учёт ограничений типа неравенств и типа равенств.
Ключевые слова: глобальная оптимизация, селективное усреднение координат, ограничения типа неравенств и равенств.
Среди существующих методов поиска глобального минимума перспективны
рандомизированные подходы. Они часто построены на сочетании случайного
просмотра области поиска X и локальных детерминированных алгоритмов поиска минимума.
В отличие от алгоритмов метода стохастической аппроксимации существенным продвижением при конструировании алгоритмов глобальной оптимизации
является осознание того факта, что для более гарантированного движения к глобальному экстремуму необходимо проводить усреднение оптимизируемой функции во всей заданной области, где нужно отыскивать экстремум. На этом базируются подходы А. А. Красовского, А. И. Каплинского, А. И. Пропоя. Авторы используют потенциальные функции.
Другой способ отыскания глобального экстремума основан на селективном
усреднении (также во всей заданной области на начальном этапе поиска) не самой
оптимизируемой функции, а искомых координат. Такой способ предложен в работах [1–3]; его развивает и автор [4–11] данной статьи. Производится параллельный расчёт всех искомых переменных.
Решаем задачу поиска глобального минимума функции при изменении непрерывных переменных внутри допустимой области:
f ( x) = min .
(1)
x∈ X
1. Метод синтеза алгоритмов глобальной оптимизации
Вводим последовательность { ps ( y ), s = 1, 2,...} непрерывных, положительных
в R+1 функций, таких, что для любых y < z (где y, z ⊂ R1 ) последовательность
{ ps ( y ) ps ( z ) , s = 1, 2, ...} монотонно нарастает с ростом s :
lim ps ( y ) ps ( z ) = ∞ ;
s →∞
y<z.
f max = sup f ( x) и точная нижняя
x∈ X
функции f ( x) .
Считаем,
что
известны
точная
верхняя
f min = inf f ( x) границы минимизируемой
x∈X
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Метод глобальной оптимизации, основанный на селективном усреднении координат
115
Справедлив следующий результат:
xmin = lim
s →∞
∫ x ps,min ( x) dx,
ps ,min ( x) =
X
ps ( g min ( x))
∫
ps ( g min (t )) dt
f ( x) − f min
.
f max − f min
, g min ( x) =
(2)
X
Безразмерная неотрицательная переменная g min ( x) лежат в интервале [0; 1].
Заметим, что в (2) можно и не переходить к безразмерной переменной g min ( x) .
Достаточно положить g min ( x) = f ( x) . Предельные свойства сохраняются. Использование безразмерных переменных придает алгоритмам универсальность.
В качестве ядер ps ( g ) могут использоваться, например: 1) экспоненциальное
в степени s : exp(− sg ) , 2) гиперболическое в степени s : g − s , 3) линейное
( r =1), параболическое ( r =2), кубическое ( r =3) и т. д. в степени s :
ps ( g ) = (1 − g r ) s , r = 1, 2, 3, . Эти виды ядер конструируются по единому образцу. За основу берется убывающая в интервале [0; 1] функция p ( g ) (с максимумом в точке g = 0 ), а затем эта функция возводится в степень s :
s
ps ( g ) = ( p ( g ) ) . Для таких p ( g ) всегда 1 < ( p ( y ) / p ( z )) при y < z . Следовательно, ядра ps ( g ) удовлетворяют основному условию для ядер.
Перечисленный набор ядер ps ( g ) пока достаточен для решения задач глобальной минимизации. При увеличении s растет «селективность» (способность к
локализации положения глобального экстремума) нормированного ядра ps ,min ( x) .
В пределе (при s → ∞ ) ядро стремятся к многомерной дельта-функции с особой
точкой x = xmin . Усреднение в правой части формулы (2) позволяют предсказывать положение глобального экстремума при фиксированной степени s , которую
будем называть «степенью селективности ядра».
Приведенный результат позволяет построить целый спектр практически реализуемых быстросходящихся алгоритмов, обеспечивающих поиск глобального
экстремума с вероятностью, близкой к единице. Укажем возможный вариант
класса алгоритмов (при различных параметрах 0 < γ q , q ∈ {1, 2, } , 0 < s и различных формах ядра) поиска глобального минимума:
1q
x
l +1
=
∫x
psl ,min ( x) dx,
∆xνl +1
Xl
⎛
⎞
= γ q ⎜ ∫ | xν − xνl | q psl ,min ( x) dx ⎟
⎜ l
⎟
⎝X
⎠
X l = Π l ∩ X , Π l = [ x1l − ∆x1l , x1l + ∆x1l ] ×
l = 0, 1, 2,
, ν = 1, m , (3)
× [ xml − ∆xml , xml + ∆xml ] ,
; [0 < γ q , q ∈ {1, 2,
}, 0 < s ] .
Здесь l – номер итерации; γ q , q, s – подбираемые фиксированные параметры;
Π l – прямоугольная область в окрестности точки xl . При 0 < γ q ≤ 1 всегда
∆xνl +1 ≤ γ q ∆xνl , ν = 1, m . Отсюда следует конечно-шаговое (и достаточно быстрое)
сжатие области поиска до заданных малых размеров.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.И. Рубан
116
Алгоритмам (3) можно придать более привычный вид и осуществить в них
приближенное вычисление интеграла. В области X , если она задана ограничениями неравенствами и не является узким «жгутом», размещается n пробных точек x (i ) , i = 1, n . В них вычисляется минимизируемая функция f (i ) ≡ f ( x (i ) ) ,
i = 1, n , и операция интегрирования заменяется суммированием.
При получении пробных точек x (i ) , i = 1, n , последовательно генерируются
равномерно распределённые точки в прямоугольной области Π l с центром в точке xl :
xν(i ) = xνl + ∆xνl ⋅ uν(i ) , uν ∈ [−1; 1], ν = 1, m, i = 1, 2,
,
(4)
и из них оставляется n точек, попадающих в допустимую область X . Пробные
точки лежат теперь в области X l = Π l ∩ X .
Исходная точка x 0 и размеры ∆x 0 прямоугольной области Π 0 выбираются
так, чтобы Π 0 охватывала допустимую область X или ту её часть, где расположен искомый глобальный экстремум.
В результате указанного перехода от интегрирования к соответствующему
суммированию алгоритмы (3) приобретают следующий вид:
1q
⎛ n
⎞
)
xνl +1 = xνl + ∆xνl ⋅ uν ,min , ∆xνl +1 = γ q ⋅ ∆xνl ⋅ ⎜ ∑ | uν(i ) |q ps(i,min
⎟
⎝ i =1
⎠
n
(i )
)
ps ( g min
i =1
( j)
)
∑ ps ( gmin
)
)
, ps(i,min
uν ,min = ∑ uν(i ) ps(i,min
=
n
(i )
, g min
=
, ν = 1, m ,
(5)
f (i ) − fˆmin
,
fˆ − fˆ
max
min
j =1
l = 0, 1, 2,
, [0 < γ q , q ∈ {1, 2,
}, 0 < s ] .
Здесь fˆmax = max{ f (i ) , i =1, n} , fˆmin = min{ f (i ) , i =1, n} ; в переменных uν(i ) ∈[−1;1] ,
)
ps(i,min
для упрощения записи опущен номер итерации l . Весовые коэффициенты
)
(ядра) ps(i,min
нормированы на системе n пробных точек:
n
)
= 1.
∑ ps(i,min
i =1
Прекращение работы алгоритмов можно осуществлять, как обычно, либо по
заданной величине размера области пробных движений: max{| ∆xνl |, ν = 1, m} ≤ ε1 ,
либо по величине наибольшего уклонения минимизируемой функции на множестве пробных точек: Iˆmax − Iˆmin ≤ ε 2 .
В полученных алгоритмах пробные и рабочие движения разнесены. На каждом
рабочем шаге осуществляется переход в новую точку, в среднем более близкую к
глобальному минимуму, и производится изменение размеров области поиска.
Тестирование большого числа многоэкстремальных функций показало, что алгоритм (5) имеет устойчивые достаточно высокие окончательные результаты (по
скорости сходимости, точности и близкой к 1 оценке вероятности отыскания глобального экстремума) при следующих условиях:
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Метод глобальной оптимизации, основанный на селективном усреднении координат
117
1) 0,8 ≤ γ q ≤ 1, 2; q = 2 ;
2) степенных типах ядер: экспоненциальном, гиперболическом, линейном, параболическом, с целочисленными параметрами селективности s , лежащими в
широких пределах;
3) 50 ≤ n ;
4) равномерном распределении пробных точек (случайном с независимыми
координатами либо с использованием ЛП τ последовательности) внутри области
пробных движений.
Скорость сходимости достаточно высокая: 5–12 итераций. Обычно коэффициент γ q берется единичным.
2. Учёт ограничений на искомые переменные
Допустимая область X формируется за счет существующих ограничений типа
неравенств
f ( x) = min, Ψ j ( x) ≤ 0, j = 1, p,
(6а)
и типа равенств
f ( x) = min, Φ k ( x) = 0, k = 1, q .
(6б)
Они могут присутствовать по отдельности и вместе.
Ограничения неравенствами относятся к менее жестким ограничениям по
сравнению с ограничениями равенствами. При наличии только ограничений неравенствами в достаточно широкой допустимой области X удается сравнительно
просто реализовать вышеуказанную процедуру размещения (на каждом рабочем
шаге) пробных точек, не выходящих за пределы области X .
В остальных случаях необходимо использовать штрафы на этапе рабочих
движений. Пробные точки при этом равномерно размещаются в прямоугольной
области Π l с центром в точке xl . Большая часть этих точек (или все) находится
вне допустимой области. Для этих точек формируются штрафы. Они двух видов.
1. Нормированное ядро сроится в виде произведения ядер для минимизируемой функции, для функций нарушаемых ограничений неравенств (6а) и модулей
всех функций ограничений равенств (6б):
)
ps(i,min
=
)
ps(i,min
n
,
)
∑ ps(l,min
)
ps(i,min
=
⎛
)
ps ( g (fi,min
)⎜
⎜
β
∏
⎝ j∈J ( i )
⎞ 1 ⎛ m2
(i )
⎜⎜ ∏ ps ( g ψ k
⎠ ⎝ k =1
ps ( g ϕ(i ) ) ⎟
j ⎟
β
⎞2
) ⎟⎟ , (7а)
⎠
l =1
)
=
где g (fi,min
ϕ j ( x (i ) ) − ϕ j ,min
f (i ) − fˆmin
, g ϕ(i ) =
, j = 1, m1 ; при j ∈ J (i ) ∈ 1, m1 всеj
ˆf
ˆ
ϕ
−
ϕ
j ,max
j ,min
max − f min
гда 0 < ϕ j ( x (i ) ) ; g (ψi ) =
k
| ψ k ( x (i ) ) | − | ψ k |min
, k = 1, m2 ; 1 ≤ β1 , 1 ≤ β2 .
| ψ k |max − | ψ k |min
2. Минимизируется не исходная функция f ( x) , а функция I ( x) со штрафными добавками; она в пробных точках имеет вид
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.И. Рубан
118
I ( x (i ) ) =
f (i ) − fˆmin
+
fˆ − fˆ
max
min
(i )
| ψ ( x (i ) ) | − | ψ k |min
⎪⎧ ϕ j ( x ) − ϕ j , мин
⎪⎫
, j ∈ J (i ) ∈ 1, m1 ; β2 k
, k = 1, m2 ⎬ , (7б)
+ max ⎨β1
| ψ k |max − | ψ k |min
⎪⎭
⎪⎩ ϕ j ,макс − ϕ j , мин
i = 1, n, 1 ≤ β1 , 1 ≤ β2 .
При каждом фиксированном значении i для пробной точки x (i ) в расчетах участвуют только те функции ϕ j ( x (i ) ) , которые больше нуля (т. е. те функции, для которых ограничения-неравенства нарушены): 0 < ϕ j ( x (i ) ) при j ∈ J (i ) ∈ 1, m1 .
Для третьей группы алгоритмов применяются обе идеи: формирование пробных точек внутри допустимой области (когда это принципиально возможно) и
создание штрафов (на основе модулей функций для ограничений равенств) при
совершении рабочих движений.
Для глобальной минимизации функций синтезировано достаточное число алгоритмов: 1) 9 – при наличии только ограничений типа неравенств, 2) 8 – при наличии ограничений типа равенств, 3) 16 – при наличии обоих типов ограничений.
По указанным схемам учёта ограничений типа неравенств и типа равенств
создаются группы алгоритмов для: 1) поиска главных минимумов многоэкстремальных функций [7, 8]; 2) многокритериальной оптимизации [9]; 3) решения
систем нелинейных уравнений. Вторая проблема кратко затронута в заключении.
3. Пример
Рассмотрим многоэкстремальную функцию
I1 ( x − c1 ) = 6| x1 |2 +7| x2 |2 ,
I 2 ( x − c2 ) = 5| x1 + 2|0.5 +5| x2 |0.5 +6 ,
I 3 ( x − c3 ) = 5| x1 |1.3 +5| x2 + 2|1.3 +5 ,
I 4 ( x − c4 ) = 4| x1 |0.8 +3| x2 − 4|1.2 +8 ,
I 5 ( x − c5 ) = 6| x1 − 2|1.1 +4| x2 − 2|1.7 +7 ,
I 6 ( x − c6 ) = 5| x1 − 4|1.1 +5| x2 |1.8 +9 ,
I 7 ( x − c7 ) = 6| x1 − 4|0.6 +7| x2 − 4|0.6 +4 ,
I8 ( x − c8 ) = 6| x1 + 4|0.6 +6| x2 − 4|1.6 +3 ,
I 9 ( x − c9 ) = 3| x1 + 4|1.2 +3| x2 + 4|0.5 +7.5 ,
I10 ( x − c10 ) = 2| x1 − 3|0.9 +4| x2 + 5|0.3 +8.5 ,
I ( x ) = min{I i ( x − ci ), i = 1, 10} ,
(8)
которая имеет 10 минимумов (см. рис. 1) в точках: (0; 0), (–2; 0), (0; –2), (0; 4), (2;
2), (4; 0), (4; 4), (–4; 4), (–4; –4), (3; –5). Глобальный минимум находится в начале
координат: I (0) = 0 .
На рис. 1 показана минимизируемая функция, а на фоне линий равных уровней
функции (8) нанесены первые шаги (один или два) алгоритма (5) при четырех различных начальных условиях. Область X прямоугольная и достаточно широкая.
Скорость сходимости высокая.
На рис. 2 представлены изменения от шага к шагу значения координат, размеров
области поиска и минимизируемой функции. В алгоритме ядро параболическое
ps ( g ) = (1 − g 2 ) s при s = 10 , число пробных точек n = 50 , а также q = 2 и γ q = 1 .
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Метод глобальной оптимизации, основанный на селективном усреднении координат
119
x2
x1
а
б
Рис. 1. Функция (8), линии равных уровней её и первые шаги алгоритма
− x1
0
1
− x2
2
3
−∆ x1
4
l
0
1
2
− ∆x2
3
4
I ( x1l , x l2 )
l
0
1
2
3
4
l
Рис. 2. Изменение по итерациям координат, размеров области поиска
и значений функции
Минимизируем ту же 10-экстремальную функцию (8) при наличии двух ограничений неравенств:
ϕ1 ( x) ≡ − x1 − 6 + x2 ≤ 0 (или x2 ≤ x1 + 6 ), ϕ2 ( x) ≡ x1 − 6 − x2 ≤ 0 (или x1 − 6 ≤ x2 ),
выделяющих полосу в окрестности диагонали x2 = x1 , и одного ограничения
равенства
ψ1 ( x) ≡ x1 + 4.25sin x1 − x2 = 0 ,
которое устанавливает гармоническую
зависимость ( x2 = x1 + 4.25sin x1 ) между
координатами.
На рис. 3 на фоне линии равных
уровней показана допустимая область и
линия ограничения равенства.
Поведение минимизируемой функции (8) вдоль линии ограничения равенства представлено на рис. 4. Глобальный
минимум её внутри допустимой области
приходится на начало координат.
x2
x2 = x1 + 4 .25 sin x1
x1
Рис. 3. Линии равных уровней
функции (8) и ограничения
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
А.И. Рубан
120
f ( x1 , x1 + 4.25 sin x1 )
x1
Рис. 4. Функция (8) при x2 = x1 + 4.25sin x1
Изменение основных переменных при поиске глобального минимума на основе применения многомерного ядра (7а) представлено на рис. 5. Использованы
следующие ядра и параметры: ядро линейное ps ( g ) = (1 − g ) s с коэффициентом
селективности s =50, а также n =100, q = 2 , γ q = 1 , β1 =1, β2 =1.
Качество работы алгоритмов оптимизации достаточно высокое.
f (xl )
0
2
4
l
0
ϕ1
2
l
4
0
ϕ2
2
ψ1
4
l
Рис. 5. Изменение по итерациям координат, минимизируемой функции и левых частей ограничений неравенств и равенств; реализован алгоритм с многомерным нормированным
ядром (7а)
ψ ( x1 , x 2 )
f средн ( x1 , x2 )
0
2
4
l
0
2
4
l
0
2
4
l
Рис. 6. Изменение по итерациям координат, усреднённого значения (по пробным точкам)
минимизируемой функции и левой части ограничения равенства; алгоритм с нормированным ядром (7а); 100 % помеха
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Метод глобальной оптимизации, основанный на селективном усреднении координат
121
Алгоритмы сохраняют работоспособность при высоком уровне аддитивных
помех измерения оптимизируемой функции. На рис. 6. приведены результаты
поиска минимума функции (8) при 100 %-й равномерно распределённой помехе.
В параметрах алгоритма увеличено лишь число пробных точек: n = 200 .
Заключение
Многокритериальная глобальная оптимизация имеет следующую форму записи:
I j ( x) = min, j = 1, p, x = ( x1 ,..., xm )T .
Для попадания в область Парето, образуемую положением глобальных минимумов всех минимизируемых функций, при совершении каждого рабочего шага
используем либо произведение ядер
)
ps(i,min
=
)
ps(i,min
n
∑
μ=1
r
,
)
ps(μ,min
(
)
ps(i,min
= ∏ ps ( g (fi ),min )
t =1
t
)
αt
, g (fi ),min =
t
ft ( x (i ) ) − ft , min
ft ,max − ft ,min
,
либо переход к одной минимизируемой функции во всех пробных точках:
(i )
⎪⎧ f1 ( x ) − f1,min
I (i ) ≡ I ( x (i ) ) = max ⎨α1
,
f1,max − f1,min
⎪⎩
, αr
f r ( x (i ) ) − f r ,min ⎪⎫
⎬ , i = 1, n .
f r ,max − f r ,min ⎪⎭
Здесь αt , t = 1, r , положительные коэффициенты, отражающие приоритеты (лица,
принимающего решение) минизируемых функций, и наборы этих параметров дают различные предельные точки внутри области Парето.
Указанные выше способы учета ограничений порождают другие алгоритмы
многокритериальной глобальной оптимизации. В настоящее время их 38.
При наличии сравнительно простых ограничений неравенств, обеспечивающих малые вычислительные затраты при получении пробных точек внутри допустимой области, построены также алгоритмы поиска глобальной седловой точки
[6, 10]: f ( x, y ) = min max . Учёт более сложных видов ограничений ждёт своего
x∈ X
y∈Y
решения.
Для исследования синтезированных алгоритмов и решения на основе них реальных задач глобальной оптимизации разработан комплекс программ [11]. Этот
комплекс тоже адаптивно перестраивается по мере расширения спектра алгоритмов, более полно учитывающих наличие ограничений.
Самостоятельная проблема при синтезе алгоритмов возникает, если осуществлять оптимизацию не только по непрерывным переменным (как было рассмотрено выше), а и по смешанным переменным, включающим в себя и дискретные переменные. Они могут быть трёх типов: 1) дискретные неупорядоченные, 2) дискретные упорядоченные и 3) дискретные числовые переменные. Для первого типа
переменных не остается ничего другого, как перебирать их возможные значения и
распараллеливать процесс вычислений глобальных минимумов всех возникающих функций непрерывных переменных. При втором и третьем типах дискретных
переменных возможный путь состоит в переходе от соответствующей дискретной
переменной к непрерывной. Учёт однозначной функции соответствия между ними необходим просто для синхронизации процесса вычислений (при этом мы не
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
122
А.И. Рубан
отходим от дискретных значений соответствующих переменных) и для обратного
перехода от рассчитанных непрерывных значений к истинным дискретным значениям.
ЛИТЕРАТУРА
1. Медведев А.В, Цыкунова И.М. Об алгоритмах случайного поиска // Применение вычислительных машин в системах управления непрерывными производствами: сб. статей.
Фрунзе: Изд-во «Илим», 1975. С. 81–92.
2. Рубан А.И. Метод непараметрической оптимизации стохастических объектов // Системы управления: сб. научных работ. Вып. 1. Томск: Изд-во Том. ун-та, 1975. С. 101–107.
3. Экстремальная радионавигация / В. И. Алексеев и др. М.: Наука, 1978. 280 с.
4. Рубан А.И. Метод непараметрической поисковой глобальной оптимизации // Кибернетика и вуз: Сб. научных работ. Вып. 28. Томск: ТПУ, 1994. С. 107–114.
5. Рубан А.И. Метод непараметрической поисковой оптимизации // Изв. вузов. Физика.
1995. Т. 38. № 9. С. 65–73.
6. Рубан А.И. Глобальная оптимизация методом усреднения координат: монография.
Красноярск: ИПЦ КГТУ. 2004. 303 с.
7. Кузнецов А.В., Рубан А.И. Поиск главных минимумов многоэкстремальных функций
при активном учёте ограничений неравенств // Техника и технологии: журн. СФУ.
2010. Т. 3. № 3. С. 335–346.
8. Кузнецов А.В., Рубан А.И. Алгоритмы метода усреднения координат при поиске главных минимумов многоэкстремальных функций // Вестник СибГАУ. 2010. Вып. 5(31).
С. 36–41.
9. Рубан А.И. Глобальная многокритериальная минимизация функций методом усреднения координат // Информационные технологии в территориальном управлении, промышленности, образовании: сб. статей. Томск: ТУСУР, 2005. С. 142–156.
10. Rouban A.I. Method for global minimax optimization in continuous space // Advances in
Modelling & Analysis: Series A. Mathematical, general mathematical modelling. France:
A.M.S.E. 2007. V. 44. No. 2. P. 46–65.
11. Кузнецов А.В., Рубан А.И. Комплекс программ «Global Optimizer v2.0» // Свидетельство
о государственной регистрации программ для ЭВМ № 2011617970 «Global Optimizer
v2.0». Зарегистрировано в Реестре программ для ЭВМ 12 октября 2011 г.
Рубан Анатолий Иванович
Сибирский федеральный университет
E-mail: rouban@mail.ru
Поступила в редакцию 30 мая 2012 г.
Rouban Anatoliy I. (Siberian Federal University). Global optimization method based on the
selective averaging coordinate with restrictions.
Keywords: global optimization, selective averaging of coordinates, restrictions of the form of inequalities and equalities.
There are described ideas of design of non-differentiable global optimization algorithms,
which are based on: separation in time of exploratory and pattern steps, selective averaging of coordinates on the results of test movements, adaptive reconstruction the size of rectangular region
of test motions and taking into account the restrictions in the form of inequalities and equalities.
Inequality restrictions are less restrictive than equality constraints. If there is only inequality
restrictions and a fairly wide feasible region one can (before every working step) relatively simple
implement the procedure of placing the sampling points in the admissible region.
In other cases, penalties are used. Sampling points with are uniformly placed in a rectangular
area centered at the point from which the algorithm performs the pattern step. Most of the sampling points (or all) are out of the admissible area. For these points are formed penalties. They are
of two types: 1) the calculation of the normalized core pattern steps built in the form of the product cores for function to be minimized, for functions with violated inequalities and for modules of
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Метод глобальной оптимизации, основанный на селективном усреднении координат
123
all functions with equality restrictions, and 2) minimizing the penalty function. In test points the
penalty function has several forms built on combinations of operations of maximization and
summation.
In all global optimization algorithms the transformations of optimized functions and functions
of restrictions are performing for dimensionless variables. This increases accuracy and reduces
the number of adjustable parameters in the algorithms.
Convergence rate of the algorithm is rather high: 5-12 pattern steps in the absence and in the
presence of additive noise of high intensity for optimized functions.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 621.396
И.М. Рудько
СТАТИСТИЧЕСКИЕ СВОЙСТВА СУММЫ
ЧЛЕНОВ УСЕЧЕННОГО ВАРИАЦИОННОГО РЯДА
Bведено понятие усеченной порядковой статистики. Выведены аналитические выражения для математических ожиданий и дисперсий усеченных порядковых статистик для двух вариантов задания порога отсечения: порога,
определяемого квантилем функции распределения, и порога, определяемого
номером члена вариационного ряда.
Ключевые слова: порядковая статистика, моменты случайной величины,
системы обнаружения, математическое моделирование.
Рассматривается задача определения математического ожидания и дисперсии
суммы членов вариационного ряда (порядковой статистики) в случае, когда отбрасывается фиксированное число меньших членов вариационного ряда (усеченная порядковая статистика (УПС)) для двух вариантов задания порога отсечения:
порога, фиксированного по заданному квантилю функции распределения, и порога, фиксированного по заданному номеру члена вариационного ряда, при условии,
что статистические свойства членов вариационного ряда могут быть описаны
центральным χ2-распределением с n степенями свободы.
Задачи, которые могут быть описаны такой моделью, возникают при обработке результатов спектрального анализа, вибрационных испытаний, обработке гидроакустической информации и в других задачах, в которых используется энергетический критерий обнаружения [1]. Ранее в работе [2] методами математического моделирования была исследована модель эвристической двухпороговой системы обнаружения сигнала, в которой применение усеченной порядковой статистики в случае, когда известны дисперсии сигнала и шума, позволяет при фиксированной вероятности ложных тревог получить существенный выигрыш в вероятности обнаружения по сравнению с традиционной системой обнаружения. В настоящей работе приводится теоретическое обоснование алгоритма работы этой
эвристической двухпороговой системы обнаружения сигнала.
1. Моменты усеченной порядковой статистики
Рассмотрим выборку, состоящую из m случайных величин Хi: {Х1,..., Хi,..., Хm}.
Пусть случайная величина Хi описывается функцией плотности распределения
1
x
f ( x) = 2 kn ⎛⎜ 2 ⎞⎟ , x ≥ 0 ,
(1)
⎝σ ⎠
σ
где kn(·) – плотность центрального χ2-распределения с n степенями свободы, σ2 –
дисперсия.
Сравним статистические свойства случайных величин Z, V и W, сформированных из случайной выборки Хi (1 ≤ i ≤ m) тремя различными способами:
m
1) Z = ∑ X i имеет центральное χ2-распределение с nm степенями свободы,
i =1
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Статистические свойства суммы членов усеченного вариационного ряда
125
математическим ожиданием
μ Z = nmσ 2 ,
(2)
σ 2Z = 2nmσ 4 ,
дисперсией
и в силу центральной предельной теоремы при достаточно больших значениях m
ее функция плотности распределения нормализуется, т.е. Z ∼ N (μ Z , σ 2Z ) .
m
V = ∑ X (i ) ,
2)
(4)
i =l
где Х(i) (1 ≤ i ≤ m) – упорядоченные величины (порядковые статистики) статистики
Хi, такие, что Х(1) ≤ Х(2) ≤…≤.Х(i) ≤…≤ Х(m). Если случайные величины Хi статистически независимы и одинаково распределены, то случайные величины Х(i) зависимы из-за неравенств между ними, l выбирается из условия X (l −1) <h ≤ X (l ) , а
h = const – фиксированный порог. Таким образом, l – случайная величина, зависящая от порядковых статистик выборки Х(i).
Рассмотрим случайную величину Yi, которая связана со случайной величиной
Хi нелинейным преобразованием
X , если X i ≥ h,
Yi = i
0, если X i <h.
{
Функция плотности g(x) случайной величины Yi определяется следующим образом (рис. 1):
g ( x) = δ(0)α + f ( x) I ( x) ,
h
где α =
∫
f ( x)dx , индикатор I ( x) =
0
{
при 0 ≤ x <h,
h – порог, δ – дельтапри x ≥ h,
0
1
∞
функция, введенная для сохранения условий нормировки
∫ g ( x)dx = 1 .
0
0,5
f (x)
g(x)
0,4
0,3
0,2
0,1
0
h
10
20
30
x
Рис. 1. Функции плотности случайных величин f ( x) и g ( x)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
И.М. Рудько
126
Математическое ожидание случайной величины Y определяется следующим
образом:
∞
∞
μY = ∫ xg ( x)dx = ∫ xf ( x)dx =
0
(
h
n + 2)
2σ 2 (
)
−1
2
= ( n+ 2)
2 σ( n + 2 ) Г ( n + 2 )
2
(
K n ( x) =
∞ ( n + 2)
)
2
∫x
2
2
n
2 σn Г ( n
−1
e
− x
2σ2
h
1
− t
2σ2
x
∫t
n
∫ x 2e
2
− x
2σ2
dx =
)h
⎡
⎛
⎞⎤
dx = nσ2 ⎢1 − K n + 2 ⎜ h 2 ⎟ ⎥ ;
⎣
⎝ σ ⎠⎦
n −1 −
2 e
t
(5)
2σ2
dt .
(6)
n
0
2 Г( )
2
В (6) K n ( x) – функция распределения центрального χ2-распределения с n степенями свободы.
Аналогично, 2-й начальный момент Y определяется по формуле
n
e
∞
1
2
∞
n
⎡
⎤
M 2 = ∫ x 2 f ( x)dx = 2n ⎛⎜ + 1⎞⎟ σ4 ⎢1 − K n + 4 ( h 2 ) ⎥ ,
σ
2
⎝
⎠
⎣
⎦
h
а дисперсия равна σY2 = M 2 − μY2 .
Таким образом, случайную величину V можно представить в следующем виде:
m
m
i =l
i =1
V = ∑ X (i ) = ∑ Yi ,
при условии, что порог h = const для всей выборки Хi (1 ≤ i ≤ m) (например, h –
медиана плотности f ( x) ).
Для случайной величины V математическое ожидание
μV = mμY ;
(7)
дисперсия
σV2 = mσY2 ,
(8)
и в силу центральной предельной теоремы при достаточно больших значениях m
ее функция плотности распределения нормализуется ( V ∼ N (μV , σV2 ) ).
В случае, если число степеней свободы n – четное, для определения моментов
Y можно использовать представление интегралов для вычисления μY и M 2 в виде
конечного ряда {[3], формулы (3.381(3)) и (8.352(2))}:
- математическое ожидание Y
⎡ n 2 ( h 2 )k ⎤
−( h 2 )
2
μY = nσ e 2σ ⎢1 + ∑ 2σ ⎥ ,
⎢⎣ k =1
k ! ⎥⎦
- 2-й начальный момент Y
⎡ n 2 +1 ( h 2 ) k ⎤
n ⎞ 4 − ( h 2σ 2 ) ⎢
⎛
2σ ⎥ ,
1+ ∑
M 2 = 2n ⎜ + 1 ⎟ σ e
⎢
k! ⎥
⎝2 ⎠
k =1
⎢⎣
⎥⎦
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Статистические свойства суммы членов усеченного вариационного ряда
127
- дисперсия Y
σY2 = M 2 − μY2 .
m
3) W = ∑ X (i ) , при условии, что порог k = const. В дальнейшем будем назыi=k
вать статистику W – усеченная порядковая статистика (УПС), а параметр k – порог отсечения.
В работе [4] приведены выражения для вычисления моментов порядковых статистик. Для случайной величины, описываемой формулами (1) и (6), т.е. плотностью распределения f ( x) и функцией распределения K n ( x) , формулы для определения μ j , σ2j и σ jk приобретают следующий вид:
∞
μj =
σ 2j =
σ jk
m!
⎡
⎤
K n ( x 2 ) j −1 ⎢1 − K n ( x 2 ) ⎥
σ
σ ⎦
( j − 1)!(m − j )! ∫0
⎣
∞
m!
⎡
⎤
K n ( x 2 ) j −1 ⎢1 − K n ( x 2 ) ⎥
∫
σ
σ ⎦
( j − 1)!(m − j )! 0
⎣
m− j
m− j
x f ( x) dx ,
(x −μj )
2
f ( x) dx ,
(9)
∞⎡y
⎤
m!
= E ⎣⎡ X ( j ) X ( k ) ⎦⎤ =
C
(
x
,
y
)
x
y
f
(
x
)
f
(
y
)
dx
⎢
⎥dy ,
(m − k )!(k − j − 1)!( j − 1)! ∫0 ⎢⎣ ∫0
⎥⎦
k − j −1
⎡
⎤
⎡
⎤
y
) j −1 ⎢ K n ( y 2 ) − K n ( x 2 ) ⎥
⎢1 − K n ( σ2 ) ⎥
σ2
σ
σ
⎣
⎦
⎣
⎦
Для случайной величины W математическое ожидание
где C ( x, y ) = K n ( x
m−k
.
m
μW (l ) = ∑ μ j для 1 ≤ l ≤ m,
(10)
j =l
а дисперсия с учетом зависимости случайных величин X (i ) [5]
m
2
σW
(l ) = ∑ σk2 + 2
k =l
∑
l ≤ j <k ≤ m
σ jk для 1 ≤ l ≤ m,
(11)
и в силу центральной предельной теоремы при достаточно больших значениях m
2
ее функция плотности распределения также нормализуется – W ∼ N (μW , σW
).
2. Моделирование
Аналитические исследования статистических свойств случайной величины W
очень сложны, и поэтому большинство последующих результатов получены на
ПК с использованием символьного программирования в среде MATLAB.
На рис. 2 приведены рассчитанные по формулам (7), (8), (10) и (11) зависимости математических ожиданий μV (h) , μW (l ) и с.к.о. σV (h) , σW (l ) от порога при
следующих значениях параметров: n = 8, m = 12, σ = 1 .
Для случайной величины V порог h ≥ 0 , для W – порог l дискретный, 1 ≤ l ≤ m,
и для удобства сравнения моментов случайных величин V и W на оси абсцисс для
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
И.М. Рудько
128
УПС W отложены дискретные значения порога
μ
⎛ μ − μl −1 ⎞
h1 = 1 , hl = μl −1 + ⎜ l
⎟,
2
2
⎝
⎠
где μl – рассчитанные по формуле (9) значения математических ожиданий
2 ≤ l ≤ m. Из графиков видно, что μV ≈ μW , σV (h) имеет максимум, приблизительно совпадающий с максимумом плотности распределения f ( x) величины X, а
σW (l ) монотонно убывающая функция, причем μV (0) = μW (1) = μ Z = nm и
σV (0) = σW (1) = σ Z = 2nm .
n = 8, m = 12, σ = 1
100
μV
σV
μW
σW
80
60
40
20
0
8
4
12
h
Рис. 2. Зависимости математических ожиданий μV (h) , μW (l )
и с.к.о. σV (h) , σW (l ) от порога для случайных величин V и W
Сравним между собой статистические свойства случайных величин V и W.
Случайная величина
m
W = ∑ X (i ) ,
(12)
i=k
где X (i ) (1 ≤ i ≤ m), а k = const.
Случайная величина
m
V = ∑ X (i ) ,
(13)
i =l
где l такая, что X (l −1) ≤ h <X (l ) .
Еще раз отмечаем, что l – случайная величина, зависящая от порядковых статистик выборки, и единственным отличием УПС V и W является то, что число
членов в сумме (12) k = const, а в сумме (13) l определяется из условия X(l-1) < h ≤
X(l), где h = const.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Статистические свойства суммы членов усеченного вариационного ряда
129
На рис. 3 приведены рассчитанные по формулам (2), (3), (7), (8), (10) и (11)
плотности распределения случайных величин Z , V и W (рассчитанные при следующих значениях параметров: n = 8, m = 100, порог отсечения k = 51; медиана
порядковой статистики Х(i) (1 ≤ i ≤ m), h = 7,344 – медиана χ2-распределения с 8
степенями свободы) и гистограммы этих плотностей, полученные на моделях.
(Размеры массивов для построения гистограмм – 5000). Наблюдается достаточно
близкое совпадение между теоретическими и модельными результатами.
n = 8, m = 100
Zteor
Vteor
Wteor
Z
W
V
0,016
0,012
0,008
0,004
0
200
400
600
800
1000
1200
Рис. 3. Плотности распределения и гистограммы
случайных величин Z , V и W
В системах обнаружения, использующих энергетический критерий обнаружения [1], применение статистик W может позволить увеличить вероятность обнаружения слабых сигналов. Ниже в качестве иллюстрации приведены заимствованные из этой работы результаты математического моделирования двух систем
обнаружения:
Робн
- однопороговой системы обнаружения сигнала (традиционной),
0,8
реализующей алгоритм обнаружения, основанный на статистике Z 0,6
(алгоритм-1),
2
- двухпороговой системы обна0,4
ружения сигнала, реализующей ал1
горитм обнаружения, основанный на
0,2
статистике W (алгоритм-2).
На рис. 4 приведены графики
оценок вероятности обнаружения
1
1,05
1,1
σ
Pобн = f (σс+ш ) как функции от с.к.о.
Рис. 4. Вероятности обнаружения
смеси сигнала и шума σс+ш (при усPобн = f (σс+ш ) для алгоритма-1 (кр. 1)
ловии, что с.к.о. шума σш = 1 ) для
и алгоритма-2 (кр. 2)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
130
И.М. Рудько
W
Z
статистики Z – Pобн
(кр. 1) (алгоритм-1) и для статистики W – Pобн
(кр. 2) (алгоритм-2), рассчитанные при следующих параметрах модели: n = 8, m = 100, порог
отсечения k = 51 и Pлт = 0,05 по выборке размером – 10000.
В работе [6] результаты работы [2] обобщены на случай неизвестной дисперсии сигнала и дано обоснование выбора порога отсечения для этого случая.
Заключение
В данной работе получены аналитические выражения математических ожиданий и дисперсий для усеченных порядковых статистик. Показано, что фиксированный порог отсечения в УПС обеспечивает меньшую дисперсию, чем порог
отсечения, определенный фиксированным квантилем исходной статистики, и
меньшую, чем дисперсия исходной статистики. Приводятся результаты моделирования.
ЛИТЕРАТУРА
1. Левин Б.Р. Теоретические основы статистической радиотехники. Т. 2. М.: Сов. радио,
1968. 504 с.
2. Рудько И.М. Исследование методами математического моделирования двухпороговой
системы обнаружения сигналов // Информационные технологии и математическое моделирование. Материалы VIII Всероссийской научно-практической конференции с международным участием. Томск: Изд-во Том. ун-та, 2009. Ч. 1. С. 82−86.
3. Градштейн И.С., Рыжик И.М. Таблицы интегралов, сумм, рядов и произведений. М.:
Наука, 1971. 1108 с.
4. Дэйвид Г. Порядковые статистики. М.: Наука, 1979. 336 с.
5. Левин Б.Р. Теоретические основы статистической радиотехники. Т. 1. М.: Сов. радио,
1969. 752 с.
6. Рудько И.М. Применение порядковых статистик в задачах обнаружения // IX Международная конференция «Идентификация систем и задачи управления» SICPRO'12, Москва,
30 января – 2 февраля 2012, С. 1101−1116.
Рудько Игорь Михайлович
Институт проблем управления им. В.А. Трапезникова РАН
E-mail: igor-rudko@mail.ru
Поступила в редакцию 2 мая 2012 г.
Rudko Igor M. (Institute of Control Sciences of RAS, Moscow). Statistical characteristics to
sum of terms of truncated variational series.
Keywords: order statistics, moments of random quantity, detection systems, mathematical modeling.
The concept of truncated order statistic is introduced. Analytical expressions for the mean
value and the variance of truncated order statistic are derived for the two version of a threshold:
for a threshold determined by the distribution function quantile and for a threshold determined by
the number of member of the variational series.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 512.2
В.А. Симахин, О.С. Черепанов
АДАПТИВНЫЕ ОЦЕНКИ ПАРАМЕТРА СДВИГА
На основе взвешенного метода максимального правдоподобия синтезированы и исследованы адаптивные оценки параметра сдвига.
Ключевые слова: адаптивные оценки, робастность, непараметрический
алгоритм.
В настоящее время нет недостатка в робастных оценках параметра сдвига, что
создает даже некоторое неудобство для пользователей (см., например, [1−6]). Как
правило, такие оценки робастны на классе распределений и имеют низкую эффективность в отсутствии выбросов и на ряде распределений супермодели. Как выход
были предложены адаптивные оценки. В рамках параметрической робастной статистики используется адаптация по параметру усечения, но не по виду распределения F(x) [4, 5]. В рамках непараметрической задачи [6] предложена адаптация
по виду распределения F(x), но функция и параметр усечения подбираются эвристически. Становится понятным, что эффективные оценки в условиях непараметрической статистической неопределенности должны быть адаптивными как по
виду априорного распределения (непараметрический подход), так и по отбраковке
выбросов (робастный подход).
В работе на основе взвешенного метода максимального правдоподобия
(ВММП) [7, 8] рассматриваются адаптивные робастные непараметрические оценки на примере параметра сдвига.
1. Взвешенный метод максимального правдоподобия (ВММП)
Пусть x1 ,..., xN – выборка н.о.р. из непрерывного распределения F ( x) с плотностью f ( x) . Обозначим: G ( x, θ) , g ( x, θ) – априорные функцию и плотность
распределения из класса унимодальных симметричных распределений; θ – неизвестный параметр; FN ( x) – эмпирическую функцию распределения (э.ф.р.).
М-оценки неизвестного параметра θ определяются на основе решения эмпирического уравнения вида
∫ ϕ( x, θ N )dFN ( x) = 0 ,
(1.1)
где ϕ( x, θ) – оценочная функция.
Анализ критерия радикальности и алгоритмов устойчивых оценок [3] позволяет сделать вывод, что устойчивые оценки можно синтезировать на основе ВММП
[7] с оценочной функцией ϕ( x, θ) вида
∂
ϕ( x, θ) = ⎡⎢ ln g ( x, θ) + β ⎤⎥ g l ( x, θ) ,
(1.2)
⎣ ∂θ
⎦
где l – параметр радикальности оценки, β – параметр, который определяется из
условия несмещенности оценки, для параметра сдвига β = 0 [7].
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Симахин, О.С. Черепанов
132
Выражение (1.2) определяет ВММП с весами g l ( x, θ) : при l = 0 получаем
оценки максимального правдоподобия (ОМП), при l = 0,5 – радикальные оценки
(РО), при l = 1 – оценки максимальной устойчивости (ОМУ) [3]. Физически роль
параметра l сводится к определению степени «мягкого» усечения, как для удаленных выбросов, так и по форме априорного распределения.
Для модели Тьюки F ( x) = (1 − ε)G ( x, θ) + ε ⋅ H ( x, θ) получаем взвешенную
ОМП с весами
−1
W ( x, θ) =
(1 − ε) g ( x, θ) ⎛
ε ⋅ h( x, θ) ⎞
= ⎜1 +
⎟ .
f ( x)
⎝ (1 − ε) g ( x, θ) ⎠
Если параметр радикальности l определить в виде
ln f ( x) ⎤
⎡
l = ⎢(1 − ε) −
,
ln g ( x, θ) ⎥⎦
⎣
то оценки ВММП вида (1.2) будут совпадать с ОМП. Как правило, H ( x, θ) и ε
неизвестны и в результате весовые функции W ( x, θ) невозможно определить.
В то же время оптимальная оценка зависит только от интегрального параметра
радикальности l. Следовательно, производя адаптацию оценок (1.2) по параметру
радикальности, можно получать эффективные робастные оценки ВММП в классе
устойчивых оценок [3].
2. Исследование оценки сдвига ВММП
Рассмотрим обобщенную М-оценку θ N параметра θ , которая определяется на
основе решения эмпирического уравнения вида [7], [11]
∫ ϕ( x, θ N , TN ( x, θ N )dFN ( x) = 0 ,
где T = (T1 ,..., Tk )T ; Ti = ∫ Si ( x, t , θ)dF (t ) ; TiN = ∫ Si ( x, t , θ)dFN (t ) .
Имеет место следующее представление
−1
∂
θ N − θ = ⎡⎢ ∫ ϕ( x, θ, T )dF ( x) ⎤⎥ ⋅ ∫ ψ (t , θ)dF (t ) ,
⎣ ∂θ
⎦
k
ψ (t , θ) = ϕ(t , θ, T (t , θ)) + ∑ ∫ Si ( x, t , θ)
i =1
∂
ϕ(t , θ, T (t , θ))dF ( x) .
∂Ti
При выполнении ряда ограничений N (θ N − θ) имеет асимптотически нормальное распределение с дисперсией
−2
∂
(2.1)
σ2 = ⎡⎢ ∫ ϕ( x, θ, T )dF ( x) ⎤⎥ ⋅ ∫ ψ 2 (t , θ)dF (t ) .
⎣ ∂θ
⎦
В параметрическом случае (1.2) ( Si = 0 )
∂
ϕ( x, θ) = ⎡⎢ g ( x, θ) ⎤⎥ g l −1 ( x, θ) .
(2.2)
⎣ ∂θ
⎦
Выражения (2.1), (2.2) определяют дисперсию параметрического ВММП
(классические М-оценки) и при l = 0 (2.1) совпадают с выражением для дисперсии
ОМП, а при l = 1 ОМУ [3].
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Адаптивные оценки параметра сдвига
133
Для непараметрического ВММП, который будет рассмотрен ниже, для оценки
сдвига получаем
ϕ( x, θ, T1 , T2 ) = T1 ( x, θ) ⋅ T2l −1 ( x, θ) ,
1 ⎛ 2θ − x − t ⎞
∂
S1 ( x, t , θ) .
K⎜
⎟ , S2 ( x, t , θ) =
hN ⎝ hN
∂θ
⎠
В этом случае выражение (2.1) определяет дисперсию непараметрической
оценки ВММП в зависимости от l.
Исследуем поведение дисперсии оценок ВММП параметра сдвига для параметрической задачи. В качестве супермодели возьмем модель Тьюки
F ( x) = (1 − ε)G ( x, θ) + ε ⋅ H ( x, θ) на конечном наборе распределений, имеющих
разную степень «тяжести хвостов»: четвертой степени (РЧС), нормального, Лапласа, Коши для асимметричных (АВ) и симметричных (СВ) выбросов [11]. Например, для нормального распределения
S1 ( x, t , θ) =
x2
( x − 5)2
−
−
1 ⎛⎜
f ( x) =
0,9e 2 + 0,1e 2
2π ⎜
⎝
x2
x2
−
−
1 ⎛⎜
0,1
f ( x) =
e 18
0,9e 2 +
3
2π ⎜
⎝
⎞
⎟ для АВ;
⎟
⎠
(2.3)
⎞
⎟ для СВ.
⎟
⎠
(2.4)
Для данных распределений были синтезированы оценки ВММП [11]. В выражение (2.1) подставлялись соответствующие распределения типа (2.3), (2.4), вычислялись дисперсии оценок для данных распределений и проводилось сравнение
полученных оценок. В связи с ограниченным объемом работы приведем ряд результатов для распределений (2.3) , (2.4), которые являются типичными и для других распределений.
Для нормального распределения g ( x, μ, λ) оценка параметра сдвига принимает следующий вид:
l
∫ ( x − μ) g ( x, μ, s)dFN ( x) = 0 .
(2.5)
Дисперсия данной оценки
σ2 =
∫x
2
g 2l ( x, 0, s )dF ( x)
⎛ ⎛ x2
⎞ l
⎞
⎜ ∫ ⎜ l 2 − 1⎟ g ( x, 0, s )dF ( x) ⎟
⎝ ⎝ s
⎠
⎠
2
.
1. Исследовалась зависимость от l дисперсии оценки (2.5) при ε=0 (см. табл. 1)
Таблица 1
Эффективность оценки (2.5) при ε = 0
Оценка
ОМП
РО (l = 0.5)
ОМУ (l = 1)
Дисперсия (кривая 1 на рис. 1, 2)
Эффективность
1
1
1,193
0,832
1,54
0,649
С ростом устойчивости оценки её эффективность снижается.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Симахин, О.С. Черепанов
134
2. Исследовалась зависимость от l дисперсий оценок ВММП (см. табл. 3, 4;
рис. 1, 2) на распределениях (2.3), (2.4).
6
6
4
4
4
3
4
3
5
5
2
2
2
2
1
1
0
0,2
0,4
0,6
0,8
Рис. 1. График дисперсий оценок от l
на распределении (2.3)
l
0
0,2
0,4
0,6
0,8
l
Рис. 2. График дисперсий оценок от l
на распределение (2.4)
На рис. 1, 2: 1 – оценка ВММП для НР ε = 0; 2 – оценка ВММП для НР; 3 –
оценка ВММП для Лапласа; 4 – оценка ВММП для Коши; 5 – оценка ВММП для
РЧС.
Таблица 2
Эффективности оценок на распределении (2.3)
Оценка
Параметр
Оптимальный параметр
радикальности
Дисперсия
Эффективность
НР (2.5)
Лапласа
Коши
РЧС
0,303
0
0
0,481
1,303
1
1,939
0,672
3,402
0,383
1,376
0,947
Таблица 3
Эффективность оценок на распределении (2.4)
Параметр
Оптимальный параметр
радикальности
Дисперсия
Эффективность
Оценка
НР (2.5)
Лапласа
Коши
РЧС
0,191
0
0
0,532
1,273
1
1,803
0,706
3,402
0,474
1,502
0,848
Эффективными оказываются взвешенные ОМП (оценки ВММП). Результат
ожидаемый, но не очевидный.
3. Исследовалась зависимость от l дисперсии оценки (2.5) (см. табл. 4, 5) на
распределениях (2.3), (2.4).
Дисперсия оценки (2.5) имеет выраженный минимум по l, поэтому находилось
оптимальное l ∗ – в результате получаем адаптивные оценки (АО).
Лидируют адаптивные оценки (АО). Высока эффективность радикальных оценок (РО). ОМУ имеют низкую эффективность. ОМП имеют низкую, особенно при
АВ, или нулевую эффективность.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Адаптивные оценки параметра сдвига
135
Таблица 4
Эффективность оценки (2.5) на распределении (2.3)
Параметр
Дисперсия
Эффективность
Оценка
ОМП
3,5
0.372
АО
1,303
1
РО
1,364
0,955
ОМУ
1,72
0,758
Таблица 5
Эффективность оценки (2.5) на распределении (2.4)
Параметр
Дисперсия
Эффективность
Оценка
ОМП
1,8
0,707
АО
1,273
1
РО
1,4
0,909
ОМУ
1,782
0,714
3. Адаптивные оценки ВММП
При непараметрическом уровне априорной информации (вид g ( x, θ) неизвестен), заменим g ( x, θ) в (1.2) непараметрической симметризованной оценкой Розенблатта – Парзена g N ( x, θ) :
⎛ 2θ − x − t ⎞
1
(3.1)
K⎜
⎟ dFN (t ) .
∫
hN
⎝ hN
⎠
Например, для нормального ядра оценочные уравнения ВММП для оценки параметров сдвига θ и масштаба λ принимают следующий вид [7], [8]:
g N ( x, θ) =
N N
⎧
1
∑ ∑ (θ N − zij ) ⋅W1 ( zij ) = 0,
⎪
⎪ N ( N − 1) i =1≠ j =1
⎨
2
N N ⎡ θ −z
⎛ N
1
1 ⎤
ij ⎞
⎪
⎢
⎥ ⋅ W1 ( zij ) = 0,
⎟ −
⎪ N ( N − 1) ∑ ∑ ⎜ λ
⎢⎝
⎠ l + 1 ⎦⎥
N
i =1≠ j =1 ⎣
⎩
2
2
N
⎪⎧ (θ N − zij ) ⎪⎫ ⎡ 1
⎪⎧ (θ N − zim ) ⎪⎫⎤
−
W1 ( zij ) = exp ⎨−
exp
⎬⎢
⎬⎥
∑ ⎨⎪
λ 2N
λ 2N
⎪⎭⎦
⎪⎩
⎪⎭ ⎣ N − 1 i ≠ m =1
⎩
zij = ( xi + x j ) / 2 – полусуммы Уолша.
где
(3.2)
l −1
;
Непараметрический подход на основе оценок Розенблатта – Парзена вида (3.1)
позволяет осуществить адаптацию оценок ВММП по виду априорного распределения G ( x, θ) . Однако такая адаптация не приводит к робастным непараметрическим оценкам. Для этого необходимо осуществить адаптацию оценок (3.2) по параметру радикальности l, который осуществляет процесс «мягкого» усечения
уменьшая влияние как удаленных выбросов, так и выбросов, нарушающих форму
симметричного распределения. Для получения алгоритма адаптации необходим
непараметрический метод нахождения оценки дисперсии оценок вида (3.2) в зависимости от параметра радикальности l. К таким непараметрическим методам в
общем случае относятся бутстреп-процедуры. В нашем случае достаточно использовать простые бутстреп-процедуры типа «jackknife» и алгоритмы поиска
минимума по параметру радикальности l ( 0 ≤ l ≤ 1 ) оценки СКО непараметрического ВММП (3.2).
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
В.А. Симахин, О.С. Черепанов
136
4. Моделирование
Было проведено моделирование адаптивных оценок (3.2) и их сравнение с известными в робастной статистике оценками сдвига Ходжеса-Лемана и медианой
для распределений с «тяжелыми» – Коши и «легкими» хвостами – РЧС при ассиметричных и симметричных выбросах (N = 100). В табл. 6, 7 приведены результаты моделирования для этих случаев.
Лидируют параметрические адаптивные оценки ВММП, определенные в
пункте 2 (АО (2)). Им немного проигрывают адаптивные оценки ВММП, определенные в пункте 3 (АО (3.2)). Это можно объяснить тем, что оценки АО (2) используют более высокий уровень априорной информации и являются оптимальными на этом уровне, а оценки АО (3.2) являются только асимптотически оптимальными. Необходимо отметить низкую эффективность классических робастных
оценок Ходжеса-Лемана и медианы на ряде распределений.
Таблица 6
Эффективность оценок параметра сдвига на распределении Коши
с асимметричными выбросами
Параметр
Дисперсия
Эффективность
ОМП
0,0149
0,88590
Оценка
АО (3.2)
Медиана
0,0145
0,0200
0,91
0,6600
АО (п. 2)
0,0132
1,0000
Ходжеса – Лемана
0,0426
0,3099
Таблица 7
Эффективность оценок на распределении РЧП с асимметричными выбросами
Параметр
Дисперсия
Эффективность
ОМП
4,4959
0,3009
Оценка
АО (3.2)
Медиана
1,4304
4,8568
0,9379
0,2762
АО (п. 2)
1,3416
1,0000
Ходжеса – Лемана
1,7537
0,7650
Для оценки адаптивных непараметрических оценок типа (3.2) был воспроизведен эксперимент Берана [6] (N = 39+1 выброс из НР). На рис. 3 приведены оценка
СКО адаптивной (робастной непараметрической) (Jackknife) оценки ВММП с ассиметричным засорением в зависимости от параметра радикальности l ( 0 ≤ l ≤ 1 ).
1,7⋅10–3
3
1,4⋅10–3
2
1,1⋅10–3
0,8⋅10–3
0
1
0,2
0,4
0,6
0,8
l
Рис. 3. (N = 39+1 выброс) 1 – без выбросов;
2 – выброс = 5; 3 – выброс = 11
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Адаптивные оценки параметра сдвига
137
Заключение
Синтезированы адаптивные оценки параметра сдвига основе ВММП. Исследования показывают, что данные оценки сходятся к эффективным при разном
уровне априорной информации относительно исходного априорного распределения и выбросов. Имеются обобщения адаптивных оценок ВММП на задачи регрессии [9] и прогноза [10].
ЛИТЕРАТУРА
1. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. М.: Мир,
1989. 512 с.
2. Хьюбер П. Робастность в статистике. М.: Мир, 1984. 303 с.
3. Шурыгин А.М. Прикладная статистика. Робастность. Оценивание. Прогноз. М.: Финансы и статистика, 2000. 223 с.
4. Basu A., Harris I.R., Hjort N.L., Jones M.C. Robust and efficient estimation by minimising a
density power divergence // Biometrika. 1998. V. 85. P. 549−559.
5. Hogg V., Horn P.S., Lenth R.V. On adaptive estimation // J. Statistical Planning and Inference.
1984. V. 9. P. 333−1343.
6. Beran R. An efficient and robust adaptive estimator of location // Ann. Stat. 1978. V. 6. Nо. 2.
P. 292−313.
7. Симахин В.А. Непараметрическая статистика. Ч. II. Теория оценок. Курган: Изд-во
КГУ, 2004. 163 с.
8. Rymar I.V., Simakhin V.A. Nonparametric robust estimates of the shift and scale parameters //
Proc. SPIE. 2005. V. 6160. P. 230–239.
9. Simakhin V.A. Nonparametric robust regression estimate // Proceedings SPIE. 2006.
P. 130−139.
10. Simakhin V.A. Nonparametric robust prediction algorithms // Proc. International Symposium
on Stochastic Models in Reliability Engineering, Life Science and Operations management.
Beer Sheva, Israel, 2010. P. 1017−1030.
11. Симахин В.А. Робастные непараметрические оценки. LAMBERT Academic Publishing,
Germany, 2011. 292 с.
Симахин Валерий Ананьевич
Черепанов Олег Сергеевич
Курганский государственный университет
E-mail: sva_full@mail.ru, ocherepanov@inbox.ru
Поступила в редакцию 2 мая 2012 г.
Simakhin Valerii A., Cherepanov Oleg S. (Kurgan State University). Adaptive estimation of location parameter.
Keywords: Adaptive; robust; nonparametric; estimation.
There are proposed adaptive robust estimates of location parameter on the basis of weighted
maximum likelihood method. The effectiveness of the proposed estimates in the case of symmetrical and asymmetrical outliers is studied. The robust nonparametric estimates appeared to be are
effective and adaptive both to the kind of distribution and clogging sample degree.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
УДК 621.391:519.24
Д.О. Соколова, А.А. Спектор
НЕПАРАМЕТРИЧЕСКОЕ ОБНАРУЖЕНИЕ СТОХАСТИЧЕСКИХ
СИГНАЛОВ, ОСНОВАННОЕ НА ПЕРЕСЕЧЕНИЯХ С «НУЛЕМ»
Рассматривается задача обнаружения объектов в сейсмических системах охраны на основе счетчика пересечений сигналом нулевого уровня. Разработан
непараметрический алгоритм, выполнено определение его эффективности.
Ключевые слова: обнаружение сигналов, счетчик пересечений с «нулем».
Известен широкий класс информационных систем, функционирование которых включает обнаружение стохастического сигнала, наблюдаемого на фоне случайной помехи. Помехи могут возникать в устройстве, регистрирующем информационный сигнал (например, внутренний шум приемника), а также вызваны
действиями внешних источников (часто большого числа). Примерами таких систем являются обнаружители сигналов в гидролокации, радиотеплолокации, в системах передачи речевых сигналов, а также в сейсмических системах обнаружения.
На рис. 1 в качестве примера приведена запись сигнала, записанного на выходе
цифрового сейсмического датчика сейсмической системы охраны «Азимут» при
проезде мимо него автомобиля. Как видно из рисунка, при появлении сейсмоактивного объекта начинается нарастание энергии сигнала, а затем ее спад. Максимум интенсивности соответствует наименьшему удалению объекта от датчика.
Известны исследования, в которых обнаружение основано на энергетических
свойствах сигналов [1–3]. Обычно используются характерные особенности модуляции интенсивности сигнала, свойственные тому или иному типу сейсмоактивных объектов. При этом алгоритм обнаружения оказывается жестко привязанным
к типу объекта, что является не всегда удобным.
Представляется полезным исследование возможности применения иных, отличных от энергетических, характеристик сигналов, в поведении которых также
отражается присутствие полезных компонент, чья регистрация была бы менее зависимой от особенностей различных объектов. Среди различных типов характеристик особого интереса заслуживают такие, на основе которых можно построить
правила обнаружения, обладающие устойчивостью по отношению к параметрам
помехи. В этом случае облегчается разработка обнаружителя Неймана – Пирсона,
важным требованием к которому является стабилизация вероятности ложного обнаружения (ошибок первого рода).
Во многих случаях физическая природа полезного сигнала и помех содержит в
себе суммирование большого числа случайных процессов, вызванных действием
многих элементарных источников, а также наличием многих путей распространения сигналов в физических средах. Это приводит к гауссовским распределениям
сигналов, наблюдаемых на приемных апертурах. Обычно параметры этих физических явлений для помех и для полезных сигналов различаются, поэтому у наблюдаемых процессов различаются спектрально-корреляционные характеристики полезного сигнала и помехи, которые обычно неизвестны. Одно из проявлений
спектрально-корреляционных различий состоит в изменении количества пересе-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Непараметрическое обнаружение стохастических сигналов
139
чений случайным процессом нулевого уровня при смене помехи на входе приемно-регистрирующего устройства смесью сигнала и помехи. В данной работе изучаются характеристики обнаружения, основанного на регистрации «нулей» на
примере сейсмической системы обнаружения (ССО).
Рис. 1. Пример реализации сейсмосигнала
В состав ССО обычно входит большое количество сейсмических датчиков,
аналоговые сигналы которых после преобразования в цифровую форму поступают в вычислительное устройство, также входящее в состав ССО. Здесь выполняются все операции, обеспечивающие обнаружение сигналов, оценку координат
объекта-источника сигнала, его классификацию [1, 4 – 8]. Обнаружение сигнала
может выполняться путем совместной обработки сигналов группы датчиков, однако элементами такой интегрированной обработки могут служить локальные обнаружители, работающие на сигналах отдельных датчиков. Такие же локальные
обнаружители представляют интерес для многих других типов информационных
систем, в том числе упомянутых выше. Поэтому ниже рассматривается обнаружение скалярного гауссовского сигнала на основе анализа пересечений с «нулем».
1. Постановка задачи
Как отмечалось выше, сигналы, регистрируемые датчиками системы, представляют собой гауссовские процессы. Их спектрально-корреляционные свойства
позволяют использовать марковские модели, основанные на линейных механизмах предсказания. При обнаружении сейсмоактивных объектов, оценивании параметров и траекторий их движения в качестве первичной обработки в ряде исследований предлагается осуществлять адаптивную декорреляцию (выбеливание)
фонового сигнала [1, 5 – 6]. Обучение, выполняемое на участках, где присутствует только фоновый сигнал, сводится к измерению его корреляционной функции.
С ее помощью затем определяются коэффициенты предсказания, описывающие
линейный рекуррентный механизм порождения фона из белого шума. Эти же коэффициенты определяют и механизм выбеливания, при выполнении которого на
участках фона образуется белый гауссовский шум. На участках же, где имеется
смесь полезного сигнала и фона, составляющая полезного сигнала, также подвергнутая выбеливанию (но по параметрам модели фона) остается окрашенным
гауссовским процессом, сохраняющим индивидуальные особенности спектрально-корреляционных характеристик, свойственные тому или иному типу сейсмоактивного объекта.
На рис. 2 представлены примеры сейсмического фона и смеси полезной составляющей сигнала автомобиля и сейсмического фона соответственно. Предварительно было проведено «выбеливание» сигналов по параметрам фоновой помехи. Как видно из рисунка, на участках одинаковой длительности сигнал с полез-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
140
Д.О. Соколова, А.А. Спектор
ной составляющей, являясь окрашенным гауссовским процессом, пересекает нулевой уровень около 20 раз, в то время как аналогичный показатель для фоновой
составляющей в 2 раза выше. Это позволяет сделать предположение об использовании данного показателя в качестве признака при определении типа сигнала: фоновая помеха или полезный сигнал.
а
б
Рис. 2. Пример фоновой (а) и полезной (б) составляющих
сейсмического сигнала
Задача обнаружения полезного сигнала, наблюдаемого на неоднородном фоне,
в общем случае носит вероятностный характер. Для решения вопроса о наличии
сигнала можно принять правило: полезный сигнал отсутствует, если количество
пересечений превышает некоторое пороговое значение, и полезный сигнал присутствует в противоположном случае.
В рассматриваемой задаче обнаружения можно сформировать две гипотезы:
гипотеза H 0 – наблюдаемый сигнал xi , i = 1… I , длительностью I отсчетов
представляет собой сейсмический фон ξi ; и гипотеза H1 – наблюдаемый сигнал
xi , i = 1… I , длительностью I отсчетов складывается из полезного сигнала si и
сейсмического фона ξi , то есть
H 0 : xi = ξi ,
i = 1… I ,
H1 : xi = si + ξi , i = 1… I .
(1)
Рассмотрим участок выбеленного сигнала xi , i = 1… I , длительностью I отсчетов. Для каждой пары соседних отсчетов введем случайную величину νi равную единице, если в пределах этой пары сигнал xi пересекает уровень x = 0 (произведение xi xi +1 меньше нуля) и равную нулю, если такого пересечения не происходит:
1, xi xi +1 < 0,
νi = ν ( xi , xi +1 ) =
0, xi xi +1 ≥ 0.
{
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Непараметрическое обнаружение стохастических сигналов
141
Полученная случайная величина νi распределена по закону Бернулли и представляет собой индикатор пересечения. Общее число пересечений на интервале I
образует решающую статистику:
I
z = ∑ νi .
(3)
i =1
Как отмечалось ранее, при построении решающей статистики z используются
предварительно выбеленные сигналы, представляющие собой гауссовские процессы с нулевым средним значением. Так как математическое ожидание x анализируемого сигнала x равно нулю, то z инвариантно относительно преобразования масштаба, то есть z не зависит от дисперсии фона. При появлении в xi коррелированной компоненты число пересечений нулевого уровня уменьшается, что
может служить информацией о наличии полезного сигнала. Другими словами, если
на интервале I количество пересечений z сигналом нулевого уровня превышает
некоторый заранее определенный порог, то обнаружителем принимается решение
об отсутствии информационной составляющей в сигнале, регистрируемом датчиком; если же количество пересечений меньше указанного порогового значения –
принимается решение о наличии полезной составляющей. Исходя из вышесказанного, решающее правило обнаружителя можно записать в следующем виде:
H 0* : z ≥ z0 ,
H1* : z < z0 ,
(4)
где z0 – порог обнаружения, решение H 0* принимается, когда на интервале I
количество пересечений z сигналом нулевого уровня превышает порог; решение
H1* – количество пересечений z сигналом нулевого уровня меньше порога.
Необходимо отметить, что вследствие предварительного выбеливания сигнала,
при гипотезе H 0 (на участке помехи), предлагаемая процедура обнаружения (4)
обладает непараметрическим свойством: статистика счетчика нулей (3) не зависит
от исходных спектрально-корреляционных характеристик фона. Это позволяет
стабилизировать уровень вероятности ложного обнаружения, а следовательно,
облегчить разработку обнаружителя Неймана – Пирсона.
2. Анализ решающего правила
Как указывалось выше, в качестве предварительной обработки при предлагаемом подходе к обнаружению используется выбеливание наблюдаемого сигнала по
параметрам фоновой помехи. Так, в ходе операции предсказания отсчеты фоновой составляющей сигнала становятся независимыми. В случае же полезного сигнала, после процедуры выбеливания он содержит остаточную корреляцию отсчетов, то есть является гауссовским окрашенным процессом. Для анализа решающего правила (4) при гипотезах H 0 и H1 необходимо знать соответствующие им
распределения числа пересечений p ( z | H 0 ) и p ( z | H1 ) .
В случае гипотезы H 0 величины νi являются независимыми, и следовательно, статистика пересечений z , равная числу «успехов» ( νi = 1 ) в серии I независимых испытаний, имеет биномиальное распределение [9]. То есть для любого
z = 0… I вероятность p ( z | H 0 ) определяется следующим выражением:
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Д.О. Соколова, А.А. Спектор
142
p ( z | H0 ) =
I!
I
2 z !( I − z ) !
, z = 0… I ,
(5)
и, следовательно, вероятность ложного обнаружения F может быть определена
по формуле
F=
I!
2
I
z0
1
∑ z !( I − z )! .
(6)
z =0
При больших объемах выборки используем гауссовскую аппроксимацию [9]
w ( z | H0 ) =
2
⎛ (z − m
z| H 0 )
⎜
exp −
⎜
2 Dz| H 0
⎝
1
2πDz| H 0
⎞
⎟,
⎟
⎠
(7)
где mz| H 0 – математическое ожидание, Dz| H 0 – дисперсия числа пересечений на
интервале I при гипотезе H 0 . Тогда вероятность ложной тревоги
z0
F=
⎛ z0 − m z | H ⎞
0
⎟,
⎟
D
z| H 0 ⎠
⎝
∫ w( z | H 0 )dz = Ф ⎜⎜
−∞
(8)
где Ф ( ⋅) – интеграл Лапласа. Параметры mz| H 0 и Dz| H 0 распределения (7) рассчитываются как первый начальный и второй центральный моменты соответственно
и при заданном значении I определяются выражениями
I
I
mz| H 0 = , Dz| H 0 = .
(9)
2
4
При гипотезе H1 , по аналогии с гипотезой об отсутствии в наблюдаемой смеси полезной составляющей, для определения p ( z | H1 ) использовалась гауссовская аппроксимация распределения
⎛ ( z − m )2 ⎞
z | H1
⎟.
w ( z | H1 ) =
(10)
exp ⎜ −
⎜
2 Dz| H1 ⎟
2πDz| H1
⎝
⎠
Математическое ожидание числа пересечений сигналом нулевого уровня
mz| H1 рассчитывается как
1
mz| H1 = 2 ( I − 1)
0 ∞
∫ ∫ w ( xi , xi +1 ) dxi dxi +1 ,
−∞ 0
а дисперсия Dz| H1 определяется согласно выражениям
Dz| H1 = mz 2 | H − mz2| H1 ,
1
I
I
mz 2 | H = ∑∑ νi ν j ,
1
i =1 j =1
0 ∞ 0 ∞
νi ν j =
∫ ∫ ∫ ∫ w( xi , xi +1 , x j , x j +1 )dxi dxi +1dx j dx j +1 ,
−∞ 0 −∞ 0
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Непараметрическое обнаружение стохастических сигналов
143
где νi ν j – корреляция между i -м и j -м индикаторами пересечений, определяемая степенью связи между разнесенными на расстояние i − j парами отсчетов выбеленного сигнала x . Так как наблюдаемый сигнал xi , i = 1… I , представляет собой гауссовский шум, его двумерная и четырехмерная плотности распределения
вероятности w ( xi , xi +1 ) и w( xi , xi +1 , x j , x j +1 ) определяются выражением
1
w( X ) =
где X = xi , xi +1
T
2
( 2π ) K
12
1
exp ⎛⎜ − X T K −1 X ⎞⎟ ,
⎝ 2
⎠
или X = xi , xi +1 , x j , x j +1
T
, соответственно; K – корреляцион-
ная матрица, элементы которой определяются корреляционной функцией
Rx ( τ ) = x(t ) x(t − τ) информационной (полезной) составляющей сигнала
xi , i = 1… I :
⎛ R ( 0 ) Rx (1) ⎞
K = XX T = ⎜ x
⎟
⎝ Rx (1) Rx ( 0 ) ⎠
Rx (1)
Rx ( i − j )
Rx ( i − j − 1) ⎞
⎛ Rx ( 0 )
⎜
Rx (1)
Rx ( 0 )
Rx ( i − j + 1)
Rx ( i − j ) ⎟
K = XX T = ⎜
⎟.
Rx ( i − j + 1)
Rx ( 0 )
Rx (1) ⎟
⎜ Rx ( i − j )
⎜ R ( i − j − 1)
Rx ( i − j )
Rx (1)
Rx ( 0 ) ⎟⎠
⎝ x
Вероятность правильного обнаружения определяется выражением
z0
D=
⎛ z0 − m z | H
1
⎜
(
|
)
=
w
z
H
dz
Ф
1
∫
⎜ D
z | H1
−∞
⎝
⎞
⎟.
⎟
⎠
(11)
Сейсмический сигнал с заданным отношением сигнал/шум (ОСШ) xi|q можно
описать при помощи модели
xi|q = qsi + ni , i = 1… I ,
где si – информационный сигнал, ni – помеха с единичной дисперсией и нулевым средним, q – ОСШ. Тогда корреляционная функция такого сигнала
Rx ( τ )
где Rx ( τ )
q
q
= q 2 Rs ( τ ) + N ( τ ) .
, Rs ( τ ) = s (t ) s (t − τ) , N ( τ ) = n(t )n(t − τ) – корреляционные функции
сигнала с заданным ОСШ, полезного сигнала при отсутствии помехи и белого
шума соответственно.
3. Результаты исследования
Исследование предложенного алгоритма проводилось для сигналов, регистрируемых чувствительными датчиками сейсмической системы охраны «Азимут».
Длительность представленного на рис. 1 сигнала составляет 25000 отсчетов, что
соответствует 42 с времени наблюдения. Обнаружение выполняется на интервале длительностью I = 5000 отсчетов. В соответствии с (9) имеем
mz| H 0 = 2500 , Dz| H 0 = 1250 .
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Д.О. Соколова, А.А. Спектор
144
Как отмечалось выше, в случае, когда на входе обнаружителя действует сигнал
сейсмического фона (гипотеза H 0 ), предложенный алгоритм обнаружения обладает непараметрическим свойством: статистика количества пересечений нуля не
зависит от параметров исходного фона. Вследствие этого, уровень вероятности
ложной тревоги является фиксированной величиной. Соответствие между заданной вероятностью ложной тревоги и порогом для решающего правила, рассчитанным с использованием выражения (8), отражено в таблице.
Соответствие между вероятностью ложной тревоги и порогом
Вероятность ложной тревоги F
10−2
10−3
10−4
10−5
10−6
10−7
Порог z0
2418
2391
2369
2349
2332
2316
Для оценки условий, при которых обнаружение становится возможным, на
рис. 3 приведена зависимость среднего значения (сплошная линия) числа пересечений от ОСШ (штриховыми линиями ограничен интервал ±3 Dz| H 0 ). Также на
рисунке выделена область, ограниченная пороговыми значениями z0 = 2418 и
z0 = 2316 , обеспечивающих вероятности ложной тревоги F = 10−2 и F = 10−7 ,
соответственно (см. таблицу). На рис. 3 можно выделить три характерные области: 1) q < 0, 05 – среднее значение числа пересечений больше порогового значения, обнаружения не происходит; 2) 0, 05 ≤ q ≤ 0, 2 – среднее значение числа пересечений лежит в области, ограниченной порогами z0 = 2316 и z0 = 2418 , обнаружение возможно, вероятность ложных срабатываний 10−7 ≤ F ≤ 10−2 ; 3) q > 0, 2
– среднее число пересечений меньше порога z0 = 2316 , область устойчивого обнаружения с вероятностью ложных срабатываний не выше 10−7 .
Рис. 3. Зависимость среднего значения числа пересечений от ОСШ
На рис. 4 приведено семейство характеристик обнаружения построенных для
различных уровней вероятности ложной тревоги (см. таблицу). Из рисунка видно,
что вероятность правильного обнаружения 0,9 − 0,95 достигается при достаточно
низких требованиях к величине ОСШ входного сигнала ( q = 0,1...0, 2 , в зависимости от допустимого значения вероятности ложных тревог). В целом, полученные
результаты свидетельствуют о возможности использования предложенного мето-
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Непараметрическое обнаружение стохастических сигналов
145
да в ССО, поскольку доля правильных решений отвечает требованиям, реально
предъявляемым к этим системам.
Рис. 4. Характеристики обнаружения
На рис. 5 приведена запись сигнала, регистрируемого датчиком системы при
проезде мимо него автомобиля. Также сплошной линией обозначено число пересечений этим сигналом нулевого уровня, определенное на интервале I = 5000
(подсчет числа пересечений осуществлялся скользящим окном). Выделенная на
рисунке область – область значений порога, обеспечивающего вероятность ложной тревоги в пределах 10−2 − 10−7 (см. таблицу). Как видно из рисунка, по мере
приближения автомобиля к датчику (нарастание интенсивности сигнала), количество пересечений уменьшается, что позволяет обнаружить объект. При удалении
автомобиля от датчика, интенсивность регистрируемого сигнала резко падает, и
дальнейшее обнаружение объекта по энергетическому признаку становится
невозможным, при этом спектрально-корреляционные свойства полезного сигнала сохраняются еще на какое-то время. Следовательно, использование счетчика
пересечений с «нулем» позволяет обнаружить сигнал даже при низком уровне
сигнала.
Рис. 5. Пример сигнала автомобиля
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
146
Д.О. Соколова, А.А. Спектор
Заключение
Данная публикация представляет собой один из подходов, дающих возможность решения задачи обнаружения при анализе сейсмической обстановки в реальном масштабе времени. Полученные здесь результаты показывают, что использование количества пересечений сигналом нулевого уровня в качестве признака позволяет получить характеристики обнаружения, приемлемые для практического использования.
ЛИТЕРАТУРА
1. Райфельд М.А., Спектор А.А. Обнаружение сигналов движущегося человека в сейсмической системе наблюдения // Автометрия. 2005. № 6. С. 88–97.
2. Succi G., Prado G., Gampert R., Pedersen T. Problems in seismic detection and tracking //
Unattended Ground Sensor Technologies and Applications II. Proc. SPIE. 2000. V. 4040.
P. 165–173.
3. Gramann R.A., Bennett M.B., OBrien T.D. Vehicle and personnel detection using seismic sensors // Part of the SPIE Conference on Sensors. C31. Information, and Training Technologies
for Law Enforcement. Boston. Massachusetts. 1998. V. 3577. P. 74–85.
4. Магауенов Р.Г. Системы охранной сигнализации: основы теории и принципы построения. М.: Горячая линия – Телеком, 2008. 496 с.
5. Мархакшинов А.Л., Спектор А.А. Оценивание локальных характеристик движения объекта в сейсмической системе охраны // Автометрия. 2009. № 5. С. 48–53.
6. Спектор А.А., Филатова С.Г. Оценка временного положения импульсов в сейсмических
системах наблюдения на основе марковской фильтрации // Автометрия. 2008. № 4.
С. 68−74.
7. Митрохин М.А., Чистова Г.К. Алгоритм классификации техники по сейсмическому
сигналу // Современные охранные технологии и средства обеспечения комплексной
безопасности объектов: Материалы VII Всероссийской научно-технической конференции. Пенза, 2008. С. 151–153.
8. Liang Z., Wei J., Zhao J., Shen J. The statistical meaning of kurtosis and its new application to
identification of persons based on seismic signals // Sensors. 2008. No. 8. P. 5106–5119.
9. Ширяев А.Н. Вероятность. М.: Наука, 1980. 574 с.
Соколова Дарья Олеговна
Спектор Александр Аншелевич
Новосибирский государственный технический университет
E-mail: sokolovado@gmail.com; spectoraa@mail.ru
Поступила в редакцию 3 мая 2012 г.
Sokolova Darya O., Spector Alexander A. (Novosibirsk State Technical University). The nonparametric detection of stochastic signals based on zero level crossing.
Keywords: signal detection, counter of zero level crossing.
The problem of object detection is solved by its seismic signal analyzing. The seismic signal
is obtained with the seismic guard system. The statistical approach is used. Counter of zero level
crossing is used as attribute vector. Detection procedure is created; investigation of its efficiency
is performed. The obtained results showed the possibility of real time operating with acceptable
quality index for practical use.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 1(22)
СВЕДЕНИЯ ОБ АВТОРАХ
АГАФОНОВ Евгений Дмитриевич − кандидат технических наук, доцент кафедры топливообеспечения и горюче-смазочных материалов Института нефти и газа Сибирского федерального университета (г. Красноярск). E-mail: agafonov@gmx.de
АНДРЕА Клитон − аспирант кафедры прикладной математики физико-механического факультета Санкт-Петербургского государственного политехнического университета. E-mail:
kliton.andrea@gmail.com
ВААЛЬ Вадим Александрович − кандидат физико-математических наук, доцент кафедры
теоретической кибернетики Томского государственного университета. E-mail: rcew2000@
mail.ru
ВЕКСЛЕР Альберт − доктор PhD, associate professor факультета биостатистики университета Баффало (шт. Нью Йорк, США). E-mail: avexler@buffalo.edu
ВЕТОХИН Сергей Сергеевич − доцент, кандидат физико-математических наук, заведующий кафедрой физико-химических методов сертификации продукции Белорусского государственного технологического университета (Беларусь, г. Минск). E-mail: serega49@ mail.ru
ВОЛКОВА Светлана Сергеевна − студентка Института информатики и телекоммуникаций Сибирского государственного аэрокосмического университета имени академика
М.Ф. Решетнёва (г. Красноярск). E-mail: sv-vol@yandex.ru
ГОРБУНОВА Алиса Александровна − аспирантка кафедры прикладной математики
Новосибирского государственного технического университета. E-mail: gorbunova.alisa@
gmail.com
ГУБАРЕВ Василий Васильевич − доктор технических наук, профессор, зав. кафедрой
вычислительной техники Новосибирского государственного технического университета,
заслуженный деятель науки РФ, заслуженный работник высшей школы РФ, заслуженный
работник НГТУ. E-mail: gubarev@vt.cs.nstu.ru
ДЕМИН Виктор Андреевич − магистрант факультета прикладной математики и информатики Новосибирского государственного технического университета. E-mail: vicdemin@
gmail.com
ЗАГОРУЙКО Николай Григорьевич – профессор, доктор технических наук, профессор
кафедры общей информатики Новосибирского государственного университета, заведующий лабораторией анализа данных Института математики им. С.Л. Соболева СО РАН
(г. Новосибирск). E-mail: zag@math.nsc.ru
КОРНЕЕВА Анна Анатольевна − аспирантка кафедры информационных систем Института космических и информационных технологий Сибирского федерального университета
(г. Красноярск). E-mail: anna.korneeva.90@mail.ru
КОШКИН Геннадий Михайлович – профессор, доктор физико-математических наук,
профессор кафедры теоретической кибернетики Томского государственного университета.
E-mail: kgm@mail.tsu.ru
КУТНЕНКО Ольга Андреевна – доцент, кандидат технических наук, доцент кафедры
дискретного анализа и исследования операций Новосибирского государственного университета, старший научный сотрудник лаборатории анализа данных Института математики
им. С.Л. Соболева СО РАН (г. Новосибирск). E-mail: olga@math.nsc.ru
ЛЕМЕШКО Борис Юрьевич − профессор, доктор технических наук, декан факультета
прикладной математики и информатики, профессор кафедры прикладной математики Новосибирского государственного технического университета. E-mail: Lemeshko@fpm.ami. nstu.ru
ЛЕМЕШКО Станислав Борисович − кандидат технических наук, старший научный сотрудник кафедры прикладной математики Новосибирского государственного технического
университета. E-mail: skyer@mail.ru
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
148
Сведения об авторах
МАНГАЛОВА Екатерина Сергеевна − магистрантка института информатики и телекоммуникаций Сибирского государственного аэрокосмического университета им. акад.
М.Ф. Решетнева (г. Красноярск). E-mail: e.s.mangalova@hotmail.com
МЕДВЕДЕВ Александр Васильевич − профессор, доктор технических наук, заведующий
кафедрой системного анализа и исследования операций Сибирского аэрокосмического
университета им. акад. М.Ф. Решетнева (г. Красноярск). E-mail: Saor_medvedev@sibsau.ru
НИКИТЕНОК Виктор Иванович − доцент, кандидат технических наук, доцент кафедры
противовоздушной обороны военного факультета Белорусского государственного университета (Беларусь, г.Минск). E-mail: nikitsvi@bsu.by
ПОСТОВАЛОВ Сергей Николаевич − доцент, кандидат технических наук, докторант
кафедры прикладной математики Новосибирского государственного технического университета. E-mail: Postovalov@ngs.ru
ПУПКОВ Александр Николаевич − доцент, кандидат технических наук, заведующий кафедрой бизнес-информатики Института управления бизнес-процессами и экономики Сибирского федерального университета (г. Красноярск). E-mail: Pupkov_a@rambler.ru
РОГОЖНИКОВ Андрей Павлович − аспирант кафедры прикладной математики Новосибирского государственного технического университета. E-mail: rogozhnikov.andrey@
gmail.com
РУБАН Анатолий Иванович − доктор технических наук, профессор, заведующий кафедрой информатики Института космических и информационных технологий Сибирского федерального университета (г. Красноярск). E-mail: rouban@mail.ru
РУДЬКО Игорь Михайлович – кандидат технических наук, старший научный сотрудник
лаборатории статистического анализа и математических методов обработки информации в
системах управления Института проблем управления им. В.А. Трапезникова РАН (г. Москва). E-mail: igor-rudko@mail.ru
СЕРГЕЕВА Наталья Александровна − кандидат технических наук, доцент кафедры информатики Института космических и информационных технологий Сибирского федерального университета (г. Красноярск). E-mail: sergena@list.ru
СЕРГИЕНКО Роман Борисович − кандидат технических наук, старший преподаватель кафедры системного анализа и исследования операций Сибирского государственного аэрокосмического университета им. акад. М.Ф. Решетнёва (г. Красноярск). E-mail: romaserg@list.ru
СИМАХИН Валерий Ананьевич – кандидат физико-математический наук, профессор
кафедры программного обеспечения вычислительной техники Курганского государственного университета. E-mail: sva_full@mail.ru
СМИРНОВ Павел Олегович – доцент кафедры прикладной математики физико-механического факультета Санкт-Петербургского государственного политехнического университета. E-mail: s.paul@mail.ru
СОКОЛОВА Дарья Олеговна − ассистент кафедры теоретических основ радиотехники
Новосибирского государственного технического университета. E-mail: sokolovado@
gmail.com
СПЕКТОР Александр Аншелевич − профессор, доктор технических наук, заведующий
кафедрой теоретических основ радиотехники Новосибирского государственного технического университета. E-mail: spectoraa@mail.ru
ШЕВЛЯКОВ Георгий Леонидович − профессор кафедры прикладной математики физико-механического факультета Санкт-Петербургского государственного политехнического
университета, доктор физико-математических наук. E-mail: gshevlyakov@yahoo.com
ЧЕРЕПАНОВ Олег Сергеевич – аспирант кафедры программного обеспечение вычислительной техники Курганского государственного университета. E-mail: ocherepanov@inbox.ru
ЧЖАН Екатерина Анатольевна – магистрантка кафедры системного анализа и управления Института космических и информационных технологий Сибирского федерального
университета (г. Красноярск). E-mail: ekach@list.ru
ЧИМИТОВА Екатерина Владимировна − кандидат технических наук, доцент кафедры
прикладной математики Новосибирского государственного технического университета.
E-mail: ekaterina.chimitova@gmail.com
1/--страниц
Пожаловаться на содержимое документа