close

Вход

Забыли?

вход по аккаунту

?

Формирование алгоритмов идентификации стохастических объектов с высокой скоростью сходимости.

код для вставкиСкачать
где K ? новые значения остатков, независящие от e,
но с тем же распределением; g? m ? оценки коэффициентов для неполной модели, включающей только
m переменных. Так как параметры g и V 2 неизвестны, эмпирический риск
n 1 Xg e X m g? m
J ??? (m)
2
(3)
.
Очевидно, оценки (3) в среднем меньше истинного риска (2). Для устранения смещения воспользуемся изложенным приёмом. Рассмотрим модель вида
(1) с параметрами:
n 1 Y X m g? m
2
(g? , V? 2 , p ) с числом наблюдений n,
в точках обучающей выборки ( X V X w ), является
несмещенной оценкой риска. Мультипликативная
оценка ? несмещенная для линейного адекватного
алгоритма. Дисперсионная оценка оказывается точной при известном V 2 для адекватного линейного
алгоритма.
Рассмотрим выбор порядка модели для случая,
когда исследуется средняя интегральная ошибка
прогноза
E F( x ) F? m ( x )
Lm
При неизвестных V 2 , U m
2
.
N
¦ (g? i ) 2 , где g? ?
i m 1
оценка вектора параметров для полной модели,
2
где g? ? оценки параметров полной модели, а V? 2 ?
средний остаточный квадрат для этой модели;
H n для оценки ( H n 2 , где H n ? n-я
невязка измерений, и выражение (4), получаем
V? 2
здесь
( H Tn H n L m V? 2 p .
И критерий принимает вид
RSS / n (p N ) ,
g? i
m
n
RSS
Y T Y ¦ g? iT WiT U i ,
i 1
T
1 T
( Wi W ) Wi U i ,
(5)
arg min L m .
1d md m
(4)
Wi ? матрица размера pum; U i ? pu1 вектор.
Данная оценка основана на гипотезе адекватности алгоритма на опорной выборке.
Для линейного адекватного алгоритма эта оценка
несмещенная. Для линейного неадекватного алго2
ритма оценка V? смещена и всегда завышена. Если
поиск лучшего набора переменных основывается на
выборочных данных, то традиционные оценки качества решения оказываются смещенными. Если опре
делить J ?? (m) и (J ??? (m) и подставить полученные
выражения в аддитивную оценку или V? 2 в дисперсионную оценку, получив мультипликативную оценку [2], и V? 2 вычислить по (4), то все оценки совпадут.
2
Аддитивная оценка в случае, когда V известно и
либо алгоритм адекватен, либо прогноз производится
УДК 62.50
ФОРМИРОВАНИЕ АЛГОРИТМОВ
ИДЕНТИФИКАЦИИ
СТОХАСТИЧЕСКИХ ОБЪЕКТОВ С
ВЫСОКОЙ СКОРОСТЬЮ
СХОДИМОСТИ
ПЕРВУХИНА Е.Л.
Идентификация стохастических объектов рассматривается как задача стохастической оптимизации. Исследуется подход к ее решению, основанный на методах и принципах информационной теории идентификации. Предлагается новый метод выбора матрицы весовых коэффициентов для формирования алгоритмов
стохастической оптимизации с высокой скоростью сходимости.
60
используя
Таким образом, применение при выборе порядка
модели предложенных оценок качества решения
позволяет строить алгоритмы, дающие малый риск
при прогнозе.
Литература: 1.Efron B. Bootstrap methods: Another look at
the jackknife. Ann. Statist.,1979. Vol. 6. Р. 1-26. 2. Пинскер
И.Ш., Трунов В. Г. Сравнение критериев эффективности
обучения при восстановлении зависимости по эмпирическим данным. Модели. Алгоритмы. Принятие решений. М.: Наука, 1979. 126 с.
Поступила в редколлегию 10.06.99
Рецензент: д-р техн. наук Авраменко В.П.
Грицюк Вера Ильинична, канд. техн. наук, докторант
ХТУРЭ. Научные интересы: стохастические системы
управления. Хобби: музыка, литература. Адрес: Украина, 61726, Харьков, пр. Ленина, 14, тел. 40-93-06.
Повышенный интерес исследователей к современным методам анализа, позволяющим сопоставить
между собой различные варианты моделей систем и
объектов и выделить наилучший из них, объясняет
постановку задачи идентификации стохастических
объектов для оценки и оптимизации функций многих переменных со случайными ошибками. При
такой формулировке идентификация объекта сводится к подбору параметров его модели на основе
наблюдаемых входных и выходных величин в целях
достижения экстремума некоторого критерия, характеризующего качество идентификации.
В настоящее время существует большое количество работ, посвященных вопросам теории идентификации стохастических объектов, оценке значений
функций и производных от них, а также прикладным проблемам, что делает невозможным полное
освещение состояния вопроса и тем более составление достаточно представительного обзора литературных источников.
РИ, 1999, № 2
В настоящей работе под задачей идентификации
стохастических объектов в узком смысле понимается
оценка параметров и состояния объекта по результатам наблюдений над входными и выходными переменными, полученными в условиях функционирования объекта, при известной структуре объекта и
заданного класса моделей, к которому этот объект
относится.
Среди предлагаемых алгоритмов оценки коэффициентов разностных уравнений по наблюдаемым
данным наиболее часто используются рекуррентные
алгоритмы, позволяющие осуществить идентификацию в режиме нормальной работы объекта [1].
Алгоритмы отличаются друг от друга скоростью
сходимости, вычислительными затратами и стабильностью ? малой чувствительностью к ?выбросам?
входных переменных. Однако на практике эти алгоритмы часто оказываются неработоспособными, получаемые в результате их применения оценки зависят от начальных условий, а скорость сходимости
оказывается слишком малой.
В [3] предприняты шаги устранить существующие
недостатки путем учета в настраиваемых моделях,
критериях качества и непосредственно алгоритмах
имеющейся в распоряжении исследователей априорной информации об объекте.
В данной работе идентификация стохастического
объекта рассматривается как задача стохастической
оптимизации, исследуется возможность ее решения
методами информационной теории идентификации,
а также предлагается новый способ выбора матрицы
усиления в формируемом для идентификации динамического объекта алгоритме стохастической аппроксимации.
Пусть наблюдаются входные воздействия и выходные величины стохастического объекта. При этом
уравнение его настраиваемой модели представится в
виде
N
N
N
m1
m 0
m1
y(i) ¦amy(i j) ¦bmu(i j) ¦dm y(i j) y(i j) .,
представляется в виде
H z(i), c
c* ' (a1* ,!a *N , b0* ,!, bN* , d1* ,!, d N* ) . (4)
Рассмотрим экстремальную задачу достижения
минимума средних потерь
min J (c)
c ЏC Ќ Rn
§ y (i 1),! , y (i N ), u(i ),!, u(i N ),·
ё
© y (i 1) y (i 1),! , y (i N ) y (i N ) №
=Ё
и векторе параметров
c ' (a1 ,!a N , b0 ,!, bN , d1 ,!, d N )
размерности n 3 N 1 уравнение (1) принимает
вид
y (i)
c' x ( i ) .
(2)
Вектор всех наблюдений до момента времени
i z ( i)
y (i), x (i)
включает вектор наблюдений
x (i) и выходную величину y (i) . В этом случае
невязка (ошибка наблюдения)
H ( i)
РИ, 1999, № 2
H z(i), c
y (i) y (i)
E F H ( z (i), c)
J (c* )
J * .(5)
C ? подмножество пространства Rn , определяющее допустимую область изменения c ; E ?
символ математического ожидания; F H ( z(i), c ) ?
Здесь
функция потерь. Качество идентификации тем выше,
чем меньше средние потери, определяемые усредненной функцией потерь. В общем случае решение (5)
*
не единственно, c ? элемент множества решений.
Поскольку функция потерь, характеризующая качество идентификации, является стохастической, т.е.
задана случайными величинами H ( z( i), c) , то экстремальная задача (5) тоже стохастическая.
Рассмотрим случай, когда
C
Rn , т.е. (5) сводит*
ся к задаче на безусловный экстремум. Точка c
является точкой минимума J ( c) на C , если для всех
c Џ C выполняется неравенство
J ( c) J ( c * ) t 0 .
Если функция потерь дважды дифференцируема
по аргументу, то условия, определяющие оптималь*
ное решение c , записываются в виде
wJ ( c)
0,
wc
w 2 J ( c)
>0 .
wc2
y (i j), y (i j ) ? выходная величина и ее оценка
x '(i )
(3)
Предполагается, что объект работает в стационарном режиме, т. е. вероятностные характеристики
последовательностей y (i) , y (i) и, следовательно,
z (i) не зависят от момента времени i.
Вектор оптимальных параметров может быть
обозначен как
(1)
где u(i) ? входное воздействие в момент времени i;
в момент времени (i-j).
При введенном векторе наблюдений
y ( i ) c' x ( i ) .
(6)
(7)
Основной интерес представляет часто встречаемая
на практике ситуация, когда плотности распределения помех и наблюдений априорно неизвестны и,
значит, градиент средних потерь
wJ (c)
wc
не может
C
Rn , один
быть полностью определен.
Поэтому применим для решения указанной задачи безусловной минимизации (5), где
из рекуррентных алгоритмов [3]:
c(i )
c(i 1) B wF H ( z (i), c(i 1)
,
�
wc
i
(8)
который не требует знания градиента средних потерь
wJ (c)
, а использует градиент функции потерь
wc
wF H ( z(i), c)
, зависящей от текущей информации,
wc
61
которая содержится в наблюдениях z (i) . Здесь B >0
? некоторая положительно определенная матрица.
Точность оценок, порождаемых алгоритмом (8),
характеризуется матрицей ковариаций ошибок оценки вектора параметров c(i) :
Vi
E ((c(i) c* )(c(i) c* )'
E G (i)G '(i) ,
где G (i) c(i) c* ? вектор ошибки.
Асимптотическая матрица ковариаций ошибок
оценки вектора параметров c( n ) определяется как
предел:
V
согласно (11), должно выполняться необходимое
условие существования экстремума матричного функционала W 'VW :
w W 'VW
wB
i of
=B� P2 � A(c*,V2 ( p0)) � B' .
В этом уравнении
ности n,
P1
I ? единичная матрица размер.
­ w F H ( z (i), c Ѕ
E®
ѕ,P2
wc2
Ї
ї
2
(9)
?
ковариаций ошибки V ( B0 ) минимальна, т.е. если
(10)
V (B ) t V (B0 ) B >0.
В [3] предлагается найти матрицу B0 с помощью
метода вариаций. Однако этот метод является довольно громоздким и недостаточно строгим. Обоснованный и простой выбор матрицы B0 можно провести, используя матричное дифференциальное исчисление [4,5].
Матричное неравенство (10) означает, что
(11)
W 'V ( B)W t W 'V ( B0 )W ,
где W ? произвольный вектор.
Поскольку матричное уравнение (9) не разрешимо относительно V , построим функцию [2]
) V P1 � A(c* ,V 2 ( p0 )) �V P1 �V � A(c* ,V 2 ( p0 )) � B'+
62
1
.
(13)
w)
P1 � I … A(c * , V 2 ( p0 )) wB
P1 � E nn � A(c * , V 2 ( p0 )) � V … I +
а по матричному аргументу
w)
+
(14)
V ?
I P1 � A(c * , V 2 ( p0 )) � B'… I
wV
P1 � E nn I … A(c * , V 2 ( p0 )) � B' .
?
(15)
E ? перестановочная матрица размерности
nn u nn ; … ? символ Кронекерова матричного
Здесь
произведения.
Подставляя (14), (15) в (13), после приведения
подобных членов и использования необходимого
условия существования экстремума получаем
P1 � A( c* ,V 2 ( p0 )) � V P2 � A( c* ,V 2 ( p0 )) � B ' 0 ;
P2
V
B'
(16)
P1 .
После подстановки (16) в (12) и несложных
преобразований находим, что
1
B0
P1
или
B0
P2 � B � A(c* ,V 2 ( p0 )) � B' 0,
являющуюся сложной функцией матриц V и B . Для
оптимальной матрицы B , минимизирующей V ( B ) ,
w) § w) ·
�Ё ё
wB © wV №
P2 E nn A( c * , V 2 ( p0 )) � B'… I ,
c* и
асимптотической скорости сходимости при B B0 ,
если соответствующая ему асимптотическая матрица
wV
wB
(12)
.
P2 � I … A(c * , V 2 ( p0 )) � B' A( c* ,V 2 ( p0 )) ? нормированная информационная
дисперсии шума объекта V 2 ( p0 ) .
Асимптотическая матрица ковариаций ошибок
оценки характеризует асимптотическую скорость
сходимости алгоритма (8). В свою очередь, как
следует из уравнения (9), эта матрица зависит от
матрицы B .
Поэтому алгоритм (8) будет оптимальным по
wV w)
�
wB wV
Дифференцирование матричной функции (12) по
матричному аргументу B в соответствии с принципами матричного дифференциального исчисления
дает
­°Є wF H ( z (i), c є 2 Ѕ°
E ®«
» ѕ,
wc
°?¬
ј °ї
матрица, зависящая от оптимального решения
w)
wB
Отсюда
'
ЄI
є
ЄI
є
* 2
* 2
«¬2 B� P1 � A(c ,V ( p0))»јV V «¬2 B� P1 � A(c ,V ( p0))»ј
0.
Для определения производных матричных функций ) и V по матрице B применим правила
матричного дифференцирования [4,5], в частности,
правило определения производных сложных матричных функций или так называемое цепочное правило:
lim iVi .
Уравнение, которому удовлетворяет V , найдено
в [3] и имеет вид
wV
wB
0 и, следовательно,
Значит,
A(c* , V 2 ( p0 )) 1
1
­ w F H ( z (i), c) Ѕ
E®
ѕ
wc 2
Ї
ї
2
� A(c* ,V 2 ( p0 )) 1 . (17)
РИ, 1999, № 2
V ( B0 )
­°Є wF H (z(i), c) є2 Ѕ°
E ®«
» ѕ
wc
°?¬
ј °ї
*
2
1
2 � A(c ,V ( p0 )) . (18)
2
­° Єw F H (z(i), c єЅ°
®E «
»ѕ
wc2
°? ¬
ј°ї
Можно показать, что
w 2V
wB 2
есть положительно
определенная матрица. Это достаточное условие
минимума матричного функционала W 'VW .
Поскольку найдено единственное значение экстремума W 'VW , то значение B0 из (17) определяет его
глобальный минимум.
Выбрав оптимальную матрицу B0 , можно построить либо оптимальный (если известна плотность
распределения шума объекта) по асимптотической
скорости сходимости алгоритм идентификации исследуемого стохастического объекта, либо реализуемый оптимальный алгоритм (если плотность распределения шума объекта p0 и дисперсия V 2 ( p0 ) неизвестны), определяемый выражением
c( n)
c(n 1) 1
­° w F H ( z (i ), c)
nE ®
wc 2
°?
2
Ѕ°
ѕ
°ї
� A(c(n 1),
wF H ( z(i ), c(i 1)) w c'(i 1) x (i )
�
wc
wc
.
(19)
УДК 519.237
МЕТОДЫ РЕШЕНИЯ
МНОГОКРИТЕРИАЛЬНЫХ ЗАДАЧ
ОПТИМИЗАЦИИ
ИНФОРМАЦИОННЫХ СИСТЕМ
БЕЗРУК В.М.
С единых позиций излагается методология оптимизации информационных систем при учете совокупности
показателей качества, включая особенности многокритериальной постановки задачи, методы формирования
множества допустимых вариантов и нахождения подмножества Парето-оптимальных систем, а также выбора среди них единственного варианта системы.
В настоящее время наблюдается повышенное
внимание к проблемам оптимизации сложных систем по совокупности показателей качества. Это
объясняется необходимостью более глубокого изучения предельных возможностей систем, а также практическими потребностями конструктивного учета
совокупности противоречивых требований при проектировании систем. В работах [1-9] рассмотрены
особенности отдельных этапов решения многокрите-
РИ, 1999, № 2
A( c* ,V 2 ( p0 )) заменена выборочной
A(c(n 1),V 2 ( p0 )) 1 .
Таким образом, с использованием принципов
матричного дифференциального исчисления выбрана матрица усиления, минимизирующая ковариацию ошибок оценки, что позволяет сформировать
асимптотически оптимальный на классе алгоритм
идентификации стохастического объекта, обладающий максимально возможной скоростью сходимости. При этом окончательное выражение для B0 не
противоречит результатам выбора оптимальной матрицы
B0 в [3].
Литература: 1. Катковник В.Я. Линейные оценки и стохастические задачи оптимизации. М.: Наука, 1976. 138с. 2.
Подвинцев Ю.В., Первухина Е.Л. К вопросу идентификации в линейных динамических системах с помощью
матричного дифференцирования. Деп. в УкрНИИНТИ
02.01.86, № 19-Ук86, 6с. 3. Цыпкин Я.З. Информационная
теория идентификации. М.: Наука, 1984. 140с. 4. Bentler, P.
Lee, S. Matrix derivatives with chain rule and rules for simple,
Hadamard and Kronecker products; Journal of Mathematical
Psychology. 1978. N17. Р. 255-262. 5. Magnus & Neudecer.
Matrix Differential Calculus with Applications in Statistics
and Econometrics. Wiley, New York,1988. 180р.
Поступила в редколлегию 21.06.99
Рецензент: д-р техн. наук Стенин А.А.
V 2 ( p0 )) 1 u
х
Здесь нормированная информационная матрица
Первухина Елена Львовна, канд. техн. наук, доцент
Севастопольского государственного технического университета. Научные интересы: методы стохастической
оптимизации Адрес: Украина, 310007, Харьков, ул.
Мира, 4, кв. 52, тел. 30-82-18.
риальных задач. В данной статье обобщаются и с
единых позиций анализируются все этапы решения
многокритериальных задач применительно к оптимизации информационных систем, включая постановку задачи, нахождение Парето-оптимальных систем и выбор единственного варианта системы.
1. Постановка задачи проектирования оптимальной
системы
В самом общем случае систему можно рассматривать как упорядоченное множество элементов, отношений и их свойств [1]. Однозначное их задание
полностью определяет систему, т.е. ее структуру,
цель, эффективность. Основной задачей проектирования является конкретизация и определение всех
указанных категорий. Решение этой задачи включает определение исходного множества решений, формирование подмножества допустимых решений, задание критерия оптимальности системы, а также
выбор системы, оптимальной по заданному критеG
рию [1-4]. Предполагается, что система I ( s, E )
определяется структурой s (совокупностью элеменG
тов и связей) и вектором параметров E . Для
информационной системы должно быть задано множество входных воздействий X и выходных результатов Y , что определяет систему как отображение
63
Документ
Категория
Без категории
Просмотров
7
Размер файла
248 Кб
Теги
сходимость, алгоритм, высоко, объектов, скорость, стохастических, идентификация, формирование
1/--страниц
Пожаловаться на содержимое документа