close

Вход

Забыли?

вход по аккаунту

?

Метод структурно-параметрической адаптации многоуровневых систем обработки информации с использованием локальных функционалов качества..pdf

код для вставкиСкачать
????????? ?????????? ? ??????????
??? [519.85+519.71]:681.5
????? ??????????-??????????????? ?????????
?????????????? ?????? ????????? ??????????
? ?????????????? ?????????
???????????? ????????
?. ?. ????????, ????. ????. ????, ??????
???????-??????????? ???????? ??. ?. ?. ??????????, ?????-?????????, ??
?????????? ????????: ??????? ????? ?????????? ????? ?????? ? ?????????????????? ???????????? ????????
????????????? ?????? ???, ????? ?????????? ?????????? ???????? ??????????? ???????? ??? ????????????? ??????????? ?? ??????????? ???????? ????????? ?????????? ???????. ? ?????? ??????? ??????????? ????? ????? ????????? ???????????????? ???????? ?????????? ??????????? ??????? ?????????????? ?????? ????????? ??????????,
??????????????? ? ???????? ?????????????? ????????? ????????? ???????????? ????????. ????? ?????? ????????
?????????? ?????? ? ?????? ??????????-??????????????? ????????? ????????????? ?????? ??????? ??????????? ??
?????? ??????????? ????????? ???????????? ???????? ??????????? ?????????. ??????????: ?????????? ????????? ??????????????? ???????? ??????? ??????????? ? ????????? ? ?????????? ????????? ??????????????? ??????
? ???????????? MLP-????? ????????? ??????????? ?????? ????????? ??????????? ???????? ??????? ????? ? ?????????
????????????? ?????????? ? ?? ??????????? ? (???) ??????????????? ??????????. ?????????????? ??????????
?????? ??????? ??????????? ?? ????? ? ?????? ?????? ????????? ?????????????? ??????? ????? ? ????????? ????????????? ??????????. ?????????? ????? ??????????-??????????????? ????????? ????????????? ?????? ? ?????????????? ???????????? ???????? ??????????? ?????????. ???????????? ??????????: ?????? ????????? ??????????
????????? ?????????????? ????????? ????????? ????????????? ???????, ?????? ?? ????????? ??????????? ????????
???? ??????? ?? ?????? ?????? ?? ????????. ???????? ???????????, ??????????? ??????? ???????? ???????????????? ??????? ?????? ?????????????? ????????? ????????????? ??????? ? ??????????? ?? ????????? ????????? ??
?????????.
???????? ????? ? ?????????, ??????? ????? ? ????????? ????????????? ??????????, ????????????????????
???????????, ????????? ????, ???????????? MLP-?????????????.
????????
??? ??????????? ???????????? ???????????????? ??????? ?????????????-???????????
?????? ?????????? ????? ????????? ??????????, ????? ??????? ???????? ????? ?????????? ??? ????????? ????????????? ?????????
??????, ????? ????????? ?????????? ??? ??????? ??????????? ???????? ???????????????? ????????? ?????????????? ????????. ??????????,
? ???????????? ? ???????? ????????????????
???????????? ?. ?. ???????, ????? ???????
??????? ????????? ?????????? ? ?????????
???????, ? ????????, ? ??????????? ??????????? ?? ?????? ??????? ?????????? ? ?????
??????? ?????????????, ?????? ????????????,
????????? ??????? ??? ????????? ???????????????? ? ???????????? ???????? ???????????????? [1, 2]. ? ?????? ???????????????
?????? ? ????? ??????????-???????????????
????????? ?????? ? ?????????????? ?????????? ? ??????????????, ??????????????? ???
?????-???? ???? ?????, ??????????? ?????
????????????????? ??????????? ????????, ?????????? ????? ?????? ?????????. ????????
?????????????? ?????????????? ??????? ???????? ??????? ????? ? ????????? ??????????????? ?????????? ??????????? ??????????
(????) [3, 4].
? 5, 2014
?????????? ?????? ??????? ??????
????????? ?????????????? ??????? ?????
? ????????? ??????????
?????????????? ?????????? ???? ? ????
? ?????? ????????????? ?????????? ? ????????? ???????? ??? ?????????. ????????????????
???? ??????????? ????????????????, ????????? ? ?????????????? ??????????? ????????? ???????? ????????????? ????????????????
? ????????? ??????????????? ????????? ?????????? ?? ????????? ??????? ????????. ??????
??????? ??????????? ?? ????? ? ?????? ??????
????????? ? ???????????? ????????? ? ?????????? ???? ???????????? ????????? ???????.
????: 1. ????????? ?????????????? ???????
???? U i = u1i , u2i , ..., u ih, ..., u iH , h = 1, H, ???
H ? ????? ????? ??????? ?????????????? ????? ????? ? ??????? ????????????? ??????????.
?????????????? ?????? ????????? ?????????
????????, ??????? ?? ?????????? ?????????????? ?????????? ???????? ? ????????????? ?????? ? ?????????? ????????? ?????????? ????
????????? ???????????? ??????? ??? ????????.
2. ??? ??????? ??????????????? ????????
???? ??????? ????????? ?????????????? P(u)
??? ??????????? ??????????? ??????????? ????
???????: 1) ??????? ?????????????? ? 2) ??????? ????????????? ?? ???????? ??????????
(
)
?????????????
??????????? ???????
25
????????? ?????????? ? ??????????
? ???????????? ? ????????? ????????????
????????????????. ????????? ????? ???????
???? ???????? ???????????? ??????????,
?? ?????????? ??????????? ????????? ?????????? ???????????? ??????? ??????????
i
P i = יך P u1i , P u2i ,..., P uhi ,..., P uH
כ ( ) ( )
T
( )שת� , h = 1, H.
( )
3. ?????? Q ??????????? ????????????? ?????????????? (??????????????) ????? ????,
?????????? ?????????????? ??????????????
???????, ?????????????, ????????? ????? ??????????????? ????????? ? ??. ?????? ??????? ????? ??? ?????????? ?????????????? ?????????
? ???? ?????? ? ?????????? ?????? ?????????
?? ???????? ??????? ????????.
4. ? ???????? ????? ?????? ????? ?????? u ????? ?????????????? ????????? ???? ?????????? ???? wij, ? ???????? ???????? ???????????
???????? yi = wijf(P(ui)) ?????? ?? ???????????
????????? yj = wijf(P(uj)), ??????????? ?? ?????
??????? ??????? ???????? ????. ?????????
?????????? f(*) ???????????? ??????????? ??????????? ????????? ???????? ????????????? ?????????????? P(u) ??????????????? ????? u ? ?????? ??? ???? ????????? ???? ???????? [0, ?, 1].
5. ???????? ????????????? ???? ????????
?????????? ?????????????? ?? ????????????? ??L
{ }i=1, i = 1, L,
??????????? ?????????? ??????? Xi
?????????????? ? ???????????? ??????? ??????? t i, i = 1, L ???????????????? ????. ???,
???????? ?????????? ??? ????? ????? ???????
?????? ???????? ?????? ???????? ??????????
?????????? ????????, ??????????????? ???????????? ????????????? ????????????? f(P(?)) ?
???????????? ??????????? ???????, ?????????????? ? ???, ??? ???????? ??????????? ???????? ? ????????????? ??????????? ? ????????????
??????????????? ????????? ?????????????
???????????????? (????????).
6. ????????? ???????????? ???? ????????
????????? ???????? ???????????? ?? ??????????? ????????, ????????????? ? ?????? ???????
L
????????????? ????
{d ij}nj=31, j = 1, n3; i = 1, L;
i=1
n3 ? ?????????? ??????? ???????????? ???????? ?????????????? ?????????????? ????.
????????, di = [f(D1), f(D1), ?, f(DN), f(E1), f(E2),
?, f(EN), f(T1), f(T2), ?, f(TN)]T, ??? f(DN) ? ?????????? ????????????? ????????????? ???? ????????? N-?? ??????? ??? ????????; f(EN) ?
?????????? ???????? ?????????? ??????????
?????????; f(TN) ? ?????????? ?????????????
????????????? ???? ????????? N-?? ??????? ???
????????.
?????: 1. ????????? ? ????????? ??????????? ?????? F ?????????????? ????????? ????,
26
?????????????
??????????? ???????
??????????? ?????????? ????????? ????????
????????????? ????????????
L
{Xi }i=1, i = 1, L
??????? ????????????? ?????????? ?????????
?? ?????????
L
{Zi }i=1, i = 1, L
???????? ?????-
??? ??????????? ???????? ???? ??? ???????????? ?? ???????? ????????????? ????????????? ??-
(
)
(
)
?????? ???????????????? f P (u1i ) ,..., f P (u iH )
?????????????? ??????? ?? ?????????????
??????? ???????? ????.
2. ??????????? ???????? ???? ?? ?????????
(
)
i
U i = u1i , u2,..., u hi ,..., u iH , h = 1, H, ???????????
?????????? ??????????? ?????????? ????????
???? ?? ?????? ?????? ?? ????????.
??? ????????????? ?? ???????? ????????????? ???????????? ???????? ????????????????
(
)
(
)
f P (u1i ) ,..., f P (u iH )
?????????????? ???????
?? ????????????? ??????? ???????? ????
??????????????? ???????????, ?????????????
??? ??????? ?? ????? ??????? ???? ? ?????????? ??????????????????? ??????? ??????????? ?
( ( ))
(???) ??????????? ???????, ?. ?. f P u ij = 0, ???
? ???????????, ????????????? ???????????? ???????????????? ??????? ????.
?????? ??????????-???????????????
?????????
? ?????? ??????? ???????????? ?????? ? ?????????????? ?????? ??????????-??????????????? ????????? ????? ??????? ???????? ?????????????? ???? ? ?????????? ??????????????
????. ??????????-??????????????? ???????????
(??????, ????????????? «????-?????» ???? ? ??????? ??????????????? ????????? ????????),
??????? ? ?????? ????????? ????, ??????????
?? ??????? ???????? ??????? ????????????????
??????? ??????? ????????????? ?? ?????? ?????????? ?????????????? ???? [5, 6]. ????? ??????
????????? ????? ??????????? ??? ????????????? ????????? ? ?????????????? ?????????? ? ?????????????? ????????? ?????????? ??????????
?????????????? ????, ???????? ?????, ??? MLP??????????????? (Multilayer perceptron ? ???????????? ???????????? ???????????, ????????? ??
???????????? ?????? ????????? ???????????????
??????). ??????? ??????? ???? ? ??????????
?????????????? ???? ???????????? ???. 1.
???????? ??????? ???? ? ???????? [5, 6],
????? ?????????????? ?????????????? ????? ???? ????? ??????????? ? ???? ??????????
?????????????? ????? ??????????????? ???????????. ?????????? ?????? j-? ??????? ????
? 5, 2014
????????? ?????????? ? ??????????
??????????? ??????? ????
?? ?????? ???????????? ?????????? ?????????????? ????
??????????? ???????????? ?????????
? ???????? ? ????
???????????????
??????????????
?????????
.
.
.
??????????,
?????????????
????????
????????
? ?????????
???????
??????????? ?????????
?????????? ?????????????
? ????????? ??????????
?????????
????????????
????????????
????????
??????????? ?????????
?????????? ?????????
? ????????? ???????
?????????
? ???. 1. ??????? ???????? ???????????? ???????? ? ?????????? ?????????? ?????????????? ????
????????? ?? ?????? ?????? ????????? ? ??????
[5] (???. 2). ??????? ????????? ??????? ??????????? ??????????? ???????????? ????????????
?????? Rn ? ????? R1:
(
k
)
f (sj ) = f P (uj )
זn
צק
k-1
= f חחחו wij f P (ui )
- bj קקק,
חטi=1
רק
(
)
(1)
??? f(sj) ? ????????? ?????????????? ??????????, ???????? ???????? ???? ??????????? ??????????? ???????????????? j-?? ????? ????
? ???????? ???????? [0, 1]; n ? ?????????? ?????????? ?????????????? ??????????? ??????????? ???????????????? j-?? ????? ?? k-? ?????? ???????? ????; wij ? ???????? ???????????? ?????????????? ????? ????? i-? ? j-? ??????????????? ??????????; P(ui)k?1 ? ??????????? ??????????? ???????????????? i-?? ?????
?? (k ? 1)-? ?????? ???????? ????.
? ???????? ??????????????? ??????????? f(*)
????????? ?????????? ????
f (x) =
f(P(u1))k?1
f(P(u2))k?1
..
.
f(P(un))k?1
w1j
w2j
..
.
1
1 + e-ax
,
(2)
bj
6
sj
f(s)
f(sj) = f(P(uj))k
wnj
? ???. 2. ??????? ?????? ????, ??????????? ??????? ??????????? ???????????
? 5, 2014
??? x ? ?????????????? ????????? ???? ??????????? ???????????????, ????????????? ???????????????? ???????? ????, ?¥ < x < ¥.
??????????????? ?????? ? ???????????? ??
????????? ???????? ???????? ???????????????? ???? ?????????????? ????????????? ???-
{
??? wijk , i, j = 1, nk
}
N
, ??? N ? ?????????? ????-
k=1
??? ????????, ????? ????????????? ??? «?????
????», ?? ???? ???????? ????????? ?????????
?????? ?. ???????? ?????? ?? ?????????????
??????? ???????? ???????????? ???????????????? ?????????????? ?? ????????????? ????????????? ?????????? ??????? ?, ??????????????
? ???????????? ??????? ???????, ? ?? ??????
??????????? ????????? ?????? Y, ??????????????? ?????????? ???????? ????, ?????????????? ? ?????????? ???????????????? ???????
??????.
? ??????? ?????? ??????????-??????????????? ????????? ?? ?????? ??????????? F:
Rn ? Rm n-??????? ??????? ? = (?1, ?2, ..., ?n)T
???????????? ????????????? ?????????????
?????????? ?????????? ????????? ? m-??????
?????? Y = (y1, y2, ..., ym)T ??????????? ????????
???? ??????????? ??????????? ??????? ?????????? ?yi = ?wijf(P(ui)). ??????????? ??????
???? ??????????? ? ?????? ???????? ???????????????????? ??????????? ??????????????
??????? Y = (y1, y2, ..., ym)T ??????????? ????????
???? ??? ?????? ?? ???? ??????? ? = (?1, ?2, ...,
?n)T ???????????? ????????????? ????????????? ?????????? ?????????? ?????????. ??????
????????? ???? «?????? ?????» ????????? ???
????????? ????????? ? (???) ?????????? ????????? ???? ?? ?????? ??? ?????????????
?????????????
??????????? ???????
27
????????? ?????????? ? ??????????
??????? ???????? ??????????? ?????? F ???
??????????? ???????????? Y ??? ???????? X
?? ?????.
???? ??? ? ????????? ???????????? ??????????? ????????? ????, ??????????? ??????????????? ?????? ?????? ???? ????????? ????????? ????? ? ?????????????? ????????? «???????? ? ????????», ?????????? ?? ???????????? ??????????????? ?? ?????? ?????-?????
???????? ????????? ???????, ?????? ?? ??????? ??????????? ????? ??????? ???????? X ?
?????????? ??????? ??????? Y [7]. ????? ???
??????? k-?? ?????? ???????? ???? ??????? ????????????? ????? ???????????? ????????????
??????, ?????? F ??????? ????????? ???, ?????
?????????????? ????????? ??????? ??????? ?
?????????? ???????????? ???????? Yi ?? ????????? Di, ?????? ???? ??????? ??????? ???????????? ?? ??? ???, ???? ????? ?????? F ?? ??????
??? ??????? i ????????????? ???????? ?i < ?.
? ?????????????? ????? ?????? ??????? ???????
?????? ???? ? ???? ?????? ???????? ? ??????????? ?????????? ???????? ???????? (???????
??????? ? ???????????? ???????? ????????????? ????) ?? ????????????? ????? wij ? ?????
????????? ??? ? ??????????? t, ??? ? ??????????
k = 0, 1, 2, ... ???????.
? ?????????? ????????????? ?????? ??????
???? ???????????? ????? ??????????? ???????? ??????? ??? ??????? j-?? ???????????? ???????? ????:
2
1
1
Ej (k) = e2j (k) = dj (k) - P (uj (k)) =
2
2
(
)
צ2
זn
1 זח
קצק
= חחdj (k) - f חחחו wij xi (k)קקקקקק
קררק
2 טחח
חטi=1
(3)
? ??????? ???????????? ?????????
wij (k + 1) = wij (k) + ?(k)? j (k)xi (k),
(
)
??? ? j (k) = ej (k)f ¢ P (uj (k)) =
¶Ej (k)
?????? ?????????
??????????-??????????????? ?????????
??? ?????? ???????? ??? M ??????? ????????
? ???????? ????? ????????? ?? ???????? ???????
?????????? ????????????? ????????? ?????????
??????????????? ???????? ??????? ???? (3) ????????????? ? ??????????? ??????????? ?????????????? ????????? ???? (???. 3).
???????? ?????????? ? ??????? ????????? ?????-????? ?????? ? ???? ?????????????????? ??? ????????? ???????? «???? ? ?????»,
?????????? ????????? ??????? ???? «??????
?????????????? f ?? ????????????? ????????????? P(?) ?????????????? ?????????? ??????? ? ?????? ?????????????? f ?? ?????????
???????? ??????????? ???????? ????». ?? ???. 3
s ? ???????? ????????????? ????????????,
ons
?????????? ??? ????????? ????? ? ?????????
?????? ????. ????????? ???????? ??????????-
(4)
? ??????-
¶P (uj (k))
??? ?????? ?? ?????? ???????????? ????????
???? uj; f(*) ? ?????????????? ??????????
???? (2).
??????????????? ?????? ?????? ????, ?????????? ?? ??????????? ???????????? ?????????? ???????????, ????????? ??? ??????????
?????????? ?????? [8], ? ?????? ???????? ??
?????? ???? ??????????? ???? wij, ? ????????
???????? ????????? ???????????? yi = wijf(P(ui))
?????? ?? ??????????? yj = wijf(P(uj)), ??????????? ?? ??????????? (????? ???????) ??????? ???????? ????. ? ?????? ???? ??????????
???????? ???? ?? ??????? ???????????? ? ????
????????? ????????????, ???????????? ? ??????? ???????? ?? ???? ??????????? ?? ????
28
??????? ??????????? ??????? f(*), ??? ???? ?????????? ??????? ??????? ?????????????????,
?????????????????, ? ????? ???? f(*) ????????
?? ????????????, ? ??????????, ?? ??????? ????????? ???????????? ????????? ???????????????? ??????? ?????? F [9].
?????????????? ?????????????? ?????????
???? ????????? ???????????? ??? ???????????????? ??????? ???????? ????????? ??????????????? ?????? ??? ?????????? ??????-??????? [10,
11]. ?????? ????????? ????????? ????????? ??????????????? ?????? ??????? ??????????? ?????? ?????? ??????? ? ?????????? ?????? ????????? ???? ?? ??????????????, ?? ????????
? ???????????? ?????????? ???????????????
??????????? ? ????????????? ??????? (????????????) ???????????.
?????????????
??????????? ???????
Oi
f(6)
x1
w111
o11
.
.
.
w211
f(6)
O2
.
.
.
Oj
.
.
.
On
1
. oah
x2
.
.
w1ih
wa2hm
w2hm
.
.
.
.
xn
f(6)
w1n
n1
o21
f(6)
w311
.
.
.
.
o2m
2
oam
w3mj
f(6)
w2n1n2
f(6)
d1
} G1
f(6)
o3j = yj
dj } Gj
.
.
.
.
.
.
.
.
o1n1
o31 = y1
.
.
.
.
f(6)
o1h
f(6)
xi
f(6)
o2n2
w3n2n3
f(6)
o3n3 = yn3
dn3 } Gn3
? ???. 3. ?????? ????????????? ??????????? ?????????????? ????????? ????, ????????????
?? ????????? ?? ???????? ?????????????? ????????? MLP-??????????????
? 5, 2014
????????? ?????????? ? ??????????
??? ???????????? ?? ????????????? ??????? ???????? yi = wijf(P(ui)) ????????? ???? ??
???????? ??????????????? ????????? ?????
ui, ???? ??????? ??????????????? ????????
f(P(ui)). ??? ?????????????? ????????? ????
????? ??????????? ?? ?????? yj = wijf(P(uj))
? ???? ???????? wijf(P(uj)) = y¢j ? (???) ??????????
?j1 < wijf(P(uj)) < ?j2, ?????? ???????? ?? ???. 3
?????????.
???????? ???????? wij = 0,5 ?? ?wij, ??? ? ?
????????? ????????? ????????, ??? ???????,
?????????????? ?? ???????????? ?????? ? ????????? [0, ?, 0,1]. ????????? ???????? ????????? ??????? ?????????????? f ?? ?????????
???????? ??????????? ???????? ???? ?????????
?? ??????????? ????????, ???????? ??? ?????????????? ????????? ??????? ?????? ?????????????? ????????? ????. ??? ???????, ???
??????? ?????, ??????????????? ?????????
???????? ??????? ? ????????? ???????????????
???????.
??? ????????????? ????????? ??????????
???????????? ???????? ???????????????? ??????? ?????? F, ????????????? ? ?????????
????????????? wij ???? ??????? (?????) ?????
???????, ????? ??????????? ????? ????????
? ??????? ????????? ???? ????????????????
? ?????? ?????????? Ej(k). ?? ????? ???????, ???
???????? ??????? ???????????? ????? ????????? ?????? ?????????? ?????????? ????????????????? ??????? ??????? ?????? ?? ?????????
???????? {yj = wijf(P(uj))}. ?????? ????? n0 ??????, n1 ????????? ? ?????? ??????? ????, n2 ????????? ? ?? ?????? ? n1 ????????? ? ? ???????? ????, ? ????? ?????? n1 ¹ n2 ¹ n3. ??????
??????? ?????? ??????????????? ?? ??????
?????-????? ????????? ??????? ???????????? ????? ?????? x = [x1, ?, xi, ?, xn0]T, ????????
?????? y = [y1, ?, yj, ?, yn3]T ? ??????? ??????
d = [d1, ?, dj, ?, dn3]T.
? ???????? ???????????????? ??????? ?????? F ?????????? ?????????? ??????????? ??????????????? ????? ???????? ?????????? ???????? yj(k) ? ??????? dj(k) ???????? ??? ????
j = 1, 2, ..., n3 ? k. ??? ????? ?????????? ?????????? ??????? ??????? ????
2
1
Ek = ו E(k) = וו(dj (k) - yj (k)) =
2 k j
k
=
1
וו e2j (k).
2 k j
(5)
?????? ??????? ??????? ????????????? ????????? «????????? ????????», ????? ?k ?????????????? ????? ?? ???? ????????? ???????.
[ s]
??? ????? ????????? ???? ????????? ?wji (k),
??? s ? ????? ??????, ??????????????? ??????? ?????????? [12], ????????? ????????? ???? 5, 2014
???????????? ?????? ???????????? ? ???????
???????
E (k) =
n
n
n
3
2 1 3
1 3
dj (k) - yj (k)) = ו e2j (k) = ו Ej (k). (6)
(
ו
2 j=1
2 j=1
j=1
? ?????? ?????????? ?????????? ????????
? ?????????????? ?????? ? ?????? ?????? ????????? ???? ??? ??????? ???????????? ??????????? F: Rn ? Rm n-??????? ???????
? = (?1, ?2, ..., ?n)T ???????????? ?????????????
????????????? ?????????? ?????????? ????????? ? m-?????? ?????? Y = (y1, y2, ..., ym)T ??????????? ???????? ????? ???????????? ????????
?????????? ? ??????????. ?????? ???????? ???????????? ????? ??????? ???????? ???? (? ??????????? ???????? ?? ??????? ? ?????), ??? ?????????
???????? ????????? ??????????????? ??????, ???????????? ??????????? ???????????. ??? ?????????? ?????????????? ?????? ? ?????????
?????????? ? ?????????? ??????? ????? ???????????????? ? ???? H = JTJ. ? ?????????? ????????
???????? ????????? ??????? ????????????? ? ??????? ???????? ?????????????? ????????? ??????????? ????? ???????????? J ?????, ?????????? ??????? ??????????? ??????? ??????? ?????? ??????? ????????????? ? ????????? ???????
[13]. ???????? ??????? ?????? F ???????? 6 ?????.
1. ?????????? ????????? ???????? ??????????? ? ??????????????? ?????????? m, w0,
r > 1, v0.
2. ?????????????? ???????????? ? k-? ???????? ?? ??????? g(wk) = [J(wk)]Te(wk).
3. ??????????? ??????? G(wk), ???????????????? ???????: G(wk) = [J(wk)]Te(wk) + R(wk).
?????????????? ????????????? R(wk)=vkI, ???
vk ? ???????? ?????????? ? ??????????: G(wk) =
= J(wk)JT(wk) + vkI.
4. ??????????? ??????????? ???????? ? k-?
????????: h = ?G?1(wk)gk.
5. ??????????? ???????? vk ???????? ???????
זv
צ
vk -1
??? Eחחח k-1 קקק £ Ek ;
ט
r
r ר
ז vk-1 צק
vk = vk?1 ??? Eחחח
ק > Ek ? E(vk?1) > Ek;
ט r קר
זv
צ
vk = vk?1rm ??? Eחחח k-1 קקק > Ek ? E(vk?1) > Ek.
ט r ר
vk =
6. ??????????? ?????? E ?? ????????? ???????, ? ???? ?????? ???????????, ???????????
???? 2?6.
????????????? ???????? ???????? ?????????? ? ?????????? ?????????? ??? ?????? ???????? ??????????? E ??????????????? ?????????
???????? ????????????? ? ???????????? ??????
? ???????????? ???????????? ? ????? ?????????
?? ?????? [5, 14].
?????????????
??????????? ???????
29
????????? ?????????? ? ??????????
???????????? ??????????? f [s] (x) =
?????????? ??????
??????????-??????????????? ?????????
??? ?????????? ?????????????? ????
?????????? ???????? ?????????? ?????? ?????????????? ????????? ???? ? ?????? ?????? ??????????-??????????????? ????????? ???
?????????? ??? ? ????????? ????? ????, ???
? ? ????????? ???????????? ??????? ??? ????????.
????? ? ?????????? ????????? ? ????????? ???????????? ??????? (??? ????????) ??? ???? ?????????? ??????????? ?? ???????? ????????????? ?????????? ?????? ??? ?????????? ?????????????? ??????? ????. ??? ???? ????????
????????? ??????? Q ????????? ? (???) ????????
????????? ????? ???? ?, ??????????????, ???????? ???????? ????????????? ?????? ? ??????????????? ??????????? ?????? ????. ??? ????
????????? ???????????:
? ??????????? ???????? ???? ???? ?????????
wij[s] ? f ( P (u j)) = y ¢;
(7?)
? ??????????? ???????? ???? ???? ??????????
[ s]
(7?)
< ? 2j ;
?1j < w ij ? f P uj
( ( ))
? ??????? ???? ????????????????
wij[s] ? f ( P (u j)) = 0.
(7?)
??????????? ?????? F ????????????? ??????????? ?????? ??????????????? ????.
???????????, ??? ??? ??????????? ?????????
?????????? ?????????? ??????? ??? ????????
??????????? ??????????? ???????? ????????????? ??????? ????. ????? ???????? ?????????
????????? ?? ?????? ????????? ???? ?? ????-
( ( ))
?????? ???????????? w ij ? f P uj[s]
?????? F
? ??????????? ??????????? ????????? ????
?? ????????? U i = (u1i , u2i ,..., u ih,..., u iH ), h = 1, H,
??????????? ?????????? ??????????? ?????????? ???????? ???? ?? ?????? ?????? ?? ????????, ???????? 7 ?????.
1. ?????? ?? ??????? ???? ?????? F, ??????????????? ??????? ?????? ???????? ????
??????? Xk, ??? k ? ????? ??????? ?????????
???????, ??????????? ???????? ??????????
???????????? ?? ????????????? ?????????????
?????????? ?????????? ????????? f(P(?)), ?. ?.
???????? ??????????? ?????????? ??????? ???
????????.
2. ?????????? ?????????? ???????? ????????
{w ? f (P(u ))}
ij
[ s]
j
???????????? ??????????-
??? ????????????? ???? ??????????? ???????
???? ? ?????? ??????????? ???? (7?)?(7?) ? ??30
?????????????
??????????? ???????
1
1 + e-?
[s]
x
,
j = 1, n3 .
3. ?? ????????? ???????? ??????? Dk, ???
k ? ????? ??????? ????????? ???????, ? ??????????? ????????????? ??????? oi[s] (k) , ???
k ? ????? ??????? ????????? ???????, ??????????????? ??????????? ?????? ???????????????? ????, ?????? ????????? ?????? ?[is] (k)
??? ???? ????? ??????.
4. ?????? ???????? ???? ????? wij[s] ???[ s]
[ s] [ s]
?????????? ?????? ? ???? ?wji (k) = ?? j xi ,
s = 1, 2, 3,..., ??? s ? ?????????? ????? ?????? F
??? ??????? ???????? ????.
5. ?????? ?? ???? ? ????????? ?? ?????? ?????? ?????????? ?????? (Xk, Dk) ?? ????????? ???????, ??????????????? ????????? ??????????????? ????, ? ?????????? ????? 1?4. ???????
???????? ???????????? ?? ??? ???, ???? ??????
? ???????? ???? ?????? ?? ?????? ?????????????
???????? ???????? Ek (5), ? ????????????? ???
«???????????» ????????? ???? ???? wij[s] ?????? F ??????????????? ?? ????????? ???????.
6. ???????????? ?????? ???????? ???????-
( ( ))
[ s]
??? ???????? ???????????? w *ij ? f P uj , ???
w *ij ????????????? ???? ?????? ???????? ? «???????????» ????, ? ????? ??????????? ??????????? ? ??????? ?? ????????? ???????????? wij
(????????? ??????????????? ????) ? ????????????? ????????? ????????? ??????? (2).
7. ????????????? ????????? ? ???????? ??????? ?? ??????????? ??????????? ? ????? ????????? ??????????? ????????????? ?????????
[ s]
???????? ????, ???????????? ? w * ? f P uj
ij
( ( ))
?????? F.
????? ???????, ???????????? ????????? wij
???????????? ?????? ????, ???????????????? ??????????? «????/?????» ??? ?????????
??????? ???????????????? ????, ? ????????? w*
ij ?????????? ? (???) ?????????????? ?????????????? ?????? «???????????» ???? ???
????????? ??? ?? ??????? ????????????????. ??? ?????????, ??????????????? ??????-
( ( [s] ))
, ??????????? ? ???????????? w *ij ? f P uj
???? ??????????? ???????? ???? ?? ?????????
U i = (u1i , u2i ,..., u ih,..., u iH ), h = 1, H. ??? ???? ??????? ?????? ?????????? ??? ?????????? ??????? ???????????????? ???? ?? ?????????? ????????? ?? ? ?????? Y, ? ????? ????????????? ???????? ?????????? ?????? F. ?????
???? ? ????????????? ?????? ???????? ?? ?????? ??????????????, ?? ? ????????, ?. ?., ? ????? ???????, ?????? ????????????? ?????????? ????????? ??????????, ??????? ???????? 5, 2014
???????? ????????, ? ? ?????? ? ?????????? ?????????? ??? ??????????? ????? ????? ??????? ??????? ???????? ?????????????? ????????? ????.
???? ????????? ????????????? ?????????
?????????????? ????????? ????, ?????????
?? 6 ??????? ???????? (???. 4, 5), ??? ??????? ?????????????? ????????? ???? [15]
[s]
?wij (? ) =
?
[s]
[s-1]
ו ? j (k)oi (k) +
n s-1(1 - ?) k
[s]
[s]
+ ??wji (? -1) - ??wji (? ) + e(? ),
(8)
??????????? ??????????
????????? ????????????????
??????? ?????? F ??????????
??????????????? ????
1
2
3
0
2
4
6
8
10 12 14 16 18 20
? ???. 5. ??????????? ??????????? ?????????? ????????? ?????????? ? ?????????? ?? ?????????? ??????????? ?? ??????????????
??????????? ????????? ???? ?? ?????????? ????????????? ???????: 1 ? ??????????? ???? ??????????? (7?); 2 ? ??????????? ???? ????????? (7?); 3 ? ???????? ???????????????? (7?)
?????? ? ??????????? ?? ?????????????? ?????????, ???? ??????????? ? ?????????? ?????????? ????????? ????. ??????????? ?? ???. 4
? 5 ???????? ????????? ???????? ?????????????? ?? 100 ? 60 ????????????? ? ?????? ?????;
?????????? ? ??????????? ? = 0,01. ?????????? ?????????????? ????????? ?? ????? ????? MLP-???? 50/40/30/20/10/5 ? 20/18/16/14/
10/5.
??????????????? ?????? ????????? ??????????????? ???? ? ??????????????? ??????? ???
???????? ????????? ??????????? s-?????????
????? ????????????? ?????? wij[s] , ?????????????? ?????????? ??????????? ????????????
?????? ? ???????????? ??????? ?? ?????? ????????????? ??????? ??????????? ??????????
???????, ??????????? ? ???????? ????.
??????????
1
2
3
4
0
2
4
6
8
10 12 14 16 18 20
?????????? (? % ?? ?????? ?????) ????????? ????
? ????????????? ???? ??????????
? ????????? 0,5 ?? ???????? ????????? f(P(u))
? ???. 4. ??????????? ??????????? ?????????? ??????? ????????? ???????? ???????????????? ??????? ?????? ???? ?? ??????????
????????? ? ????????????? ???? ??????????: 1 ? ???????? ?????????? ? ??????????; 2 ? ???????? ??????????? 1-?? ??????? ??? ?????????? ??????? ??????? (5);
3 ? ???????? ??????????? 1-?? ??????? ??? ????????? ??????? ??????? (6);
4 ? ???????? ?????????? ??????
? 5, 2014
1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
?????????? (? % ?? ?????? ?????)
???????????? ????????? ???? ? ????????????
??? ? = 1, 2, ... ? ????? ???????? ????????? ?????; 0 < ? < 1 ? ???????? ????????; ns ? ?????????? ????????? ???? ?? s-? ?????? ????????;
?? ? ???????? ?????????????; ? = 10?3¸10?5 ?
????????, ?????????????? ??????? ???????? ??
????????????? ??????????? ??????? ????? wij[s] ;
e(?) ? ??????? ????????????.
? ?????? ??????????? ?? ???????? ????????????? ??????????? oi[s] (k) ????????? ????
?????? ??? ????????????? ???????????? ?????[ s]
[ s]
???? wij = wij ¢, ??????????? ?? ????????? k
???????? «???????????» ????????? ???????.
?? ?????? ?????? ? ???????? ???????? (???????????? ? ????? ?????? ???????????? ????) (n3´1)??????? ??????? ???????????? ???????????? ???????? ?????????????? ??????????? ???????????
???????? ???? ??????? D ? ?????????? d1 = f(D1) =
= 0,99; ? dz = f(Dz) = 0,99; ? dn ?1 = f(C) = 0,01;
3
dn = f(T) = 0,01.
3
?????? ?????????????? ???????? ????????? ??????? ???????? ???????????????? ???????
1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
??????????? ??????????
????????? ????????????????
??????? ?????? F ????????
??????????????? ????
????????? ?????????? ? ??????????
?????????? ??????????????? ???????? ?????????? ??????????? ? ????????? ? ??????????
????????? ??????????????? ?????? ? ???????????? ?????, ???????????? ??????????????
?????????????? ????????, ????????? ??????????? ?????? ????????? ??????????? ????????
???? ? ??????????? ? (???) ???????????????
?????????? ??? ? ????????? ??????????????
???????? ??? ?????????, ??? ? ? ????? ????.
? ??????? ?????? ???????? ??????????, ? ????? ?????????????? ???????? ? ?? ???????
(? ?????? ?????????????? ??????????? ?????????? ????????? ????? ??????? ??????) ?????????? ???????? ???????? ?????????????? ?????,
??? ???? ????? ??? ??????????? ?? ???? ???
??????/??????? ?????????? ???????? ?????????? ???????? ???? ??????? ?? ?????? ??????
?? ????????.
?????????????
??????????? ???????
31
????????? ?????????? ? ??????????
??????????
1. ?????? ?. ?. ??????? ?????. ???????????????
?????? ? ????????. ? ?.: ???, 2000. ? 368 ?.
2. ?????? ?. ?. ??????? ???????????. ??????????
??????? / ?? ????. ? ?., 1974. ? ?. 5?20.
3. ??????? ?. ?., ?????? ?. ?., ??????? ?. ?. ??????????? ???????? ?????????? ?????????? ???????????? ?????????? ?? ???? ???????? ?????????? //
?????????????-??????????? ???????. 2006.
? 5. ?. 2?5.
4. Nazarov A. V., Kozyrev G. I., Shklyar S. V. Prognostication of Technical for Low-Orbit Spacecraft with
the Use of Neural Networks//Cosmic Research. 2002.
Vol. 40. N 6. P. 594?604.
5. Haykin S. Neural Networks: A Comprehensive Foundation. ? N. Y.: MacMillan College Publishing Co,
1994.? 1104 p.
6. ???????? ?. ?. ??????????????? ? ???????????
??????? ??????? ??? // ?????????? ????????????????. 1995. ? 5. ?. 3?48.
7. ??????? ?. ?. ???????? ??????????????? ? ???????????? ?????????? ???????? // ???????????????: ?????????? ? ??????????. 2007. ? 2?3.
?. 24?28.
8. ??????? ?. ?., ???????? ?. ?., ??????? ?. ?. ???????? ?????????????? ????????????? ? ???????
??????????? ?? ????? ? ?????????????? ?????? ??????????? // ?????????? ? ????????????. 2009.
? 11. ?. 70?79.
9. ????????? ?. ?., ??????? ?. ?. ????????????? ????????? ????: ???????????, ????????, ??????????. ? ???????: ???????, 2004. ? 369 ?.
10. ??????? ?. ?., ???????? ?. ?. ???????????? ????????? ??????????????? ? ??????????? ??????. ?
???.: ????? ? ???????, 2003. ? 384 ?.
11. Werbos P. Backpropagation Through time. What it
Does and How to do it // Proc. IEEE. 1990. Vol. 78.
P. 1550?1560.
12. ??????? ?. ?. ????????? ???? ? ??????? ????????????. ? ?.: ????????????, 2009. ? 432 ?.
13. ???????? ?. ????????? ???? ??? ????????? ??????????. ? ?.: ??????? ? ??????????, 2004. ? 344 ?.
14. Amari S. Dreaming of Mathematical Neuroscience
for Half a Century // Neural Networks. 2013. N 37.
P. 48?51.
15. Cichocki A., Unbehauen R. Neural Networks for
Optimization and Signal Processing. ? Stuttgart:
Teubner, 1993. ? 526 p.
UDC [519.85+519.71]:681.5
Method of Structurally-Parametric Adaptation Multilayer Systems of Information Processing with usage of Quality
Local Functionals
Nazarov A. V.a, PhD, Tech., Associate Professor, naz_av@mail.ru
aA. F. Mozhayskii Military Space Academy, 13, Zhdanovskaia St., 197082, Saint-Petersburg, Russian Federation
Purpose: A wide class of application-oriented tasks deal with reallocation of restricted resources in hierarchical systems to
provide extremes for the output quality coefficients, when the functionals of the internal level elements quality are restricted.
If these tasks have big dimensionality, there are methodological problems of developing optimal models of distributed informationprocessing systems which function under the conditions of nonstationary changes of the local quality functionals. The aim of this
work is developing a model and a method of structurally-parametrical adaptation of hierarchical big-dimensionality systems, localizing
the changes of structural elements quality functionals. Results: Application of advanced mathematical apparatus of optimization
methods combined with the error backpropagation algorithm in multilayer MLP-networks gave rise to the model in which the quality
parameters of the measurement information collection/processing system are adapted to the structural and/or parametric changes of
the information. The problem was formulated of synthesizing an input/ouput multidimentional adaptation model for a distributed
system of measurement information collection/processing. Taking into account the similarity of hierarchies of the modelled processes
and the architectures of the homogeneous computing environments, the modelling used the multilayer MLP-qualifier architecture.
The method of structural-parametric adaptation of hierarchical systems was developed, with the usage of structural elements quality
functionals. Practical relevance: The model is useful in defining the adjustments of functional elements at various hierarchical levels,
proceeding from the given quality functional for the whole system at the top level of its hierarchy. The dependences were obtained which
help to select an algorithm for the parametric synthesis of a hierarchical system information structure model, depending on the state of
a set of its elements.
Keywords ? Adaptation, System of Measurement Information Collection/Processing, Multiparameter Optimization, Neural Nets,
Multilayered MLP-Qualifier.
References
1. Turchin V. F. Fenomen nauki. Kiberneticheskii podkhod k
evoliutsii [Science Phenomenon. The Cybernetic Approach
to Change of Aircraft Attitude]. Moscow, ETS Publ., 2000.
368 p. (In Russian).
2. Tsypkin Ia. Z. Voprosy kibernetiki. Adaptivnye sistemy [Cybernetics Questions. The Adaptive Systems]. Moscow, Nauka Publ., 1974. Pp. 5?20 (In Russian).
3. Maltsev G. N., Stogov G. V., Terekhov A. V. The Prospects
of Spacecraft Control System Creation on the Basis of Key
Technologies. Informatsionno-upravliaiushchie sistemy,
2006, no. 5, pp. 2?5 (In Russian).
32
?????????????
??????????? ???????
4. Nazarov A. V., Kozyrev G. I., Shklyar S. V. Prognostication of
Technical for Low-Orbit Spacecraft with the Use of Neural
Networks. Cosmic Research, 2002, vol. 40, no. 6, pp. 594?604.
5. Haykin S. Neural Networks: A Comprehensive Foundation.
New York, MacMillan College Publishing Co, 1994. 1104 p.
6. Galushkin A. I. Neurocomputer in Development of Military
Technology of the USA. Zarubezhnaja radioelektronika,
1995, no. 5, pp. 3?48 (In Russian).
7. Nazarov A. V. Algorithm of Forecasting in Space of Situation Parameters. Nejrokomp?jutery: razrabotka i primenenie, 2007, no. 2?3, pp. 24?28 (In Russian).
? 5, 2014
????????? ?????????? ? ??????????
8. Vahitov A. T., Granichin O. N., Gurevich L. S. Algorithm
of Stochastic Approximation with Trial Perturbation on an
Input in the Non-Stationary Task of Optimization. Avtomatika i Telemehanika, 2009, no. 11, pp. 70?79 (In Russian).
9. Bodianskii E. V., Rudenko O. G. Iskusstvennye neironnye seti: arkhitektury, obuchenie, primeneniia [Artificial Neural Networks: Architectures, Tutoring, Applications]. Khar?kov, Teletekh Publ., 2004. 369 p. (In Russian).
10. Nazarov A. V., Loskutov A. I. Neirosetevye algoritmy prognozirovaniia i optimizatsii system [Neural Nets Prediction
Algorithms and Optimization of Systems]. Saint-Petersburg, Nauka i Tekhnika Publ., 2003. 384 p. (In Russian).
11. Werbos P. Backpropagation Through Time. What it Does
and how to Do it. Proc. IEEE, 1990, vol. 78, pp. 1550?1560.
12. Tatuzov A. L. Neironnye seti v zadachakh radiolokatsii
[Neural Networks in Radiolocation Problems]. Moscow, Radiotekhnika Publ., 2009. 432 p. (In Russian).
13. Osovskii S. Neironnye seti dlia obrabotki informatsii [Neural Networks for Information Processing]. Moscow, Finansy i statistika Publ., 2004. 344 p. (In Russian).
14. Amari S. Dreaming of Mathematical Neuroscience for Half
a Century. Neural Networks, 2013, no. 37, pp. 48?51.
15. Cichocki A., Unbehauen R. Neural Networks for Optimization and Signal Processing. Stuttgart, Teubner, 1993.
526 p.
????????? ??????!
??? ?????????? ????????? ?????? ?????????? ????????????????? ?????????? ??????????????.
?????? ?????? ????????? ????????? ????? ??????? ???????????. ???????? ?????? ?????? ???? ???????, ?? ?????????????. ? ???????? ??????????? ????????????? ??????????, ????? ????? ???????????? (???, ??, ???? ? ?. ?.).
????? ?????? (?????, ???????, ??????????? ? ????????????) ?? ?????? ????????? ??????????? ? 20 ???????, ???????????? ?? ?????? ??????? ?4 ?? ????? ??????? ????? 1,5 ????????? Word ??????? Times New Roman ???????? 13, ???? ?? ????? ???? ???????????.
????????????? ?????????? ?????????? ?????? ????????: ?????? ???, ????????, ???????? ? ??????? ?????? (???????), ?????? ???????, ?????? (??? ?????????? ? ?????????), ?????? ???????? ???????????, ????????? ? ???????? ????? ?? ??????? ? ?????????? ??????, ??????????? ?????? ???????, ??????? ?? ?????????? ??? ?????? ???? ???????????? ?? ????????? ???????.
??? ????????? ????????? ?? ??????????? ??????????? ? ?? ??????? ?????? ?? ????????? ? ?????? ??????????.
?????? ???????, ?? ??????? ?????? ???????, ????????????? ??????????? ? ??????????? ? ??????? ?????????????, ???????
??????? ???????? ???????????? ?? ???????? ???????????; ? ?????? ??????????????? ?????????? ??????????? ?????????????? ?????????? ?? ????? ?????? ???????????? ???????? ???????????? ? ????????? ??? ???????, ?????, ????????, ????? ??????, ?????????, ??????? ??????, ?????? ??????? ? ??? ?????????? ????? ???????????? ? ?????? ?? ?????? ????????.
??????? ????????? ? Word, ?? ????????? ?????????? ???????? (Mathtype ??? Equation), ??? ????????????? ????? ???????????? ?????????? ????????; ??? ?????? ????? ??????? ?? ??????????? ??? ?????????; ??? ?????? ?????? ? ?????????? ?????????
????? ??????????, ?????????????? ???????, ????????? ?????? ? ????????; ??? ????????? ??????? ?????? ??????? ?? ???????????
???????? Other..., ??????????? ????????? ????????? ?????????, ?? ?????????? ?????? ???????? ? ???????? ??? ?????? ?????? ? ?????? ??????, ?? ???????????? ? ?? ???????? ????? ???????, ??????????? ? ?????; ? ???????? ?? ????????? ????????? ?????: + = ?.
??? ?????? ?????? ? Word ??????? ?? ??????????? ??????????? (?? ??????? ??????: «?????? ? ?????????» ? «???????????»), ?. ?. ???? ?????? ???????????? ?????? ??? ??????????? ????????????? ? Word ? ?? ?????????????? ???????????, ???????????????? ??? ???????????? ????????-?????? ???????.
??? ?????? ???????? ? ?????? ???????, ??? ???????, ???????????? ?????????? ???????, ?????????? ??????? ????????,
???????? ? ?????????? ? ??????? ??????, ??????? ? ??????? ? ?????? ?????????? ???????.
??????????? ? ????? ?? ?????c???????? ? ??????????????? ?????????? ????????? ???????, ???????????? ??????????????:
? ???????, ???????, ?????????, ????-????? ?????????????? ? ???? ????????? ???????? ??????, ??????????? ??????????????, ????????? ????????? ?????????: Visio 4, 5, 2002-2003 (*.vsd); Coreldraw (*.cdr); Excel (*.xls); Word (*.doc); AdobeIllustrator
(*.ai); AutoCad (*.dxf); Matlab (*.ps, *.pdf ??? ??????? ? ?????? *.ai);
? ???? ????????, ? ??????? ?? ?????????????? ???????, ?? ????????? ????????? ? ????????? ???????, ??????????? ???????
???????? (?????? ?? ????????? ? ????????? ???????), ????????, ? ?????? *.ai, *.esp, *.wmf, *.emf, *.svg;
? ???? ? ????????? ? ? ??????? *.tif, *.png ? ???????????? ??????????? (?? ????? 300 pixels/inch).
??????? ????????????? ???????? ??????????? (?????????? ?? ??????????? ???????? ??????????? ? ???????? ? ?????? ??????).
? ???????? ???????????????:
? ???????? ?? ?????? (???????, ???, ????????, ????? ??????, ?????????, ?????? ??????, ??????? ????????? ? ??? ??? ?????????, ?????? ??????? ? ??? ?????? ???????????, ??????? ??????? ?????????, ?????????? ??????? ??????????, ???????? ? ????????? ?????? ? ????????, e-mail), ???? ???????: ?????, ? ?????? ?????? ?? ????? ????, ?????? ???? ????? ????? ? ?????, ??????? ??????? ???????? ??????????? ??? ????? ? ????????? ?? ????, ???? ????? ??????????? ? ??????????? ???? ? ??????? *.tif,
*.png ? ???????????? ??????????? ? ?? ????? 300 pixels/inch ??? ??????????? ??????? ???? 40?55 ??;
? ?????????? ??????????.
?????? ?????????? ???????????? ?? ??????? ?????? ? ?????? ? ??????????? ????????? ???????:
? ??? ???? ? ????????? ? ??????? ? ???????? ???????, ?????? ???????? ????? (????????), ?????, ????????????, ???, ?????
?????????? ???????;
? ??? ?????????? ?????? ? ??????? ? ???????? ???????, ?????? ???????? ??????, ???????? ???????, ??? ???????, ?????
???????, ?????? ???????;
? ?????? ?? ??????????? ?????????? ??????? ?????? ?? ????? ????????? ??? ??????????;
? ??? ????????????? web-?????????? ?????????? ????? ????? ? ???? ?????????.
?????? ?????????? ?????????? ????? ?????????? ??????? ?? ???????? lit.dot ?? ????? ??????? (http://i-us.ru/paperrules)
?? ?????? ??????????: ?????????? ? ????? ??, References ? ???? ?? ??????? ??????????.
????? ???????? ??????? ?????????? ?????? ? ????????? ???????? ?? ????? ????? ? ??????? «?????????? ??????».
????????
????: 190000, ?????-?????????,
?. ??????? ??., ?. 67, ????, ???
????: ???????? ??????? «?????????????-??????????? ???????»
???.: (812) 494-70-02
??. ?????: ius.spb@gmail.com
????: www.i-us.ru
? 5, 2014
?????????????
??????????? ???????
33
???? ????????? ????????????? ??????? ? ??????????? ?? ????????? ????????? ??
?????????.
???????? ????? ? ?????????, ??????? ????? ? ????????? ????????????? ??????????, ????????????????????
???????????, ????????? ????, ???????????? MLP-?????????????.
????????
??? ??????????? ???????????? ???????????????? ??????? ?????????????-???????????
?????? ?????????? ????? ????????? ??????????, ????? ??????? ???????? ????? ?????????? ??? ????????? ????????????? ?????????
??????, ????? ????????? ?????????? ??? ??????? ??????????? ???????? ???????????????? ????????? ?????????????? ????????. ??????????,
? ???????????? ? ???????? ????????????????
???????????? ?. ?. ???????, ????? ???????
??????? ????????? ?????????? ? ?????????
???????, ? ????????, ? ??????????? ??????????? ?? ?????? ??????? ?????????? ? ?????
??????? ?????????????, ?????? ????????????,
????????? ??????? ??? ????????? ???????????????? ? ???????????? ???????? ???????????????? [1, 2]. ? ?????? ???????????????
?????? ? ????? ??????????-???????????????
????????? ?????? ? ?????????????? ?????????? ? ??????????????, ??????????????? ???
?????-???? ???? ?????, ??????????? ?????
????????????????? ??????????? ????????, ?????????? ????? ?????? ?????????. ????????
?????????????? ?????????????? ??????? ???????? ??????? ????? ? ????????? ??????????????? ?????????? ??????????? ??????????
(????) [3, 4].
? 5, 2014
?????????? ?????? ??????? ??????
????????? ?????????????? ??????? ?????
? ????????? ??????????
?????????????? ?????????? ???? ? ????
? ?????? ????????????? ?????????? ? ????????? ???????? ??? ?????????. ????????????????
???? ??????????? ????????????????, ????????? ? ?????????????? ??????????? ????????? ???????? ????????????? ????????????????
? ????????? ??????????????? ????????? ?????????? ?? ????????? ??????? ????????. ??????
??????? ??????????? ?? ????? ? ?????? ??????
????????? ? ???????????? ????????? ? ?????????? ???? ???????????? ????????? ???????.
????: 1. ????????? ?????????????? ???????
???? U i = u1i , u2i , ..., u ih, ..., u iH , h = 1, H, ???
H ? ????? ????? ??????? ?????????????? ????? ????? ? ??????? ????????????? ??????????.
?????????????? ?????? ????????? ?????????
????????, ??????? ?? ?????????? ?????????????? ?????????? ???????? ? ????????????? ?????? ? ?????????? ????????? ?????????? ????
????????? ???????????? ??????? ??? ????????.
2. ??? ??????? ??????????????? ????????
???? ??????? ????????? ?????????????? P(u)
??? ??????????? ??????????? ??????????? ????
???????: 1) ??????? ?????????????? ? 2) ??????? ????????????? ?? ???????? ??????????
(
)
?????????????
??????????? ???????
25
????????? ?????????? ? ??????????
? ???????????? ? ????????? ????????????
????????????????. ????????? ????? ???????
???? ???????? ???????????? ??????????,
?? ?????????? ??????????? ????????? ?????????? ???????????? ??????? ??????????
i
P i = יך P u1i , P u2i ,..., P uhi ,..., P uH
כ ( ) ( )
T
( )שת� , h = 1, H.
( )
3. ?????? Q ??????????? ????????????? ?????????????? (??????????????) ????? ????,
?????????? ?????????????? ??????????????
???????, ?????????????, ????????? ????? ??????????????? ????????? ? ??. ?????? ??????? ????? ??? ?????????? ?????????????? ?????????
? ???? ?????? ? ?????????? ?????? ?????????
?? ???????? ??????? ????????.
4. ? ???????? ????? ?????? ????? ?????? u ????? ?????????????? ????????? ???? ?????????? ???? wij, ? ???????? ???????? ???????????
???????? yi = wijf(P(ui)) ?????? ?? ???????????
????????? yj = wijf(P(uj)), ??????????? ?? ?????
??????? ??????? ???????? ????. ?????????
?????????? f(*) ???????????? ??????????? ??????????? ????????? ???????? ????????????? ?????????????? P(u) ??????????????? ????? u ? ?????? ??? ???? ????????? ???? ???????? [0, ?, 1].
5. ???????? ????????????? ???? ????????
?????????? ?????????????? ?? ????????????? ??L
{ }i=1, i = 1, L,
??????????? ?????????? ??????? Xi
?????????????? ? ???????????? ??????? ??????? t i, i = 1, L ???????????????? ????. ???,
???????? ?????????? ??? ????? ????? ???????
?????? ???????? ?????? ???????? ??????????
?????????? ????????, ??????????????? ???????????? ????????????? ????????????? f(P(?)) ?
???????????? ??????????? ???????, ?????????????? ? ???, ??? ???????? ??????????? ???????? ? ????????????? ??????????? ? ????????????
??????????????? ????????? ?????????????
???????????????? (????????).
6. ????????? ???????????? ???? ????????
????????? ???????? ???????????? ?? ??????????? ????????, ????????????? ? ?????? ???????
L
????????????? ????
{d ij}nj=31, j = 1, n3; i = 1, L;
i=1
n3 ? ?????????? ??????? ???????????? ???????? ?????????????? ?????????????? ????.
????????, di = [f(D1), f(D1), ?, f(DN), f(E1), f(E2),
?, f(EN), f(T1), f(T2), ?, f(TN)]T, ??? f(DN) ? ?????????? ????????????? ????????????? ???? ????????? N-?? ??????? ??? ????????; f(EN) ?
?????????? ???????? ?????????? ??????????
?????????; f(TN) ? ?????????? ?????????????
????????????? ???? ????????? N-?? ??????? ???
????????.
?????: 1. ????????? ? ????????? ??????????? ?????? F ?????????????? ????????? ????,
26
?????????????
??????????? ???????
??????????? ?????????? ????????? ????????
????????????? ????????????
L
{Xi }i=1, i = 1, L
??????? ????????????? ?????????? ?????????
?? ?????????
L
{Zi }i=1, i = 1, L
???????? ?????-
??? ??????????? ???????? ???? ??? ???????????? ?? ???????? ????????????? ????????????? ??-
(
)
(
)
?????? ???????????????? f P (u1i ) ,..., f P (u iH )
?????????????? ??????? ?? ?????????????
??????? ???????? ????.
2. ??????????? ???????? ???? ?? ?????????
(
)
i
U i = u1i , u2,..., u hi ,..., u iH , h = 1, H, ???????????
?????????? ??????????? ?????????? ????????
???? ?? ?????? ?????? ?? ????????.
??? ????????????? ?? ???????? ????????????? ???????????? ???????? ????????????????
(
)
(
)
f P (u1i ) ,..., f P (u iH )
?????????????? ???????
?? ????????????? ??????? ???????? ????
??????????????? ???????????, ?????????????
??? ??????? ?? ????? ??????? ???? ? ?????????? ??????????????????? ??????? ??????????? ?
( ( ))
(???) ??????????? ???????, ?. ?. f P u ij = 0, ???
? ???????????, ????????????? ???????????? ???????????????? ??????? ????.
?????? ??????????-???????????????
?????????
? ?????? ??????? ???????????? ?????? ? ?????????????? ?????? ??????????-??????????????? ????????? ????? ??????? ???????? ?????????????? ???? ? ?????????? ??????????????
????. ??????????-??????????????? ???????????
(??????, ????????????? «????-?????» ???? ? ??????? ??????????????? ????????? ????????),
??????? ? ?????? ????????? ????, ??????????
?? ??????? ???????? ??????? ????????????????
??????? ??????? ????????????? ?? ?????? ?????????? ?????????????? ???? [5, 6]. ????? ??????
????????? ????? ??????????? ??? ????????????? ????????? ? ?????????????? ?????????? ? ?????????????? ????????? ?????????? ??????????
?????????????? ????, ???????? ?????, ??? MLP??????????????? (Multilayer perceptron ? ???????????? ???????????? ???????????, ????????? ??
???????????? ?????? ????????? ???????????????
??????). ??????? ??????? ???? ? ??????????
?????????????? ???? ???????????? ???. 1.
???????? ??????? ???? ? ???????? [5, 6],
????? ?????????????? ?????????????? ????? ???? ????? ??????????? ? ???? ??????????
?????????????? ????? ??????????????? ???????????. ?????????? ?????? j-? ??????? ????
? 5, 2014
????????? ?????????? ? ??????????
??????????? ??????? ????
?? ?????? ???????????? ?????????? ?????????????? ????
??????????? ???????????? ?????????
? ???????? ? ????
???????????????
??????????????
?????????
.
.
.
??????????,
?????????????
????????
????????
? ?????????
???????
??????????? ?????????
?????????? ?????????????
? ????????? ??????????
?????????
????????????
????????????
????????
??????????? ?????????
?????????? ?????????
? ????????? ???????
?????????
? ???. 1. ??????? ???????? ???????????? ???????? ? ?????????? ?????????? ?????????????? ????
????????? ?? ?????? ?????? ????????? ? ??????
[5] (???. 2). ??????? ????????? ??????? ??????????? ??????????? ???????????? ????????????
?????? Rn ? ????? R1:
(
k
)
f (sj ) = f P (uj )
זn
צק
k-1
= f חחחו wij f P (ui )
- bj קקק,
חטi=1
רק
(
)
(1)
??? f(sj) ? ????????? ?????????????? ??????????, ???????? ???????? ???? ??????????? ??????????? ???????????????? j-?? ????? ????
? ???????? ???????? [0, 1]; n ? ?????????? ?????????? ?????????????? ??????????? ??????????? ???????????????? j-?? ????? ?? k-? ?????? ???????? ????; wij ? ???????? ???????????? ?????????????? ????? ????? i-? ? j-? ??????????????? ??????????; P(ui)k?1 ? ??????????? ??????????? ???????????????? i-?? ?????
?? (k ? 1)-? ?????? ???????? ????.
? ???????? ??????????????? ??????????? f(*)
????????? ?????????? ????
f (x) =
f(P(u1))k?1
f(P(u2))k?1
..
.
f(P(un))k?1
w1j
w2j
..
.
1
1 + e-ax
,
(2)
bj
6
sj
f(s)
f(sj) = f(P(uj))k
wnj
? ???. 2. ??????? ?????? ????, ??????????? ??????? ??????????? ???????????
? 5, 2014
??? x ? ?????????????? ????????? ???? ??????????? ???????????????, ????????????? ???????????????? ???????? ????, ?¥ < x < ¥.
??????????????? ?????? ? ???????????? ??
????????? ???????? ???????? ???????????????? ???? ?????????????? ????????????? ???-
{
??? wijk , i, j = 1, nk
}
N
, ??? N ? ?????????? ????-
k=1
??? ????????, ????? ????????????? ??? «?????
????», ?? ???? ???????? ????????? ?????????
?????? ?. ???????? ?????? ?? ?????????????
??????? ???????? ???????????? ???????????????? ?????????????? ?? ????????????? ????????????? ?????????? ??????? ?, ??????????????
? ???????????? ??????? ???????, ? ?? ??????
??????????? ????????? ?????? Y, ??????????????? ?????????? ???????? ????, ?????????????? ? ?????????? ???????????????? ???????
??????.
? ??????? ?????? ??????????-??????????????? ????????? ?? ?????? ??????????? F:
Rn ? Rm n-??????? ??????? ? = (?1, ?2, ..., ?n)T
???????????? ????????????? ?????????????
?????????? ?????????? ????????? ? m-??????
?????? Y = (y1, y2, ..., ym)T ??????????? ????????
???? ??????????? ??????????? ??????? ?????????? ?yi = ?wijf(P(ui)). ??????????? ??????
???? ??????????? ? ?????? ???????? ???????????????????? ??????????? ??????????????
??????? Y = (y1, y2, ..., ym)T ??????????? ????????
???? ??? ?????? ?? ???? ??????? ? = (?1, ?2, ...,
?n)T ???????????? ????????????? ????????????? ?????????? ?????????? ?????????. ??????
????????? ???? «?????? ?????» ????????? ???
????????? ????????? ? (???) ?????????? ????????? ???? ?? ?????? ??? ?????????????
?????????????
??????????? ???????
27
????????? ?????????? ? ??????????
??????? ???????? ??????????? ?????? F ???
??????????? ???????????? Y ??? ???????? X
?? ?????.
???? ??? ? ????????? ???????????? ??????????? ????????? ????, ??????????? ??????????????? ?????? ?????? ???? ????????? ????????? ????? ? ?????????????? ????????? «???????? ? ????????», ?????????? ?? ???????????? ??????????????? ?? ?????? ?????-?????
???????? ????????? ???????, ?????? ?? ??????? ??????????? ????? ??????? ???????? X ?
?????????? ??????? ??????? Y [7]. ????? ???
??????? k-?? ?????? ???????? ???? ??????? ????????????? ????? ???????????? ????????????
??????, ?????? F ??????? ????????? ???, ?????
?????????????? ????????? ??????? ??????? ?
?????????? ???????????? ???????? Yi ?? ????????? Di, ?????? ???? ??????? ??????? ???????????? ?? ??? ???, ???? ????? ?????? F ?? ??????
??? ??????? i ????????????? ???????? ?i < ?.
? ?????????????? ????? ?????? ??????? ???????
?????? ???? ? ???? ?????? ???????? ? ??????????? ?????????? ???????? ???????? (???????
??????? ? ???????????? ???????? ????????????? ????) ?? ????????????? ????? wij ? ?????
????????? ??? ? ??????????? t, ??? ? ??????????
k = 0, 1, 2, ... ???????.
? ?????????? ????????????? ?????? ??????
???? ???????????? ????? ??????????? ???????? ??????? ??? ??????? j-?? ???????????? ???????? ????:
2
1
1
Ej (k) = e2j (k) = dj (k) - P (uj (k)) =
2
2
(
)
צ2
זn
1 זח
קצק
= חחdj (k) - f חחחו wij xi (k)קקקקקק
קררק
2 טחח
חטi=1
(3)
? ??????? ???????????? ?????????
wij (k + 1) = wij (k) + ?(k)? j (k)xi (k),
(
)
??? ? j (k) = ej (k)f ¢ P (uj (k)) =
¶Ej (k)
?????? ?????????
??????????-??????????????? ?????????
??? ?????? ???????? ??? M ??????? ????????
? ???????? ????? ????????? ?? ???????? ???????
?????????? ????????????? ????????? ?????????
??????????????? ???????? ??????? ???? (3) ????????????? ? ??????????? ??????????? ?????????????? ????????? ???? (???. 3).
???????? ?????????? ? ??????? ????????? ?????-????? ?????? ? ???? ?????????????????? ??? ????????? ???????? «???? ? ?????»,
?????????? ????????? ??????? ???? «??????
?????????????? f ?? ????????????? ????????????? P(?) ?????????????? ?????????? ??????? ? ?????? ?????????????? f ?? ?????????
???????? ??????????? ???????? ????». ?? ???. 3
s ? ???????? ????????????? ????????????,
ons
?????????? ??? ????????? ????? ? ?????????
?????? ????. ????????? ???????? ??????????-
(4)
? ??????-
¶P (uj (k))
??? ?????? ?? ?????? ???????????? ????????
???? uj; f(*) ? ?????????????? ??????????
???? (2).
??????????????? ?????? ?????? ????, ?????????? ?? ??????????? ???????????? ?????????? ???????????, ????????? ??? ??????????
?????????? ?????? [8], ? ?????? ???????? ??
?????? ???? ??????????? ???? wij, ? ????????
???????? ????????? ???????????? yi = wijf(P(ui))
?????? ?? ??????????? yj = wijf(P(uj)), ??????????? ?? ??????????? (????? ???????) ??????? ???????? ????. ? ?????? ???? ??????????
???????? ???? ?? ??????? ???????????? ? ????
????????? ????????????, ???????????? ? ??????? ???????? ?? ???? ??????????? ?? ????
28
??????? ??????????? ??????? f(*), ??? ???? ?????????? ??????? ??????? ?????????????????,
?????????????????, ? ????? ???? f(*) ????????
?? ????????????, ? ??????????, ?? ??????? ????????? ???????????? ????????? ???????????????? ??????? ?????? F [9].
?????????????? ?????????????? ?????????
???? ????????? ???????????? ??? ???????????????? ??????? ???????? ????????? ??????????????? ?????? ??? ?????????? ??????-??????? [10,
11]. ?????? ????????? ????????? ????????? ??????????????? ?????? ??????? ??????????? ?????? ?????? ??????? ? ?????????? ?????? ????????? ???? ?? ??????????????, ?? ????????
? ???????????? ?????????? ???????????????
??????????? ? ????????????? ??????? (????????????) ???????????.
?????????????
??????????? ???????
Oi
f(6)
x1
w111
o11
.
.
.
w211
f(6)
O2
.
.
.
Oj
.
.
.
On
1
. oah
x2
.
.
w1ih
wa2hm
w2hm
.
.
.
.
xn
f(6)
w1n
n1
o21
f(6)
w311
.
.
.
.
o2m
2
oam
w3mj
f(6)
w2n1n2
f(6)
d1
} G1
f(6)
o3j = yj
dj } Gj
.
.
.
.
.
.
.
.
o1n1
o31 = y1
.
.
.
.
f(6)
o1h
f(6)
xi
f(6)
o2n2
w3n2n3
f(6)
o3n3 = yn3
dn3 } Gn3
? ???. 3. ?????? ????????????? ??????????? ?????????????? ????????? ????, ????????????
?? ????????? ?? ???????? ?????????????? ????????? MLP-??????????????
? 5, 2014
????????? ?????????? ? ??????????
??? ???????????? ?? ????????????? ??????? ???????? yi = wijf(P(ui)) ????????? ???? ??
???????? ??????????????? ????????? ?????
ui, ???? ??????? ??????????????? ????????
f(P(ui)). ??? ?????????????? ????????? ????
????? ??????????? ?? ?????? yj = wijf(P(uj))
? ???? ???????? wijf(P(uj)) = y¢j ? (???) ??????????
?j1 < wijf(P(uj)) < ?j2, ?????? ???????? ?? ???. 3
?????????.
???????? ???????? wij = 0,5 ?? ?wij, ??? ? ?
????????? ????????? ????????, ??? ???????,
?????????????? ?? ???????????? ?????? ? ????????? [0, ?, 0,1]. ????????? ???????? ????????? ??????? ?????????????? f ?? ?????????
???????? ??????????? ???????? ???? ?????????
?? ??????????? ????????, ???????? ??? ?????????????? ????????? ??????? ?????? ?????????????? ????????? ????. ??? ???????, ???
??????? ?????, ??????????????? ?????????
???????? ??????? ? ????????? ???????????????
???????.
??? ????????????? ????????? ??????????
???????????? ???????? ???????????????? ??????? ?????? F, ????????????? ? ?????????
????????????? wij ???? ??????? (?????) ?????
???????, ????? ??????????? ????? ????????
? ??????? ????????? ???? ????????????????
? ?????? ?????????? Ej(k). ?? ????? ???????, ???
???????? ??????? ???????????? ????? ????????? ?????? ?????????? ?????????? ????????????????? ??????? ??????? ?????? ?? ?????????
???????? {yj = wijf(P(uj))}. ?????? ????? n0 ??????, n1 ????????? ? ?????? ??????? ????, n2 ????????? ? ?? ?????? ? n1 ????????? ? ? ???????? ????, ? ????? ?????? n1 ¹ n2 ¹ n3. ??????
??????? ?????? ??????????????? ?? ??????
?????-????? ????????? ??????? ???????????? ????? ?????? x = [x1, ?, xi, ?, xn0]T, ????????
?????? y = [y1, ?, yj, ?, yn3]T ? ??????? ??????
d = [d1, ?, dj, ?, dn3]T.
? ???????? ???????????????? ??????? ?????? F ?????????? ?????????? ??????????? ??????????????? ????? ???????? ?????????? ???????? yj(k) ? ??????? dj(k) ???????? ??? ????
j = 1, 2, ..., n3 ? k. ??? ????? ?????????? ?????????? ??????? ??????? ????
2
1
Ek = ו E(k) = וו(dj (k) - yj (k)) =
2 k j
k
=
1
וו e2j (k).
2 k j
(5)
?????? ??????? ??????? ????????????? ????????? «????????? ????????», ????? ?k ?????????????? ????? ?? ???? ????????? ???????.
[ s]
??? ????? ????????? ???? ????????? ?wji (k),
??? s ? ????? ??????, ??????????????? ??????? ?????????? [12], ????????? ????????? ???? 5, 2014
???????????? ?????? ???????????? ? ???????
???????
E (k) =
n
n
n
3
2 1 3
1 3
dj (k) - yj (k)) = ו e2j (k) = ו Ej (k). (6)
(
ו
2 j=1
2 j=1
j=1
? ?????? ?????????? ?????????? ????????
? ?????????????? ?????? ? ?????? ?????? ????????? ???? ??? ??????? ???????????? ??????????? F: Rn ? Rm n-??????? ???????
? = (?1, ?2, ..., ?n)T ???????????? ?????????????
????????????? ?????????? ?????????? ????????? ? m-?????? ?????? Y = (y1, y2, ..., ym)T ??????????? ???????? ????? ???????????? ????????
?????????? ? ??????????. ?????? ???????? ???????????? ????? ??????? ???????? ???? (? ??????????? ???????? ?? ??????? ? ?????), ??? ?????????
???????? ????????? ??????????????? ??????, ???????????? ??????????? ???????????. ??? ?????????? ?????????????? ?????? ? ?????????
?????????? ? ?????????? ??????? ????? ???????????????? ? ???? H = JTJ. ? ?????????? ????????
???????? ????????? ??????? ????????????? ? ??????? ???????? ?????????????? ????????? ??????????? ????? ???????????? J ?????, ?????????? ??????? ??????????? ??????? ??????? ?????? ??????? ????????????? ? ????????? ???????
[13]. ???????? ??????? ?????? F ???????? 6 ?????.
1. ?????????? ????????? ???????? ??????????? ? ??????????????? ?????????? m, w0,
r > 1, v0.
2. ?????????????? ???????????? ? k-? ???????? ?? ??????? g(wk) = [J(wk)]Te(wk).
3. ??????????? ??????? G(wk), ???????????????? ???????: G(wk) = [J(wk)]Te(wk) + R(wk).
?????????????? ????????????? R(wk)=vkI, ???
vk ? ???????? ?????????? ? ??????????: G(wk) =
= J(wk)JT(wk) + vkI.
4. ??????????? ??????????? ???????? ? k-?
????????: h = ?G?1(wk)gk.
5. ??????????? ???????? vk ???????? ???????
זv
צ
vk -1
??? Eחחח k-1 קקק £ Ek ;
ט
r
r ר
ז vk-1 צק
vk = vk?1 ??? Eחחח
ק > Ek ? E(vk?1) > Ek;
ט r קר
זv
צ
vk = vk?1rm ??? Eחחח k-1 קקק > Ek ? E(vk?1) > Ek.
ט r ר
vk =
6. ??????????? ?????? E ?? ????????? ???????, ? ???? ?????? ???????????, ???????????
???? 2?6.
????????????? ???????? ???????? ?????????? ? ?????????? ?????????? ??? ?????? ???????? ??????????? E ??????????????? ?????????
???????? ????????????? ? ???????????? ??????
? ???????????? ???????????? ? ????? ?????????
?? ?????? [5, 14].
?????????????
??????????? ???????
29
????????? ?????????? ? ??????????
???????????? ??????????? f [s] (x) =
?????????? ??????
??????????-??????????????? ?????????
??? ?????????? ?????????????? ????
?????????? ???????? ?????????? ?????? ?????????????? ????????? ???? ? ?????? ?????? ??????????-??????????????? ????????? ???
?????????? ??? ? ????????? ????? ????, ???
? ? ????????? ???????????? ??????? ??? ????????.
????? ? ?????????? ????????? ? ????????? ???????????? ??????? (??? ????????) ??? ???? ?????????? ??????????? ?? ???????? ????????????? ?????????? ?????? ??? ?????????? ?????????????? ??????? ????. ??? ???? ????????
????????? ??????? Q ????????? ? (???) ????????
????????? ????? ???? ?, ??????????????, ???????? ???????? ????????????? ?????? ? ??????????????? ??????????? ?????? ????. ??? ????
????????? ???????????:
? ??????????? ???????? ???? ???? ?????????
wij[s] ? f ( P (u j)) = y ¢;
(7?)
? ??????????? ???????? ???? ???? ??????????
[ s]
(7?)
< ? 2j ;
?1j < w ij ? f P uj
( ( ))
? ??????? ???? ????????????????
wij[s] ? f ( P (u j)) = 0.
(7?)
??????????? ?????? F ????????????? ??????????? ?????? ??????????????? ????.
???????????, ??? ??? ??????????? ?????????
?????????? ?????????? ??????? ??? ????????
??????????? ??????????? ???????? ????????????? ??????? ????. ????? ???????? ?????????
????????? ?? ?????? ????????? ???? ?? ????-
( ( ))
?????? ???????????? w ij ? f P uj[s]
?????? F
? ??????????? ??????????? ????????? ????
?? ????????? U i = (u1i , u2i ,..., u ih,..., u iH ), h = 1, H,
??????????? ?????????? ??????????? ?????????? ???????? ???? ?? ?????? ?????? ?? ????????, ???????? 7 ?????.
1. ?????? ?? ??????? ???? ?????? F, ??????????????? ??????? ?????? ???????? ????
??????? Xk, ??? k ? ????? ??????? ?????????
???????, ??????????? ???????? ??????????
???????????? ?? ????????????? ?????????????
?????????? ?????????? ????????? f(P(?)), ?. ?.
???????? ??????????? ?????????? ??????? ???
????????.
2. ?????????? ?????????? ???????? ????????
{w ? f (P(u ))}
ij
[ s]
j
???????????? ??????????-
??? ????????????? ???? ??????????? ???????
???? ? ?????? ??????????? ???? (7?)?(7?) ? ??30
?????????????
??????????? ???????
1
1 + e-?
[s]
x
,
j = 1, n3 .
3. ?? ????????? ???????? ??????? Dk, ???
k ? ????? ??????? ????????? ???????, ? ??????????? ????????????? ??????? oi[s] (k) , ???
k ? ????? ??????? ????????? ???????, ??????????????? ??????????? ?????? ???????????????? ????, ?????? ????????? ?????? ?[is] (k)
??? ???? ????? ??????.
4. ?????? ???????? ???? ????? wij[s] ???[ s]
[ s] [ s]
?????????? ?????? ? ???? ?wji (k) = ?? j xi ,
s = 1, 2, 3,..., ??? s ? ?????????? ????? ?????? F
??? ??????? ???????? ????.
5. ?????? ?? ???? ? ????????? ?? ?????? ?????? ?????????? ?????? (Xk, Dk) ?? ????????? ???????, ??????????????? ????????? ??????????????? ????, ? ?????????? ????? 1?4. ???????
???????? ???????????? ?? ??? ???, ???? ??????
? ???????? ???? ?????? ?? ?????? ?????????????
???????? ???????? Ek (5), ? ????????????? ???
«???????????» ????????? ???? ???? wij[s] ?????? F ??????????????? ?? ????????? ???????.
6. ???????????? ?????? ???????? ???????-
( ( ))
[ s]
??? ???????? ???????????? w *ij ? f P uj , ???
w *ij ????????????? ???? ?????? ???????? ? «???????????» ????, ? ????? ??????????? ??????????? ? ??????? ?? ????????? ???????????? wij
(????????? ??????????????? ????) ? ????????????? ????????? ????????? ??????? (2).
7. ????????????? ????????? ? ???????? ??????? ?? ??????????? ??????????? ? ????? ????????? ??????????? ????????????? ?????????
[ s]
???????? ????, ???????????? ? w * ? f P uj
ij
( ( ))
?????? F.
????? ???????, ???????????? ????????? wij
???????????? ?????? ????, ???????????????? ??????????? «????/?????» ??? ?????????
??????? ???????????????? ????, ? ????????? w*
ij ?????????? ? (???) ?????????????? ?????????????? ?????? «???????????» ???? ???
????????? ??? ?? ??????? ????????????????. ??? ?????????, ??????????????? ??????-
( ( [s] ))
, ??????????? ? ???????????? w *ij ? f P uj
???? ??????????? ???????? ???? ?? ?????????
U i = (u1i , u2i ,..., u ih,..., u iH ), h = 1, H. ??? ???? ??????? ?????? ?????????? ??? ?????????? ??????? ???????????????? ???? ?? ?????????? ????????? ?? ? ?????? Y, ? ????? ????????????? ???????? ?????????? ?????? F. ?????
???? ? ????????????? ?????? ???????? ?? ?????? ??????????????, ?? ? ????????, ?. ?., ? ????? ???????, ?????? ????????????? ?????????? ????????? ??????????, ??????? ???????? 5, 2014
???????? ????????, ? ? ?????? ? ?????????? ?????????? ??? ??????????? ????? ????? ??????? ??????? ???????? ?????????????? ????????? ????.
???? ????????? ????????????? ?????????
?????????????? ????????? ????, ?????????
?? 6 ??????? ???????? (???. 4, 5), ??? ??????? ?????????????? ????????? ???? [15]
[s]
?wij (? ) =
?
[s]
[s-1]
ו ? j (k)oi (k) +
n s-1(1 - ?) k
[s]
[s]
+ ??wji (? -1) - ??wji (? ) + e(? ),
(8)
??????????? ??????????
????????? ????????????????
??????? ?????? F ??????????
??????????????? ????
1
2
3
0
2
4
6
8
10 12 14 16 18 20
? ???. 5. ??????????? ??????????? ?????????? ????????? ?????????? ? ?????????? ?? ?????????? ??????????? ?? ??????????????
??????????? ????????? ???? ?? ?????????? ????????????? ???????: 1 ? ??????????? ???? ??????????? (7?); 2 ? ??????????? ???? ????????? (7?); 3 ? ???????? ???????????????? (7?)
?????? ? ??????????? ?? ?????????????? ?????????, ???? ??????????? ? ?????????? ?????????? ????????? ????. ??????????? ?? ???. 4
? 5 ???????? ????????? ???????? ?????????????? ?? 100 ? 60 ????????????? ? ?????? ?????;
?????????? ? ??????????? ? = 0,01. ?????????? ?????????????? ????????? ?? ????? ????? MLP-???? 50/40/30/20/10/5 ? 20/18/16/14/
10/5.
??????????????? ?????? ????????? ??????????????? ???? ? ??????????????? ??????? ???
???????? ????????? ??????????? s-?????????
????? ????????????? ?????? wij[s] , ?????????????? ?????????? ??????????? ????????????
?????? ? ???????????? ??????? ?? ?????? ????????????? ??????? ??????????? ??????????
???????, ??????????? ? ???????? ????.
??????????
1
2
3
4
0
2
4
6
8
10 12 14 16 18 20
?????????? (? % ?? ?????? ?????) ????????? ????
? ????????????? ???? ??????????
? ????????? 0,5 ?? ???????? ????????? f(P(u))
? ???. 4. ??????????? ??????????? ?????????? ??????? ????????? ???????? ???????????????? ??????? ?????? ???? ?? ??????????
????????? ? ????????????? ???? ??????????: 1 ? ???????? ?????????? ? ??????????; 2 ? ???????? ??????????? 1-?? ??????? ??? ?????????? ??????? ??????? (5);
3 ? ???????? ??????????? 1-?? ??????? ??? ????????? ??????? ??????? (6);
4 ? ???????? ?????????? ??????
? 5, 2014
1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
?????????? (? % ?? ?????? ?????)
???????????? ????????? ???? ? ????????????
??? ? = 1, 2, ... ? ????? ???????? ????????? ?????; 0 < ? < 1 ? ???????? ????????; ns ? ?????????? ????????? ???? ?? s-? ?????? ????????;
?? ? ???????? ?????????????; ? = 10?3¸10?5 ?
????????, ?????????????? ??????? ???????? ??
????????????? ??????????? ??????? ????? wij[s] ;
e(?) ? ??????? ????????????.
? ?????? ??????????? ?? ???????? ????????????? ??????????? oi[s] (k) ????????? ????
?????? ??? ????????????? ???????????? ?????[ s]
[ s]
???? wij = wij ¢, ??????????? ?? ????????? k
???????? «???????????» ????????? ???????.
?? ?????? ?????? ? ???????? ???????? (???????????? ? ????? ?????? ???????????? ????) (n3´1)??????? ??????? ???????????? ???????????? ???????? ?????????????? ??????????? ???????????
???????? ???? ??????? D ? ?????????? d1 = f(D1) =
= 0,99; ? dz = f(Dz) = 0,99; ? dn ?1 = f(C) = 0,01;
3
dn = f(T) = 0,01.
3
?????? ?????????????? ???????? ????????? ??????? ???????? ???????????????? ???????
1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
??????????? ??????????
????????? ????????????????
??????? ?????? F ????????
??????????????? ????
????????? ?????????? ? ??????????
?????????? ??????????????? ???????? ?????????? ??????????? ? ????????? ? ??????????
????????? ??????????????? ?????? ? ???????????? ?????, ???????????? ??????????????
?????????????? ????????, ????????? ??????????? ?????? ????????? ??????????? ????????
???? ? ??????????? ? (???) ???????????????
?????????? ??? ? ????????? ??????????????
???????? ??? ?????????, ??? ? ? ????? ????.
? ??????? ?????? ???????? ??????????, ? ????? ?????????????? ???????? ? ?? ???????
(? ?????? ?????????????? ??????????? ?????????? ????????? ????? ??????? ??????) ?????????? ???????? ???????? ?????????????? ?????,
??? ???? ????? ??? ??????????? ?? ???? ???
??????/??????? ?????????? ???????? ?????????? ???????? ???? ??????? ?? ?????? ??????
?? ????????.
?????????????
??????????? ???????
31
????????? ?????????? ? ??????????
??????????
1. ?????? ?. ?. ??????? ?????. ???????????????
?????? ? ????????. ? ?.: ???, 2000. ? 368 ?.
2. ?????? ?. ?. ??????? ???????????. ??????????
??????? / ?? ????. ? ?., 1974. ? ?. 5?20.
3. ??????? ?. ?., ?????? ?. ?., ??????? ?. ?. ??????????? ???????? ?????????? ?????????? ???????????? ?????????? ?? ???? ???????? ?????????? //
?????????????-??????????? ???????. 2006.
? 5. ?. 2?5.
4. Nazarov A. V., Kozyrev G. I., Shklyar S. V. Prognostication of Technical for Low-Orbit Spacecraft with
the Use of Neural Networks//Cosmic Research. 2002.
Vol. 40. N 6. P. 594?604.
5. Haykin S. Neural Networks: A Comprehensive Foundation. ? N. Y.: MacMillan College Publishing Co,
1994.? 1104 p.
6. ???????? ?. ?. ??????????????? ? ???????????
??????? ??????? ??? // ?????????? ????????????????. 1995. ? 5. ?. 3?48.
7. ??????? ?. ?. ???????? ??????????????? ? ???????????? ?????????? ???????? // ???????????????: ?????????? ? ??????????. 2007. ? 2?3.
?. 24?28.
8. ??????? ?. ?., ???????? ?. ?., ??????? ?. ?. ???????? ?????????????? ????????????? ? ???????
??????????? ?? ????? ? ?????????????? ?????? ??????????? // ?????????? ? ????????????. 2009.
? 11. ?. 70?79.
9. ????????? ?. ?., ??????? ?. ?. ????????????? ????????? ????: ???????????, ????????, ??????????. ? ???????: ???????, 2004. ? 369 ?.
10. ??????? ?. ?., ???????? ?. ?. ???????????? ????????? ??????????????? ? ??????????? ??????. ?
???.: ????? ? ???????, 2003. ? 384 ?.
11. Werbos P. Backpropagation Through time. What it
Does and How to do it // Proc. IEEE. 1990. Vol. 78.
P. 1550?1560.
12. ??????? ?. ?. ????????? ???? ? ??????? ????????????. ? ?.: ????????????, 2009. ? 432 ?.
13. ???????? ?. ????????? ???? ??? ????????? ??????????. ? ?.: ??????? ? ??????????, 2004. ? 344 ?.
14. Amari S. Dreaming of Mathematical Neuroscience
for Half a Century // Neural Networks. 2013. N 37.
P. 48?51.
15. Cichocki A., Unbehauen R. Neural Networks for
Optimization and Signal Processing. ? Stuttgart:
Teubner, 1993. ? 526 p.
UDC [519.85+519.71]:681.5
Method of Structurally-Parametric Adaptation Multilayer Systems of Information Processing with usage of Quality
Local Functionals
Nazarov A. V.a, PhD, Tech., Associate Professor, naz_av@mail.ru
aA. F. Mozhayskii Military Space Academy, 13, Zhdanovskaia St., 197082, Saint-Petersburg, Russian Federation
Purpose: A wide class of application-oriented tasks deal with reallocation of restricted resources in hierarchical systems to
provide extremes for the output quality coefficients, when the functionals of the internal level elements quality are restricted.
If these tasks have big dimensionality, there are methodological problems of developing optimal models of distributed informationprocessing systems which function under the conditions of nonstationary changes of the local quality functionals. The aim of this
work is developing a model and a method of structurally-parametrical adaptation of hierarchical big-dimensionality systems, localizing
the changes of structural elements quality functionals. Results: Application of advanced mathematical apparatus of optimization
methods combined with the error backpropagation algorithm in multilayer MLP-networks gave rise to the model in which the quality
parameters of the measurement information collection/processing system are adapted to the structural and/or parametric changes of
the information. The problem was formulated of synthesizing an input/ouput multidimentional adaptation model for a distributed
system of measurement information collection/processing. Taking into account the similarity of hierarchies of the modelled processes
and the architectures of the homogeneous computing environments, the modelling used the multilayer MLP-qualifier architecture.
The method of structural-parametric adaptation of hierarchical systems was developed, with the usage of structural elements quality
functionals. Practical relevance: The model is useful in defining the adjustments of functional elements at various hierarchical levels,
proceeding from the given quality functional for the whole system at the top level of its hierarchy. The dependences were obtained which
help to select an algorithm for the parametric synthesis of a hierarchical system information structure model, depending on the state of
a set of its elements.
Keywords ? Adaptation, System of Measurement Information Collection/Processing, Multiparameter Optimization, Neural Nets,
Multilayered MLP-Qualifier.
References
1. Turchin V. F. Fenomen nauki. Kiberneticheskii podkhod k
evoliutsii [Science Phenomenon. The Cybernetic Approach
to Change of Aircraft Attitude]. Moscow, ETS Publ., 2000.
368 p. (In Russian).
2. Tsypkin Ia. Z. Voprosy kibernetiki. Adaptivnye sistemy [Cybernetics Questions. The Adaptive Systems]. Moscow, Nauka Publ., 1974. Pp. 5?20 (In Russian).
3. Maltsev G. N., Stogov G. V., Terekhov A. V. The Prospects
of Spacecraft Control System Creation on the Basis of Key
Technologies. Informatsionno-upravliaiushchie sistemy,
2006, no. 5, pp. 2?5 (In Russian).
32
?????????????
??????????? ???????
4. Nazarov A. V., Kozyrev G. I., Shklyar S. V. Prognostication of
Technical for Low-Orbit Spacecraft with the Use of Neural
Networks. Cosmic Research, 2002, vol. 40, no. 6, pp. 594?604.
5. Haykin S. Neural Networks: A Comprehensive Foundation.
New York, MacMillan College Publishing Co, 1994. 1104 p.
6. Galushkin A. I. Neurocomputer in Development of Military
Technology of the USA. Zarubezhnaja radioelektronika,
1995, no. 5, pp. 3?48 (In Russian).
7. Nazarov A. V. Algorithm of Forecasting in Space of Situation Parameters. Nejrokomp?jutery: razrabotka i primenenie, 2007, no. 2?3, pp. 24?28 (In Russian).
? 5, 2014
????????? ?????????? ? ??????????
8. Vahitov A. T., Granichin O. N., Gurevich L. S. Algorithm
of Stochastic Approximation with Trial Perturbation on an
Input in the Non-Stationary Task of Optimization. Avtomatika i Telemehanika, 2009, no. 11, pp. 70?79 (In Russian).
9. Bodianskii E. V., Rudenko O. G. Iskusstvennye neironnye seti: arkhitektury, obuchenie, primeneniia [Artificial Neural Networks: Architectures, Tutoring, Applications]. Khar?kov, Teletekh Publ., 2004. 369 p. (In Russian).
10. Nazarov A. V., Loskutov A. I. Neirosetevye algoritmy prognozirovaniia i optimizatsii system [Neural Nets Prediction
Algorithms and Optimization of Systems]. Saint-Petersburg, Nauka i Tekhnika Publ., 2003. 384 p. (In Russian).
11. Werbos P. Backpropagation Through Time. What it Does
and how to Do it. Proc. IEEE, 1990, vol. 78, pp. 1550?1560.
12. Tatuzov A. L. Neironnye seti v zadachakh radiolokatsii
[Neural Networks in Radiolocation Problems]. Moscow, Radiotekhnika Publ., 2009. 432 p. (In Russian).
13. Osovskii S. Neironnye seti dlia obrabotki informatsii [Neural Networks for Information Processing]. Moscow, Finansy i statistika Publ., 2004. 344 p. (In Russian).
14. Amari S. Dreaming of Mathematical Neuroscience for Half
a Century. Neural Networks, 2013, no. 37, pp. 48?51.
15. Cichocki A., Unbehauen R. Neural Networks for Optimization and Signal Processing. Stuttgart, Teubner, 1993.
526 p.
????????? ??????!
??? ?????????? ????????? ?????? ?????????? ????????????????? ?????????? ??????????????.
?????? ?????? ????????? ????????? ????? ??????? ???????????. ???????? ?????? ?????? ???? ???????, ?? ?????????????. ? ???????? ??????????? ????????????? ??????????, ????? ????? ???????????? (???, ??, ???? ? ?. ?.).
????? ?????? (?????, ???????, ??????????? ? ????????????) ?? ?????? ????????? ??????????? ? 20 ???????, ???????????? ?? ?????? ??????? ?4 ?? ????? ??????? ????? 1,5 ????????? Word ??????? Times New Roman ???????? 13, ???? ?? ????? ???? ???????????.
????????????? ?????????? ?????????? ?????? ????????: ?????? ???, ????????, ???????? ? ??????? ?????? (???????), ?????? ???????, ?????? (??? ?????????? ? ?????????), ?????? ???????? ???????????, ????????? ? ???????? ????? ?? ??????? ? ?????????? ??????, ??????????? ?????? ???????, ??????? ?? ?????????? ??? ?????? ???? ???????????? ?? ????????? ???????.
??? ????????? ????????? ?? ??????????? ??????????? ? ?? ??????? ?????? ?? ????????? ? ?????? ??????????.
?????? ???????, ?? ??????? ?????? ???????, ????????????? ??????????? ? ??????????? ? ??????? ?????????????, ???????
??????? ???????? ???????????? ?? ???????? ???????????; ? ?????? ??????????????? ?????????? ??????????? ?????????????? ?????????? ?? ????? ?????? ???????????? ???????? ???????????? ? ????????? ??? ???????, ?????, ????????, ????? ??????, ?????????, ??????? ??????, ?????? ??????? ? ??? ?????????? ????? ???????????? ? ?????? ?? ?????? ????????.
??????? ????????? ? Word, ?? ????????? ?????????? ???????? (Mathtype ??? Equation), ??? ????????????? ????? ???????????? ?????????? ????????; ??? ?????? ????? ??????? ?? ??????????? ??? ?????????; ??? ?????? ?????? ? ?????????? ?????????
????? ??????????, ?????????????? ???????, ????????? ?????? ? ????????; ??? ????????? ??????? ?????? ??????? ?? ???????????
???????? Other..., ??????????? ????????? ????????? ?????????, ?? ?????????? ?????? ???????? ? ???????? ??? ?????? ?????? ? ?????? ??????, ?? ???????????? ? ?? ???????? ????? ???????, ??????????? ? ?????; ? ???????? ?? ????????? ????????? ?????: + = ?.
??? ?????? ?????? ? Word ??????? ?? ??????????? ??????????? (?? ??????? ??????: «?????? ? ?????????» ? «???????????»), ?. ?. ???? ?????? ???????????? ?????? ??? ??????????? ????????????? ? Word ? ?? ?????????????? ???????????, ???????????????? ??? ???????????? ????????-?????? ???????.
??? ?????? ???????? ? ?????? ???????, ??? ???????, ???????????? ?????????? ???????, ?????????? ??????? ????????,
???????? ? ?????????? ? ??????? ??????, ??????? ? ??????? ? ?????? ?????????? ???????.
??????????? ? ????? ?? ?????c???????? ? ??????????????? ?????????? ????????? ???????, ???????????? ??????????????:
? ???????, ???????, ?????????, ????-????? ?????????????? ? ???? ????????? ???????? ??????, ??????????? ??????????????, ????????? ????????? ?????????: Visio 4, 5, 2002-2003 (*.vsd); Coreldraw (*.cdr); Excel (*.xls); Word (*.doc); AdobeIllustrator
(*.ai); AutoCad (*.dxf); Matlab (*.ps, *.pdf ??? ??????? ? ?????? *.ai);
? ???? ????????, ? ??????? ?? ?????????????? ???????, ?? ????????? ????????? ? ????????? ???????, ????
1/--страниц
Пожаловаться на содержимое документа