close

Вход

Забыли?

вход по аккаунту

?

1097.Основы статистической радиофизики Рожков И Т

код для вставкиСкачать
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Министерство образования и науки Российской Федерации
Федеральное агентство по образованию
Ярославский государственный университет им. П. Г. Демидова
И. Т. Рожков
Основы
статистической
радиофизики
Часть 3
Учебное пособие
Издание 2-е, переработанное и дополненное
Рекомендовано
Научно-методическим советом университета
для студентов, обучающихся по специальности
Радиофизика и электроника
Ярославль 2009
1
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
УДК З 841-017я73
ББК 537.86:519.22
Р 63
Рекомендовано
Редакционно-издательским советом университета
в качестве учебного издания. План 2009 года
Рецензенты:
кафедра радиолокации и радиотехнических систем ЯВЗРУ ПВО;
В. Е. Туров, кандидат технических наук, профессор
Р 63
Рожков, И. Т. Основы статистической радиофизики : учебное пособие
/ И. Т. Рожков. – 2-е изд., перераб. и доп.; Яросл. гос. ун-т им. П. Г. Демидова. – Ярославль: ЯрГУ, 2009. – Ч. 3. – 112 с.
ISBN 978-5-8397-0671-2
Рассмотрены основные вопросы выборочной статистики случайных
величин и процессов; дана оценка параметров сигналов при наличии помех; приведены решения задач по определению различных характеристик.
Пособие предназначено для студентов, обучающихся по специальности 010801.65 Радиофизика и электроника (дисциплина "Статистическая
радиофизика", блок ДС), очной формы обучения.
УДК З 841-017я73
ББК 537.86:519.22
© Ярославский государственный
ISBN 978-5-8397-0671-2
университет им. П. Г. Демидова, 2009
Учебное издание
Рожков Иван Трофимович
Основы статистической радиофизики
Часть 3
Издание 2-е, переработанное и дополненное
Учебное пособие
Редактор, корректор И. В. Бунакова
Верстка И. Н. Иванова
Подписано в печать 05.10.2009. Формат 60×84 1/16. Бум. офсетная.
Гарнитура "Times New Roman". Усл. печ. л. 6,51. Уч.-изд. л. 5,18.
Тираж 100 экз. Заказ
.
Оригинал-макет подготовлен в редакционно-издательском отделе
Ярославского государственного университета им. П. Г. Демидова.
Отпечатано на ризографе.
Ярославский государственный университет им. П. Г. Демидова.
150000, Ярославль, ул. Советская, 14.
2
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Предисловие
Первая часть учебного пособия, опубликованного издательством Ярославского зенитного ракетного института
противовоздушной обороны в 1999 году, содержит две главы, в которых даны основы статистических случайных величин и процессов, имеющих место в радиофизических
системах и устройствах.
Вторая часть вышла в свет в Ярославском государственном университете им. П. Г. Демидова в 2007 году. Она
также содержит две главы, посвященные преобразованию
случайных величин и процессов нелинейными безынерционными и линейными устройствами.
В третью часть учебного пособия включен материал по
математической статистике, который наряду с другими
вопросами имеет большое значение, особенно при выполнении расчетов по выборочным значениям исследуемых
случайных величин и процессов, получаемых экспериментально.
В каждой части учебного пособия поэтапно раскрываются вопросы, входящие в рабочую программу дисциплины «Статистическая радиофизика».
Ряд задач, приведенных с решением и для самостоятельного решения, составлены автором и решались на
групповых занятиях студентов.
Следует отметить, что рассмотрение задач с решениями
по различным вопросам излагаемого материала позволяет
студентам быстрее и качественнее усвоить изучаемый
предмет.
3
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
1. ВЫБОРОЧНАЯ СТАТИСТИКА
И ЕЕ ПАРАМЕТРЫ
1.1. Введение
В настоящей главе кратко описаны различные статистические методы, которые широко применяются при решении встречающихся задач, связанных с оцениванием характеристик случайных процессов.
Область математической статистики чрезвычайно обширна, в
ней можно выделить несколько направлений. Нам достаточно
рассмотреть следующие:
– теорию выборок, посвященную методам формирования выборок из генеральной совокупности экспериментальных данных,
объем которой настолько велик, что не позволяет проанализировать ее целиком;
– теорию оценок, определяющую методы и способы оценки
неизвестных параметров распределений совокупности или решения задачи предсказания исходя из экспериментальных данных;
– проверку статистических гипотез (тесты), используемую
для определения распределений экспериментальных данных более правдоподобно;
– регрессионный анализ, задачей которого является подбор
математических формул, наилучшим образом описывающих экспериментальные данные;
– дисперсионный анализ, позволяющий оценить разброс экспериментальных данных и сопоставить его с конкретной ситуацией, к которой относятся данные.
Эти направления проиллюстрируем на ряде задач.
1.2. Теория выборок и выборочное среднее
Введем некоторые определения, которые далее будем использовать.
Выборкой называют последовательность независимых одинаково распределенных случайных величин. Примером выборки
4
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
могут служить независимые отсчеты напряжения шума на выходе
любого радиоприемника: x1, х2, ..., хп, где п – число отсчетов (объем выборки). Зная величины х1, х2, ..., хп, можно построить приблизительные значения для функций распределения и других характеристик случайного шума.
Всю совокупность отсчетов будем называть генеральной совокупностью.
Случайной выборкой, или просто выборкой, называют часть
генеральной совокупности, наугад отобранную из нее. Слово
«наугад» означает, что вероятности выбора любого отсчета генеральной совокупности одинаковы.
Это очень важное предположение, однако часто трудно удостовериться в его справедливости.
Выборка характеризуется различными параметрами: средним, дисперсией, функцией корреляции и т. д. Наиболее важный
параметр – это выборочное среднее. При этом среднее значение
для выборки измеренных величин xi называют эмпирическим
выборочным средним. Можно ожидать, что эмпирическое выборочное среднее не будет заметно отличаться от среднего генеральной совокупности, из которой эта выборка сформирована.
Для данной конкретной выборки ее выборочное среднее выражается как среднее арифметическое формулой:
1 n
x =  xi ,
n i =1
(1.2.1)
где xi – значения элементов выборки. В качестве xi может быть любой физический параметр, например: амплитуда, частота, временной интервал и т. п. Для различных выборок при одинаковых п
значение x будет различным. Поэтому x рассматривается как случайная величина. Выборочное среднее удобнее обозначать как [2]:
n
1
xˆ =  X i ,
n i =1
(1.2.2)
где Xi – случайные величины с плотностью распределения вероятностей f(x), принадлежащей генеральной совокупности. Среднее значение по (1.2.2) называется генеральным средним или является оценкой генерального среднего. Поскольку выборочное
5
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
среднее является случайной величиной, для него можно найти
математическое ожидание:
 1 n
1 n
1 n
ˆ
M [x ] = M   X i  =  M [ X i ] =  X = X
n i =1
 n i =1  n i −1
(1.2.3)
Таким образом, математическое ожидание выборочного
среднего равно генеральному среднему. Говорят, что выборочное
среднее является несмещенной оценкой генерального среднего.
Термин «несмещенная оценка» означает, что математическое
ожидание оценки параметра равно математическому ожиданию
параметра.
1.3. Выборочная дисперсия
Чтобы определить дисперсию выборочного среднего (выборочную дисперсию), найдем математическое ожидание выборочной дисперсии:
 n ( xi − xB )2 
M [DB ] = M 
.
n
 i =1

(1.3.1)
Вычтя и прибавив внутри круглых скобок генеральную среднюю a = Xˆ , получим:
2
( xi − a + a − xB ) = ( xi − a ) − ( xB − a ) =
2
2
= ( xi − a ) − 2 ( xi − a ) ( x B −a ) + ( xB − a )
2
Подставим это выражение в (1.3.1):
n
 n ( xi − a )2
(
xi − a )( xB − a ) n ( xB − a )2 
− 2
+
M [DB ] = M 
 (1.3.2)
n
n
n
i =1
i =1
 i =1

Первое слагаемое в (1.3.2) есть генеральная дисперсия
 n ( xi − a )2 
DГ = M 
.
n
 i =1

Второе и третье слагаемое представим:
6
(1.3.3)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 n ( xi − a ) ( xB − a ) n ( xB − a )2 
+
M  −2
=
n
n
i =1
 i =1

2
n 

xi − a ) ( xB − a )  
(
= M  −2 ( xB − a )  
+
 =
n
n
i =1 

 

(1.3.4)
D
2
2
= − M  −2 ( xB − a ) + ( xB − a )  = − M ( xB − a )2  = − Г .


n
Подставив (1.3.3) и (1.3.4) в (1.3.2), получим:
M [DB ] = DГ −
DГ n − 1
=
DГ .
n
n
(1.3.5)
Из (1.3.5) видно, что выборочная дисперсия есть смещенная
оценка генеральной дисперсии и она в среднем меньше генеральD
ной дисперсии на величину Г . Практически это означает, что
n
если провести серию опытов, отбирая в них выборки объема n, то
выборочные средние, найденные по данным выборок, будут коD
лебаться не вокруг DГ, а вокруг DГ − Г , давая заниженную
n
оценку генеральной дисперсии. Чтобы получить несмещенную
n
.
выборочную дисперсию, необходимо ее умножить на дробь
n −1
Сделав это, получим:
n
n 1 n
1 n
2
S =
DB =
⋅  ( xi − xB ) =
( xi − xB ) 2 . (1.3.6)

n −1
n − 1 n i =1
n − 1 i =1
2
В (1.3.6) через S2 обозначена несмещенная выборочная дисперсия (исправленная). Исправленная дисперсия будет, конечно,
несмещенной оценкой генеральной дисперсии. Это видно из следующих операций:
n
n n −1
 n

M  S 2  = M 
DB  =
M [ DB ] =
D Г = DГ .
⋅
1
1
1
n
n
n
n
−
−
−


7
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
2
n
1 n
Сравнивая формулы DB = 1  ( xi − xB ) и S 2 =
( xi − xB ) 2 ,

n − 1 i =1
n i =1
видим, что они отличаются лишь знаменателями. Очевидно, при
достаточно больших значениях объема выборки п выборочная и
исправленная дисперсии почти равны. На практике пользуются
исправленной дисперсией, если примерно п < 30.
1.4. Корреляционная
и взаимная корреляционная функции
по выборке
Корреляционные функции играют весьма полезную роль.
Поэтому обратим особое внимание на свойства этих функций
стационарных и эргодических процессов.
1. Rx (0) = x 2 . Средний квадрат случайного процесса легко
найти, положив в его автокорреляционной функции τ=0. Если
математическое ожидание равно нулю, то средний квадрат случайного процесса равен дисперсии этого процесса, т. е. Rx(0)=σх2.
2. Автокорреляционная функция является четной относительно τ, т. е. Rx(τ)=Rx(-τ). Это свойство исключительно полезно
при вычислениях. Для нестационарного процесса свойство симметрии справедливо не всегда.
3. Наибольшее значение автокорреляционная функция, как
правило, принимает при τ=0, т. е. |Rx(τ)| ≤ Rх(0).
4. Если x(t) содержит постоянную составляющую или имеет
не нулевое математическое ожидание, то функция Rx(τ) также будет иметь постоянную составляющую. Например, если x(t) = А, то
Rx (τ ) = M [ x(t ) ⋅ x(t + τ )] = M [ A ⋅ A] = A2 .
Предположим теперь, что функция x(t) может быть представлена в виде суммы математического ожидания x и составляющей
n(t) с нулевым математическим ожиданием так, что x(t ) = x + n(t ) .
Тогда
Rx (τ ) = M {[ x + n(t )][ x + n(t + τ )]} = M [ x 2 ] + M [ x n(t + τ )] +
2
+ M [ x n(t )] + M [n(t ) ⋅ n(t + τ )] = ( x ) + R n (τ )
8
(1.4.1)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Здесь M [ x n(t + τ )] = M [ x n(t )] по условию.
Из (1.4.1) видно, что автокорреляционная функция содержит
постоянную составляющую (x ) 2 и автокорреляционную функцию случайного процесса n(t). Если случайный процесс стационарный, но не эргодический, то Rx(τ) может и не содержать никакой информации относительно его математического ожидания.
1. Если x(t) – периодический процесс, то Rx(τ) также будет
периодической функцией с тем же периодом. Например, пусть
x(t) = Асоs(ωt + φ), где А и ω – постоянные, а φ – случайная величина, равномерно распределенная в диапазоне 0-2 π;
1

W ( ϕ ) =  2π
0
при 0 ≤ ϕ ≤ 2π
при других ϕ.
Тогда
A2
Rx ( t ) = M  A cos( ωt + ϕ ) ⋅ cos( ωt + ωτ + ϕ ) =
cos( ωτ ) (1.4.2)
2
2
В более общем случае, если x(t)=Acos(ωt+φ)+ n(t), где φ и
n(t) – независимые случайные величины для всех t, имеем:
A2
Rx (τ ) =
cos ωτ + Rn (t ) .
2
Это свойство может быть распространено на любое количество периодических компонентов.
2. Если x(t) – центрированный эргодический случайный процесс, не содержащий периодических составляющих, то выполняется условие:
lim Rx (t ) = 0
τ →∞
(1.4.3)
При больших τ влияние величины x(t) и x(t+τ) становится
статистически независимым.
Форма автокорреляционых функций не может быть произвольной. Она может быть определена, если существует преобразование Фурье автокорреляционной функции, т. е. спектральная
плотность процесса для всех ω:
9
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
S (ω ) =
∞
 Rx (τ ) exp(− jωt )dτ .
(1.4.4)
−∞
Формула (1.4.4) отрицает возможность существования автокорреляционных функций с плоскими вершинами, вертикальными боковыми сторонами или какими-либо разрывами в их графических изображениях.
Отметим, что согласно [2] знание совместной плотности распределения вероятностей W2(x1,x2) случайного процесса x(t) является достаточным для однозначного вычисления автокорреляционной функции Rx(t1,t2), обратное утверждение не является справедливым. Может существовать множество различных случайных процессов с одинаковыми автокорреляционными функциями. Таким образом, знание корреляционной функции случайного
процесса не эквивалентно знанию плотности вероятностей и является значительно менее информативным, чем знание совместной функции распределения. На практике корреляционная функция не может быть вычислена, исходя из совместных плотностей
распределения вероятностей, так как они редко бывают известны.
Усреднение по ансамблю также невозможно, поскольку обычно
приходится иметь дело лишь с одной реализацией. При этих обстоятельствах единственно возможной операцией является расчет
временной автокорреляционной функции на ограниченном интервале в предположении, что случайный процесс – эргодический. При этом можно ввести понятие приближенной (оценочной) корреляционной функции в виде:
Rˆ x (τ ) =
1
T −τ
T −τ
 x(t ) x(t + τ )dt
при 0 ≤ τ ≤ T .
(1.4.5)
0
На практике выполнить интегрирование в (1.4.5), как правило, невозможно, поскольку математическое выражение x(t) не известно. Выход заключается в аппроксимации интеграла суммой
выборок из непрерывной временной функции x(t). Дискретным
эквивалентом (1.4.5) будет:
N −n
1
R̂x ( nΔt ) =
 X k X k +n при n = 0,1,....,M и M << N . (1.4.6)
N − n + 1 k =0
10
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Эта приближенная (оценочная) функция по всему ансамблю
возможных выборок x0, x1, х2, ..., xn является случайной. Чтобы
оценить качество cделанного приближения, необходимо определить математическое ожидание и дисперсии функций Rˆ x (nΔt ) .
Математическое ожидание равно:
N −n
1


M  Rˆ x ( nΔt ) = M 
X k X k +n  =

 N − n + 1 k =0

=
N −n
N −n
1
1
M
X
X
=
[
]

 Rx ( nΔt ) = R x ( nΔt ). (1.4.7)
k
k +n
N − n + 1 k =0
N − n + 1 k =0
Из (1.4.7) видно, что математическое ожидание оценки автокорреляционной функции точно совпадает с автокорреляционной
функцией и является ее несмещенной оценкой. Но она не является наилучшей по критерию минимума среднего квадрата ошибки
и представлена в форме, не пригодной для практического применения. Вместо (1.4.7) используется следующее выражение:
Rˆ x (nΔt ) =
1 N −n
X k X k + n , k = 0, 1, 2..., M ,

N + 1 k =0
(1.4.8)
которое представляет смещенную оценку автокорреляционной
функции.
Формулы (1.4.7) и (1.4.8) отличаются между собой только коэффициентом. Поэтому математическим ожиданием нового приближения (1.4.8) следует считать величину:
M  Rˆ x ( nΔt )  =
1− n
Rx ( nΔt ) ,
N +1
(1.4.9)
n
Rx (nΔt ) – смещение.
N +1
При N>>n это смещение невелико. Хотя такое приближение
является смещенной оценкой автокорреляционной функции, в
большинстве случаев его средний квадрат ошибки оказывается
несколько меньше, чем по (1.4.6). Дисперсия данного приближения выходит за рамки данного рассмотрения. Она должна удовлетворять условию:
где
11
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
[
]
2
D Rˆ x (nΔt ) ≤
N
M
 Rx2 (kΔt ).
(1.4.10)
k =−M
Более точная дисперсия приближенного значения определяется по формуле [2]:
∞
2
D  Rˆ x ( nΔt )  ≤  Rx2 ( τ ) d τ ,
T −∞
(1.4.11)
где T=nΔt – длительность наблюдаемой выборки.
При вычислении выборочной корреляционной функции случайного процесса, который не является функцией времени или
какого-то непрерывного параметра, можно пользоваться формулой для выборочного коэффициента корреляции [3]:
rB ( x, y ) =
 nxy x y − nxB yB ,
nσ xσ y
(1.4.12)
где х, у – варианты количественных признаков X и Y; пxy – частота
наблюдений пары вариант (x,y); п – объем выборки; xB , yB – выборочные средние признаков X и Y; σх, σу – выборочные средние
квадратические отклонения признаков X и Y. Можно значительно
упростить вычисления, если перейти к условным вариантам [3]:
y j − c2
x −c
, где с1 и c2 – ложные нули значений xi и уi
ui = i 1 , v j =
h2
h1
соответственно, в качестве которых берутся наибольшие значения вариант; h1, и h2 – расстояние между выборками в массиве xi
и в массиве yi. Очевидно, h1=h2=h. Выборочный коэффициент
корреляции вычисляется в этом случае по формуле:
rB (u , v) =
 nxyuv − nu v ,
nσ uσ v
(1.4.13)
где и и v – условные варианты, nuv – частота наблюдений пары
условных вариант (u,v), u , v – средние выборочные значения,
σu,σv – выборочные среднеквадратичные отклонения условных
вариант и и v.
Можно рассматривать корреляции между двумя случайными
величинами, принадлежащими к различным случайным процес-
12
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
сам. Если два случайных процесса X(t) и Y(t) совместно стационарны в широком смысле, то для них можно определить взаимную корреляционную функцию:
Rxy (τ ) = M [ X 1Y 2 ] =
∞
∞
−∞
−∞
 dx1  x1 y2W 2( x1, y2 )dy2 ,
(1.4.14)
где W2(x1,y2) – совместное распределение плотностей вероятностей х1 и у2 (двумерная плотность). Из (1.4.14) видно, что взаимная корреляционная функция двух стационарных процессов зависит только от τ – временного интервала между отсчетами процессов x(t) и y(t), т. е. τ=t2-t1. Временные взаимные корреляционные
функции для пары реализаций x(t) и y(t) случайных процессов
X(t) и Y(t) могут быть определены по формулам:
1
Rxy (τ ) = lim
T → ∞ 2T
1
R yx (τ ) = lim
T → ∞ 2T
T
 x(t ) y(t + τ )dt .
(1.4.15)
−T
T
 y(t ) x(t + τ )dt .
(1.4.16)
−T
Для эргодических процессов корреляционные функции по
(1.4.15) и (1.4.16) равны корреляционным функциям, вычисленным по (1.4.14). При вычислении корреляционных функций по
выборкам xi и yi можно пользоваться формулами (1.4.12) и
(1.4.13). При этом необходимо иметь в виду два массива выборок
xi и yi, соответствующих различным процессам. Отметим свойства взаимных корреляционных функций.
1. Значения RXY(0) и RYX(0) не имеют никакого физического
смысла и не соответствуют средним квадратам случайных величин X = X(t) и Y = Y(t). Тем не менее справедливо равенство
RXY(0)=RYX(0).
2. В общем случае взаимные корреляционные функции не являются четными относительно τ. Тем не менее существует вид
симметрии: RXY(τ)=RYX(τ). Этот результат следует из того факта,
что сдвиг Y(t) во времени в определенном направлении эквивалентен сдвигу X(t) в противоположном направлении.
3. Взаимная корреляционная функция не обязательно должна
иметь максимум при τ = 0. Тем не менее выполняется условие:
13
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
RXY ( τ ) ≤  R X ( 0 )Ry ( 0 ) 1 / 2
(1.4.17)
4. Если два случайных процесса статистически независимы, то
R XY (τ ) = M [ X 1Y2 ] = M [ X 1 ]M [Y2 ] = XY = RYX (τ ) .
Из этого факта еще не следует, что процессы вообще некоррелированы (может быть нелинейная статистическая зависимость). Обычно взаимные корреляционные функции – это нечетные функции от τ, их преобразования Фурье не обязательно
должны быть положительными для всех частот ω, и даже не обязательно, чтобы преобразования Фурье были вещественными.
До сих пор обсуждение корреляции было сосредоточено
только для двух случайных величин. Но на практике приходится
иметь дело с большим числом случайных величин. Поэтому необходимо иметь метод представления большого числа автокорреляционных и взаимных корреляционных функций. Векторное
представление случайных величин и использование матриц оказывается полезным для описания случайных процессов. Например, дискретизированный по времени процесс можно представить конечным числом N выборок. Тогда значение каждой выборки может быть компонентой ( N × 1) вектора. Следовательно,
если моменты времени, в которые происходит дискретизация
случайного процесса, обозначить t1,t2...,tn, то вектор, представляющий случайную временную функцию X(t) , может быть предx(t1 )
x(t 2 )
ставлен в виде: X =
...
x(t n )
Каждая компонента вектора X является случайной величиной. Теперь можно определить корреляционную матрицу размером ( N × N ) , которая описывает корреляцию между каждой парой случайных величин x(ti), x(tj), где i, j = 1, N :
14
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Rx = M  XX T  = M
x(t1 ) x(t1 )
x(t1 ) x(t2 )
...
x(t1 ) x(t N )
x(t2 ) x(t 1 )
x(t2 ) x(t2 )
... x(t2 ) x(t N )
...
...
...
,
...
x(t N ) x(t1 ) x(t N ) x(t2 ) ... x(t N ) x(t N )
где ХT – транспонированная матрица X.
Если выполнить усреднение каждого случайного элемента
этой матрицы, то получим значение Rx(tt,tj) автокорреляционной
функции случайного процесса x(t), из которого была образована
указанная выборка.
Таким образом,
Rx =
Rx (t1 , t1 )
Rx (t 2 , t1 )
Rx (t1 , t 2 ) ...
Rx (t 2 , t 2 ) ...
R x (t1 ,t N )
Rx (t 2 , t N )
...
...
...
...
Rx (t N , t1 ) Rx (t N , t 2 ) ... Rx (t N , t N )
(1.4.18)
где Rx(ti, tj) = M[x(ti)x(tj)]. При математическом ожидании, равном
нулю, это есть автокорреляционная функция любой пары выборок процесса x(t). Когда случайный процесс x(t) является стационарным в широком смысле, все компоненты матрицы (1.4.18)
становятся функциями только временного интервала. Пусть
Δt=ti+1−ti при этом
t2=t1+Δt,
t3=t1+2Δt,
…
tN=t1+(N−1)Δt.
Тогда (1.4.18) можно записать в виде:
Rx =
R x ( 0)
Rx (Δt )
...
Rx (Δt )
R x ( 0)
... Rx [( N − 2)Δt ]
...
...
...
Rx [( N − 1)Δt ] Rx [( N − 2)Δt ] ...
Rx [( N − 1)Δt ]
...
(1.4.19)
Rx (0)
При написании этой матрицы использовано свойство симметрии автокорреляционной функции: Rx[iΔt]=Rx[-iΔt]. Более
15
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
широко распространен метод получения корреляционной матрицы случайного вектора, содержащей дисперсии и корреляции
случайных величин. В общем случае корреляцию между двумя
случайными величинами определяют как
M{[x (ti ) − x(ti )][x (t j ) − x (t j )]} =σσρ
i j ij ,
(1.4.20)
где x (ti ), x (t j ) – математическое ожидание x(ti) и x(tj);σi2 и σj2 –
дисперсии случайных величин x(ti) и x(tj); рij – коэффициент корреляции между x(ti) и x(tj), причем при i=j, ρij=1.
Корреляционная матрица определяется выражением:
Λ x = M [( x − x )( xT − x T )] ,
(1.4.21)
где x – математическое ожидание матрицы X. Из определения
корреляционной зависимости непосредственно следует
Λx =
σ 12
σ 2σ 1ρ 21
σ 1σ 2 ρ12
σ 22
...
...
... σ 1σ N ρ1N
... σ 2σ N ρ 2 N
...
...
σ N σ 1ρ N 1 σ N σ 2 ρ N 2 ...
σ N2
.
(1.4.22)
При построении матрицы (1.4.22) учтено, что ρij=1 при
i=1,2, , N корреляционную матрицу можно записать в виде:
Λ = Rx − X X T ,
(1.4.23)
где Rx – ковариационная функция. В выражениях (1.4.18), (1.4.19)
приведены ковариационные функции, которые при математическом ожидании, равном нулю, равны корреляционным функциям.
Понятие корреляционной (или ковариационной) матрицы
пригодно как для стационарных, так и нестационарных процессов. Однако, если случайный процесс стационарен в широком
смысле, все дисперсии и корреляционные коэффициенты на любой диагонали одинаковы. Следовательно,
σ i2 = σ 2j = σ 2 ; i, j = 1,2,..., N ; ρij = ρ i − j , i, j = 1,2,..., N
16
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ρ1 ρ 2
1 ρ1
ρ1 1
...
...
ρ N −1
ρ N −2
ρ N −3 .
...
...
...
...
...
ρ N −1
...
...
ρ1
1
1
ρ1
Λ x = ρ2
...
(1.4.24)
Такая матрица называется матрицей Теплица [2]. Ситуация,
в которой удобно использовать матрицы, возникает, когда случайные величины выбираются из различных случайных процессов, т. е. он является векторным, представляющим все указанные
величины.
Важную роль матрицы играют при представлении многомерных нормальных плотностей вероятности. Для N-мерной нормальной плотности вероятности имеется формула:
 1

exp  − ( X T − X −T ) Λ −x1 ( X − X ) 
 2
,
WN ( x1 ,x2 ,...xN ) =
1
N
( 2π ) 2 Λ  2
x


(1.4.25)
где Λ x – детерминант матрицы Λ x , а Λ−x1 – обратная ей матрица.
Обратная матрица может быть представлена по формуле [4]:
A11
Δ
A12
−1
A = Δ
...
A1n
Δ
A21
Δ
A22
Δ
...
A2 n
Δ
...
...
...
...
An1
Δ
An 2
,
...
Amn
Δ
где Аij – элементы матрицы А; Δ – определитель матрицы А.
1.5. Плотность вероятности
выборочной статистики
Хотя математические ожидания и дисперсии оценок параметров дают нужные сведения о генеральной совокупности слу17
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
чайных величин, этого недостаточно, чтобы ответить на вопрос о
вероятности попадания оценок в заданный интервал. Такие сведения требуется знать в ряде областей обработки радиосигналов,
действующих на фоне помех. Чтобы ответить на поставленный
вопрос, нужно знать плотность распределения вероятностей.
Предположим, что в нашем распоряжении имеются результаты
наблюдений над непрерывной случайной величиной X(t), оформленные в виде статистической совокупности (выборки значений
x1,х2, ..., хп). Выборочная плотность вероятности (гистограмма)
строится следующим образом.
Выбирается наименьшее хmin и наибольшее xmax значения из
имеющейся выборки. Размах выборки (хтах – хmin) делится на равные интервалы (разряды), которые не перекрываются между соx − xmin
бой. Общее число разрядов равно max
= k . Практика покаΔx
зывает, что интервал Δx надо выбирать таким, чтобы число разрядов было k = 10 ÷ 20 . Чем богаче и однороднее статистика, тем
большее число разрядов можно выбирать. Вообще длины разрядов Δx могут быть как одинаковыми, так и различными. Чаще
выбирают длину разрядов одинаковую. Существует несколько
правил выбора количества разрядов [5]. Можно руководствоваться следующим правилом. Если объем выборки n ≈ 100 , то
k ≅ 8 ÷ 12 ; для объема выборки n = 500, k ≈ 15 ÷ 20 . Число разрядов гистограммы зависит не только от объема выборки, но и от
распределения выборок. Для практического использования рекомендуется число разрядов выбирать по формулам [5]:
k min = 0,55n 0, 4 и k max = 1,25n 0, 4 .
(1.5.1)
Далее по выборке определяется, сколько значений из объема
выборки п попало в каждый разряд к. Лучше эти числа заносить в
таблицу 1.5.1, приведенную ниже.
Число наблюдений в каждом разряде пk разделим на объем
n
выборки п; получим частоту (частность) vk = k , которая являетn
ся оценкой плотности вероятности. Термин «плотность» объясняется тем, что частность рассматривается на интервале Δx , т. е.
18
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
nk
. По значениям Pk можно построить гистограмму
nΔx k
(рис. 1.5.1).
Таблица 1.5.1
Pk =
Интервалы
Δx1
Δx2
…
Δxk
Число наблюдений
n1
n2
…
nk
Частность
n1
= v1
nk
n2
= v2
n
…
nk
= vk
n
Плотность вероятности
n1
= P1
nΔx 1
…
n2
= P2
nΔx2
nk
= Pk
nΔxk
Рис. 1.5.1. Гистограмма плотности вероятности
Гистограмма должна удовлетворять условию нормировки,
n
n
т. е.  k = 1 . При построении гистограммы необходимо произk =1 n
водить операцию выравнивания статистических данных, которая
сводится к тому, что должны удовлетворяться два условия: положительной определенности и условие нормировки. Условие
19
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
положительной определенности означает, что любая частность
(вероятность) должна быть больше или равна нулю, т. е. Рк≥0.
1.6. Аппроксимация экспериментальных данных
по критерию хи-квадрат
В ряде случаев требуется знать аналитический закон функции распределения или плотности вероятностей, имея гистограмму плотности вероятности по экспериментальным данным.
Возникает вопрос, как лучше аппроксимировать экспериментальные данные. Для ответа на такой вопрос служат так называемые
критерии согласия.
Рассмотрим один из наиболее часто применяемых критериев
согласия – «критерий хи-квадрат Пирсона». Предположим, что
произведено п независимых опытов, в каждом из которых случайная величина х приняла определенное значение. Результаты
опытов сведены в к разрядов (см. табл. 1.5.1). Требуется проверить, согласуются ли экспериментальные данные с гипотезой о
том, что случайная величина х имеет данный закон распределения (заданный функцией распределения F(x) или плотностью
W1(x)). Назовем этот закон распределения «теоретическим». Чтобы оценить, насколько совпадает выбранный теоретический закон с экспериментальными данными при использовании критерия хи-квадрат, применяется следующая методика.
1. Рассчитывается значение хи-квадрат по формуле:
r
(vk* − P k ) 2
(nk − nPk ) 2
=
χ = n
,
P
nP
k =1
k =1
k
k
2
r
(1.6.1)
nk
–
n
частность из экспериментального распределения, Рк – вероятность значения случайной величины х в интервале Δхк, определяемая из теоретического распределения.
2. Определяется число степеней свободы m=r−s−1, где s –
число связей (параметров) из теоретического закона, или, иначе,
число параметров теоретического распределения, которые взяты
где п – объем выборки, r – число разрядов гистограммы, vk* =
20
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
из эксперимента; «1» – факт использования самой теоретической
зависимости.
3. Назначается уровень значимости, исходя из требований к
решаемой задаче, в виде вероятности ошибки α = 0,05; 0,01;
0,001. Считается, что событие с такой вероятностью практически
невозможно.
4. По значениям χ2 и т с помощью таблицы значений χ2 в зависимости от m и Р=1−α (например, табл. 5 в [6]) определяется
вероятность того, что величина, имеющая распределение χ2 с m
степенями свободы, превзойдет данное значение χ2. Если эта вероятность мала, гипотеза отбрасывается как неправдоподобная.
Если эта вероятность весьма относительно велика, гипотезу можно признать не противоречащей опытным данным. Насколько
мала должна быть вероятность Р для того, чтобы отбросить или
пересмотреть гипотезу, – вопрос неопределенный. На практике,
если Р оказывается меньше, чем 0,1, рекомендуется проверить
эксперимент. Если заметные расхождения снова появятся, попытаться искать более подходящий для описания статистических
данных закон распределения.
Отметим, что при пользовании критерием χ2 достаточно
большим должно быть не только общее число опытов n, но и
числа наблюдений пк в отдельных разрядах. На практике рекомендуется иметь в каждом разряде не менее 5–10 наблюдений.
Если числа наблюдений в отдельных разрядах очень малы (порядка 1–2), имеет смысл объединить некоторые разряды.
1.7. Доверительный интервал
оценок параметров выборочной статистики
Математическое ожидание и дисперсия оценки параметров
дают нужные сведения о генеральной совокупности, но этого недостаточно, чтобы ответить на вопрос о вероятности попадания
оценки в заданный интервал. Чтобы ответить на него, нужно
знать плотность вероятности оценки параметра, выборочного
среднего или выборочной дисперсии. Здесь рассмотрим два закона распределения выборочного среднего. Выборочное среднее
21
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
n
1
xˆ =  xi ,
n i =1
(1.7.1)
где п – объем выборки, xi – выборочные значения величины х.
Если случайные величины xi статистически независимы и распределены по нормальному закону с математическим ожиданием
х дисперсией σ2, то центрированная и нормированная случайная
величина
( xˆ − x )
z=
(1.7.2)
σ
n
также распределена по нормальному закону с нулевым математическим ожиданием и единичной дисперсией. Если (1.7.2) нельзя
считать, что оно распределено по нормальному закону, то из центральной предельной теоремы теории вероятностей следует, что
при n→∞ функция распределения z асимптотически стремится к
нормальной. Следовательно, при больших n можно считать, что z
распределено по нормальному закону. Если в (1.7.2) σ неизвестна,
то вместо σ можно использовать ее оценку S~ , поскольку при
больших п эта оценка приближается к σ. Но возникает вопрос,
каким должно быть п и что делать, если п меньше, чем требуется?
Известно следующее эмпирическое правило: выборочное распределение можно считать гауссовским, если n>30. Если n<30, а
распределение z нельзя считать гауссовским, то используется
следующий подход.
При n<30 используется распределение Стьюдента с (n-1)
степенями свободы:
2  − ( v +1) / 2
 v + 1 t
1+
fT (t ) = Г 
v
 2 



(vπ )
−1 / 2 
−1
 v 
Г
  2  ,


(1.7.3)
где v=n-1, Г(x) – гамма-функция. Центрированное и нормированное выборочное среднее определяется по формуле:
ˆx − x )
ˆx − x )
(
(
T=
=
 S 


 n
22


S


 ( n − 1)1 / 2 


.
(1.7.4)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Распределение Стьюдента имеет более протяженные хвосты,
чем распределение Гаусса. При n>30 кривые плотностей почти
сливаются. Значения функции fT(t) ищутся для аргументов, являющихся либо целыми, либо полуцелыми числами. Гамма-функция
вычисляется с использованием рекуррентной формулы [2]:
kГ (k ) при любом k ,
Г (k + 1) = 
 k! при целых k .
1
Кроме этого: Г (1) = Г (2) = 1, Г   = π 1 / 2 .
2
Выборочное среднее в определенном выше смысле представляет собой точечную оценку, поскольку ему может приписываться единственное значение. Кроме точечной, можно использовать
интервальную оценку, которая утверждает, что оцениваемый параметр с определенной вероятностью принимает значение, лежащее в заданном интервале, называемом доверительным.
Интервал, в пределах которого оценка попадает с вероятностью q, будем называть q-м доверительным интервалом, границы
этого интервала – доверительными, a q – доверительным уровнем. Для выборочного среднего доверительный уровень q определяется следующим образом:
x − kσ
n
≤ xˆ ≤ x + kσ
n
,
(1.7.5)
где к – постоянная, связанная с q и плотностью распределения
вероятностей f xˆ случайной величины x̂ соотношением
q=
x + kσ
 f xˆ ( x)dx.
(1.7.6)
x − kσ
Если f xˆ ( x) подчиняется нормальному закону, то зависимость
к от q можно представить в виде таблицы 1.7.1.
Таблица 1.7.1
q
k
0,9
1,64
0,95
1,96
0,99
2,58
23
0,999
3,29
0,9999
3,89
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Очевидно, что широким доверительным интервалам соответствуют большие доверительные уровни (доверительные вероятности).
Интеграл (1.7.6) можно переписать в виде:
q = Fxˆ ( x + kσ ) − Fxˆ ( x − kσ ).
(1.7.7)
Для распределения Стьюдента (1.7.3) зависимость между к и
q также можно задать в виде таблицы. При этом параметром будет служить v=п-1 – число степеней свободы, п – объем выборки.
Таблицы значений этой функции приведены в ряде литературных
источников, в том числе и в [2, 6].
Для определения доверительного интервала среднего квадратического значения случайной величины х при нормальном ее
распределении поступают следующим образом. Пусть требуется
оценить неизвестное генеральное среднее квадратическое отклонение σ по «исправленному» выборочному среднему квадратическому отклонению s. Необходимо найти доверительные интервалы, покрывающие параметр σ с заданной надежностью γ. Для
этого должно выполняться соотношение
P( σ − s < δ ) = γ или P( s − δ < σ < s + δ ) = γ ,
(1.7.8)
где Р(.) – вероятность, δ – точность оценки параметра (некоторая
константа). Для того чтобы можно было пользоваться готовой
таблицей, преобразуем двойное неравенство в (1.7.8) s−δ<σ<s+δ
 δ
 δ
в равносильное неравенство: s1 −  < σ < s1 +  . Обозначим
s
 s

δ
s
= q . Тогда получим:
s (1 − q ) < σ < s (1 + q ).
(1.7.9)
Остается найти q.
Введем в рассмотрение случайную величину «хи»:
s
χ=
n − 1 . В [8] доказано, что случайная величина χ с k=n – 1
σ
степенями свободы имеет плотность распределения вида:
24
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 χ2 
χ exp − 
2 ,
R ( χ , n ) = ( n − 3) 
2 Г  n −1
2


 2 
n−2
(1.7.10)
где п – объем выборки, Г(.) – гамма-функция. С использованием
(1.7.10) и заданной надежности γ составлены таблицы для нахождения q [8, приложение 4]. Вычислив по выборке s и найдя по
таблице q, получим искомый доверительный интервал (1.7.9), покрывающий σ заданной надежностью γ.
1.8. Регрессионный анализ
выборочной статистики
Исключительный интерес для широкого класса задач представляет обнаружение взаимных связей между двумя и более
случайными величинами. Однако наряду с этим желательно
иметь модель этой связи, которая дала бы возможность предсказывать значения одной случайной величины по конкретным значениям другой. Методы решения подобных задач носят наименование «регрессионный анализ».
Рассмотрим простой случай двух некоррелированных случайных величин х и у. Например, х может быть ростом, а у – массой студента. Линейная связь между случайными величинами х и
у означает, что прогноз значения величины у по данному значению х имеет вид:
~
y = A + Bx ,
(1.8.1)
где А и В – это соответственно отрезок оси ординат, отсекаемой
прямой, и ее наклон. Если данные связаны идеальной зависимостью rxy =1, то предсказанное значение ~
yi будет в точности равняться наблюденному значению yi при любом данном хi.
Однако на практике обычно отсутствует идеальная линейная
зависимость между данными. Как правило, внешние случайные
воздействия приводят к разбросу данных, и, кроме того, возможны искажения за счет присутствия нелинейных эффектов. Тем не
менее если все же предположить существование линейной связи
25
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
и наличие неограниченной выборки, то можно подобрать такие
значения А и В, которые дадут возможность предсказать ожидаемое значение yi для любого значения хi. Это означает, что ~
yi не
обязательно совпадает с наблюдаемым значением yi, соответствующим данному хi. Однако оно будет равно среднему значению
всех таких наблюденных значений. Общепринятая процедура определения коэффициентов уравнения (1.8.1) состоит в выборе таких значений А и В, которые минимизируют сумму квадратов отклонений наблюденных значений от предсказанного значения у.
Эта процедура называется методом наименьших квадратов.
Сумма квадратов отклонений имеет вид:
N
( yi − ~
y ) 2 = Q =  ( yi − A − Bx) 2 .
(1.8.2)
i =1
Наилучшее согласие в смысле наименьших квадратов обеспечивают значения А и В, для которых производные от (1.8.2) по
А и по В равны нулю,
∂Q ∂Q
=
= 0.
∂A ∂B
(1.8.3)
На практике обычно имеется ограниченная выборка из N пар
наблюденных значений х и у. Это означает, что уравнение (1.8.3)
дает лишь оценки А и В; обозначим их соответственно через a и
b. Подставляя (1.8.2) в уравнение (1.8.3) и решая его относительно оценок А и В, получим:
a = y − bx ,
N
b=
(1.8.4)
N
 ( xi − x ) yi  xi yi − Nx y
i =1
N
 ( xi − x ) 2
=
i =1
i =1
N
 xi2 − Nx 2
,
(1.8.5)
i =1
где x, y – средние выборочные значения xi и уi соответственно.
Оценки а и b можно теперь использовать для построения модели, позволяющей предсказывать у по х:
yˆ = a + bx = ( y − bx ) − bx = y + b( x − x ).
26
(1.8.6)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Выражение (1.8.6) получено с помощью (1.8.1), где вместо А
использовано «а» по выражению (1.8.4), а вместо В – «b». Таким образом, (1.8.6) есть уравнение прямой линии регрессии у на х. Поменяв ролями зависимую и независимую переменные в уравнении
(1.8.6), получим прямую регрессии х на у:
xˆ = x + b′( y − y ),
(1.8.7)
где
N
b′ =
 xi yi − Nx y
i =1
N
;
 yi2 − Ny 2
i =1
1/ 2
rxy = [bb′] – коэффициент корреляции.
Определим теперь точность оценок а и b, определенных
формулами (1.8.4) и (1.8.5). В предположении нормальности распределений у при данном х оценки а и b несмещенными оценками А и В соответственно. Их выборочные распределения связаны
с t-распределением (распределением Стьюдента) соотношениями:
a−A
1/ 2




x2
1 +


N N
2
(
x
−
x
)


 i


i =1
b−B
1/ 2




1


N


2
  ( xi − x ) 

 i =1
= S y / xt N − 2 ,
= S y / xt N − 2 ,
(1.8.8)
(1.8.9)
где Sy/x – выборочное стандартное отклонение наблюденного значения yi от предсказанного yˆ = a + bx , равное
27
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
1/ 2
Sy / x
 N
 2
(
y
y
−
i ) 
 i
i =1
=

N −2 



1/ 2
 n − 1  2
2 
= 
 S y (1 − rxy ) 
 n − 2 

,
tN-2 – новая случайная величина с N-2 степенями свободы
z
.
tN −2 =
y
N −2
Приведенные выше соотношения дают возможность построy по оценкам а,bи ŷ .
ить доверительные интервалы для А, В и ~
1.9. Непараметрические критерии
выборочной статистики
Методы оценки выборочной статистики случайных процессов без использования распределений, т. е. без использования
формы распределений, получили название непараметрических.
При этом в явном виде не используются средние, дисперсии, а
используются другие особенности, характеризующие ряды наблюдений. В качестве таковых применяются знаки случайного
процесса, ранги, серии знаков, серии инверсий и другие.
Критерий серий. Рассмотрим последовательность N наблюденных значений случайной величины x, причем каждое наблюдение отнесено к одному из двух взаимоисключающих классов,
которые можно обозначить просто как «+» или «-». Например,
последовательность одновременных измерений двух случайных
величин xj и yi (i=1,2,…, N), где каждое наблюдение – это
xi ≥ yi ("+" ) или xi < yi ("−" ) . В любом случае образуется последовательность вида
++
1
2
++
3
4
+++
5
6
+
7
-8
+
9
-10
+
11
--12
Серией называется последовательность однотипных наблюдений, перед и после которой следуют наблюдения противопо28
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ложного типа или вообще нет никаких наблюдений. В данном
примере из N=20 наблюдений имеется r=12 серий.
Число серий, появившихся в последовательности наблюдений, позволяет выяснить, являются ли отдельные результаты независимыми наблюдениями одной и той же случайной величины,
т. е. если вероятность отдельных исходов («+») или («-») не меняется от наблюдения к наблюдению, то выборочное распределение
числа серий в последовательности является случайной величиной
r со средним значением и дисперсией [7]:
2 N1 N 2
+ 1,
N
(1.9.1)
2 N1 N 2(2 N1 N 2 − N )
,
2
N ( N − 1)
(1.9.2)
μ2 =
σ 22 =
где N1 – число исходов «+», N2 – число исходов «-».
N
В частном случае N1 = N 2 =
выражения (1.9.1) и (1.9.2)
2
принимают вид:
N 
 − 1
N
N2
2
.
μ 2 = + 1, σ 2 =
2
2 ( N − 1)
Критерий серий находит применение в задачах оценки данных с выявлением тренда в анализируемой последовательности.
Тренд можно определить как регулярное (неслучайное) изменение значений наблюдаемой последовательности.
Существование тренда можно проверить следующим образом. Примем в качестве гипотезы, что тренда нет, т. е. предположим, что N исходов наблюдений являются независимыми наблюдениями одной и той же случайной величины. Тогда число серий
в последовательности будет иметь распределение, протабулированное в табл. А 6 [7].
Для проверки гипотезы с любым требуемым уровнем значимости α надо сравнить наблюденное число серий с границами обN
ласти принятия гипотезы, равными r α и r α , где n = . Если
n;1−
n;
2
2
2
29
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
наблюденное число серий окажется вне этой области, то гипотеза
должна быть отвергнута с уровнем значимости α. В противоположном случае гипотезу можно признать.
Критерий инверсий
Рассмотрим последовательность из N наблюдений случайной
величины х (i=1, 2, …,N). Подсчитаем теперь, сколько раз в последовательности имеют место неравенства xi>xj при i>j. Каждое
такое неравенство называется инверсией. Обозначим через А общее число инверсий. Формально А вычисляется следующим образом. Определим для множества наблюдений x1, x2 ,...,xN величины
1, xi > x j ,
hij = 
0, xi ≤ x j.
(1.9.3)
Тогда
A=
N −1
 Ai ,
i =1
Например, A1 =
Ai =
N
 hij.
(1.9.4)
j = i +1
N
N
N
j =2
j =3
j =4
 h1 j , A2 =  h2 j , A3 =  h3 j , ... .
Для уяснения понятия инверсии рассмотрим такую последоx1 = 5, x2 = 3, x3 = 8, x4 = 9,
вательность
из
8
наблюдений:
x5 = 4, x6 = 1, x 7 = 7 , x8 = 5.
В этой последовательности x1>х2, x1>х5 и x1>хб, т. е. А1=3 –
это число инверсий для x1. Возьмем теперь х2 и сравним его с последующими наблюдениями, т. е. i=2 и i<j= 3, 4, ..., 8. Обнаруживаем, что только x2>x6. Число инверсий для х2 равно A2=1. Продолжив эту процедуру, найдем, что А3=4, А4=4, А5=1, Аб=0, А7=1.
Общее число инверсий
A=A1+A2+...+A7= 3+1+4+4+1+0+1=14.
Если последовательность случайных величин из N наблюдений состоит из независимых исходов одной и той же величины,
то число инверсий является случайной величиной с распределением, приведенным в табл. А 7 [7] и средним значением и дисперсией, определяемым по формулам:
30
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
N (n − 1)
,
4
(1.9.5)
N (2 N + 5)( N − 1)
.
72
(1.9.6)
μA =
σ A2 =
Критерий инверсий применяется примерно так же, как и критерий серий. Этот критерий является более мощным по сравнению с критерием серий при обнаружении монотонного тренда в
наблюдаемой последовательности.
Выборочный коэффициент ранговой статистики
Для оценки степени связи признаков вводят коэффициент
ранговой корреляции Спирмена и Кендалла [8]. Рассмотрим сначала коэффициент ранговой корреляции Спирмена. Его обычно
используют для определения связи между качественными признаками. Под качественным признаком подразумевается такой
признак, который невозможно измерить точно. Для определенности будем располагать объекты в порядке ухудшения качества.
При таком ранжировании на первом месте находится объект наилучшего качества по сравнению с остальными; на втором месте
окажется объект хуже первого, но лучше третьего, и т. д. Можно
располагать объекты в обратном порядке.
Пусть выборка объема п содержит независимые объекты, которые обладают двумя качественными признаками А и В. Расположим теперь объекты в порядке убывания качества по признаку
А, а потом по признаку В. В итоге получим две последовательности рангов: по признаку A: x1, x2, …, xN , по признаку B: y1, y2, …,
yN. В общем случае xi≠уi. Задача состоит в том, чтобы оценить
связь между признаками. Для ее решения рассмотрим ранги
x1,x2,...,xN как возможные значения случайной величины X, a
y1,y2,...,yN – как возможные значения случайной величины Y. Таким образом, о связи между качественными признаками А и В
можно судить по связи между случайными величинами X и Y, для
оценки которой используем коэффициент корреляции, определяемый по формуле [8]:
31
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
n
rв =
 nuv − nu v
i =1
n σ uσ v
,
(1.9.7)
где п – объем выборки, ui = xi − x , vi = yi − y , nuv – частота пар
«u» и «v», σu и σv – выборочные средние квадратические отклонения x , y – выборочные средние.
Каждому рангу xi соответствует только один ранг yi , а частота наблюдаемых пар и и v с одинаковыми индексами равна единице: n ui vi = 1. Очевидно, что частота любой пары значений ui и vi
c разными индексами равна нулю. Учитывая, кроме того, что
среднее значение отклонения равно нулю, т. е. u = v = 0 , получим
более простую формулу:
n
rв =
 ui vi
i =1
n σ uσ v
.
(1.9.8)
Выразим входящие числитель (1.9.8) через объем выборки п и
разность рангов di=xi−yi Заметим, что поскольку среднее значение рангов x = (1 + 2 + ... + n) / n и y = (1 + 2 + ... + n) / n равны между собой, то y − x = 0 .
d i = xi − yi = xi − yi + ( y − x ) = ( xi − x ) − ( yi − y ) = ui − vi .
Следовательно, d i2 = (ui − vi ) 2 . Учитывая, что
 ui2 =  vi2 = (n3 − n) / 12,
(1.9.9)
имеем:
 d = ( u
2
i
i
− vi )2 =  ui2 − 2 ui vi +  vi2 = ( n3 − n ) / 6  − 2 ui vi .
Отсюда
u v
i i
= ( n3 − n ) 6  −  di2 / 2.
(1.9.10)
Остается найти σu и σv. По определению выборочной дисперсии,
учитывая, что u = 0 и используя (1.9.9), получим
32
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Du =
2
1
1
( ui − u ) =  ui2 / n = ( n3 − n ) / 12n = ( n2 − 1) .

12
n
Отсюда σ u = (n 2 − 1) / 12 ; аналогично найдем σ v = (n 2 − 10 / 12 .
Следовательно, nσ uσ v = (n3 − 1) / 12 . Подставив правую часть этого
равенства и (1.9.10) в (1.9.8), окончательно получим выборочный
коэффициент ранговой корреляции Спирмена:
ρB = 1 −
6 d i2
( n 3 − n)
,
(1.9.11)
где di=xi−yi.
Приведем свойства выборочного коэффициента ранговой
корреляции Спирмена.
1. Если между качественными признаками А и В имеется
«полная прямая зависимостью в том смысле, что ранги объектов
совпадают при всех значениях i, то выборочный коэффициент
ранговой корреляции рB = 1.
2. Если между качественными признаками А и В имеется
«противоположная» зависимость в том смысле, что рангу x1=1
соответствует ранг у1 = п; рангу х2 соответствует ранг у2=п−1;
рангу хп = п соответствует ранг уп = 1, то выборочный коэффициент ранговой корреляции рB = −1.
3. между качественными признаками А и В нет ни «полной
прямой» и ни противоположной зависимостей, то коэффициент
рB заключен между −1 и +1, причем, чем ближе к нулю его абсолютная величина, тем зависимость меньше.
Приведем правило установления значимости или незначимости ранговой корреляционной связи для выборок объема п.
При уровне значимости α проверим нулевую гипотезу о равенстве нулю генерального коэффициента ранговой корреляции
рГ Спирмена при конкурирующей гипотезе о том, что ρГ≠0. Для
этого вычисляется критическая точка:
Т кр = t кр (α , k ) (1 − ρ B2 ) /( n − 2) ,
(1.9.12)
где n – объем выборки, рB – выборочный коэффициент ранговой
корреляции Спирмена, tкр(α,k) – критическая точка двусторонней
33
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
критической области, которую находят по таблице распределения
Стьюдента [6 – 8] по α и по числу степеней свободы k=n-2.
Если Т кр > ρ В , нет оснований отвергнуть нулевую гипотезу,
т. е. ранговая корреляция между качественными признаками незначима.
Если Т кр < ρ В , нулевую гипотезу отвергают, т. е. между качественными признаками существует значимая ранговая корреляционная связь.
Рассмотрим теперь ранговый коэффициент корреляции Кендалла. Этот критерий применяется для оценки качественной связи между двумя признаками. Пусть ранги объектов выборок объема п равны:
- по признаку А х1, х2, …, хn,
- по признаку В у1, у2, …, yn.
Допустим, что правее у1 имеется R1 рангов, больших у1; правее y2 имеется R2 рангов, больших у2, ...; правее уп-1 имеется Rn-1
рангов, больших уп-1. Введем обозначение суммы рангов Ri
(i=1, 2, ..., п-1): R=R1 + R2+... + Rn-1.
Выборочный коэффициент ранговой корреляции Кендалла
определяется формулой:
τв =
4R
− 1,
n(n − 1)
(1.9.13)
n −1
где n – объем выборки, R =  Ri . Убедимся, что коэффициент
i =1
Кендалла имеет те же свойства, что и коэффициент Спирмена.
1. В случае «полной прямой зависимости» признаков:
x1=1, x2=2, …, xn=n,
y1=1, y2=2, …, yn=n.
Правее у1 имеется п – 1 рангов, больших у1. Поэтому
R1 = п – 1. Очевидно, что R2 = п – 2,..., Rn-1 = 1. Следовательно,
сумма рангов Ri будет:
R = (n − 1) + (n − 2) + ... + 1 = n(n − 1) / 2.
Подставив (1.9.14) в (1.9.13), получим τB = 1.
34
(1.9.14)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
2. В случае «противоположной зависимости» имеем:
x1=1, x2=2, …, xn=n,
y1=n, y2=n-1, …, yn=1.
Правее у1 нет рангов, больших у1. Поэтому R1=0. Очевидно,
что R2=R3=R=...=Rn-1=0. Следовательно, сумма рангов R=0. Подставив это в (1.9.13), получим τB= -1.
Приведем правило установления значимости или незначимости ранговой корреляции по Кендаллу. Пусть при уровне значимости α необходимо проверить нулевую гипотезу о равенстве нулю генерального коэффициента ранговой корреляции τГ Кендалла
при конкурирующей гипотезе о том, τГ≠0. Для этого надо вычислить критическую точку:
Т кр = z кр
2(2n + 5)
,
9n(n − 1)
(1.9.15)
где n – объем выборки, zкр – критическая точка двусторонней
критической области, которую находят по таблице функции Лапласа [8] по равенству Ф(zкр)=(1−α)/2.
Если Т кр > τ в нет оснований отвергнуть нулевую гипотезу,
т. е. корреляционная связь между признаками незначимая.
Если Т кр < τ в нулевую гипотезу отвергают, т. е. корреляционная связь между признаками значимая.
Рассмотрим порядок нахождения ранга выборочной статистики [10]. Ранговым вектором R(x) = (R1, R2, ..., Rn) выборки х
называется перестановка чисел 1, 2, ..., n, которая получается при
замене элементов выборки рангами. Ранговой статистикой называется произвольная функция от рангового вектора. Ранговый алгоритм предписывает сравнение некоторой ранговой статистики
с порогом. Исходную выборку х можно восстановить, если известен вектор х( ) порядковых статистик и ранговый вектор R. Вектор
х( ), элементы которого совпадают с членами вариационного ряда
(ряд, в котором выборки х1,х2,...,хп расставлены в возрастающем
порядке), называют вектором порядковых статистик, а элементы
этого вектора – порядковыми статистиками. По отдельности любой из этих двух векторов, т. е. x( ) и R, представляют необрати35
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
мое нелинейное преобразование исходной выборки. Для однородной независимой выборки х случайные векторы x( ) и R независимы.
Ранг Ri элемента хi выборки размера n можно найти при помощи функции единого скачка и u(х) или знаковой функции следующим образом:
n
Ri =  u ( xi − xk ), i = 1, ..., n;
(1.9.16)
1 n
n
Ri =  sgn( xi − xk ) + ,
2 k =1
2
(1.9.17)
k =1
где п – объем выборки, k – заданный элемент выборки, который
сравнивается со всеми выборками i,
0, z < 0,
u( z) = 
– функция единичного скачка.
1
,
z
≥
0

Знаковая функция однозначно связана с функцией единичного скачка, так как
2u ( z ) = sgn z + 1.
Из (1.9.16) и (1.9.17) следует, что ранги являются знаковыми
статистиками от разностей выборочных значений. Для однородной независимой выборки функция правдоподобия инвариантна к
группе перестановок аргументов. Отсюда следует, что для указанной выборки все ранговые векторы равновероятны, каково бы
ни было распределение, которому принадлежит выборка. Общее
число возможных ранговых векторов, соответствующих выборке
размера n, равно числу перестановок n чисел, т. е. равно n! дискретных точек n-мерного эвклидова пространства. Вероятность
попадания рангового вектора R наблюдаемой выборки в любую
точку ri, i=1,..., n! и для любого распределения однородной независимой выборки
P{R = ri / H } =
36
1
.
n!
(1.9.18)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Из (1.9.18) следует, что при использовании рангового алгоритма обнаружения сигнала сохраняется неизменной вероятность
ложной тревоги для стационарной независимой помехи с произвольным распределением. Таким образом, ранговый алгоритм –
непараметрический по отношению к стационарной независимой
помехе. При появлении изменяющегося во времени сигнала ранги перестают быть равновероятными из-за возникающей при
этом неоднородности выборки, т. е. двумерная плотность вероятностей, например, при n=2 w2(x1,x2)≠w11(x1)·w12(x2). Расположение
по величине элементов выборки уже определяется формой сигнала и это позволяет обнаружить сигнал. Таким образом ранговый
алгоритм реагирует на нестационарность, вносимую переменным
сигналом в стационарную помеху.
1.10. Примеры решения задач
Задача 1. Найти общую среднюю совокупности, состоящей
из следующих двух групп:
Группа
Значение признака
Частота выборки признака
Объем выборки
первая
1 6
10 15
10+15=25
вторая
1 5
20 30
20+30=50
Решение. Найдем групповые средние:
1
для первой группы x1 = (10 ⋅ 1 + 15 ⋅ 6) = 4;
25
1
для второй группы x2 = (20 ⋅ 1 + 30 ⋅ 5) = 3,4.
50
Найдем общую среднюю, используя средние групповые x1 и x2 :
x=
25 ⋅ 4 + 50 ⋅ 3,4
= 3,6 .
25 + 50
Примечание. Для упрощения расчета общей средней совокупности значений большего объема целесообразно разбивать на
несколько групп и находить общую среднюю по формуле:
37
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
1 k
xB =  ni xi , где п – общий объем выборки, ni – частота выборки
n i =1
i-ой группы, k – число групп.
Задача 2. Найти выборочную дисперсию и выборочное среднеквадратическое отклонение по заданной совокупности значений эффективных напряжений в виде таблицы распределения:
xi
ni
1
20
2
15
3
10
4;
5,
где хi – выборочное значение признака, ni – частота признака, i
=1,2, число признаков с одинаковыми значениями.
Решение. Найдем выборочное среднее:
xB =
20 ⋅ 1 + 15 ⋅ 2 + 10 ⋅ 3 + 5 ⋅ 4 100
=
= 2.
20 + 15 + 10 + 5
50
Выборочная дисперсия равна:
1 n
20(1 − 2) 2 + 15(2 − 2) 2 + 10(3 − 2) 2 + 5(4 − 2) 2
2
DB =  ( xi − xB ) =
=
n i =1
20 + 15 + 10 + 5
=
50
= 1.
50
Выборочное среднее квадратическое отклонение (стандарт)
определяем по формуле: σ в = DB = 1 = 1.
Задача 3. Найти выборочный коэффициент взаимной корреляции двух процессов X и Y, принимающих значения согласно
таблице 1.10.1.
Решение. При большом числе наблюдений одно и то же значение х может встретиться пх раз, а значение у может встретиться
пу раз, а одна и та же пара значений х, у – пxy раз. Поэтому данные
наблюдений группируют, т. е. подсчитывают частоты пх, пу и пxy.
Эти частоты записывают в таблицу 1.10.1, которую называют
корреляционной.
Пусть даны значения процессов в виде таблицы 1.10.1, где
жирной линией обведен для значений частот пxy.
38
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Таблица 1.10.1
Y
0,4
0,6
0,8
nx
1
X
2
ny
3
2
2
2
1
3
3
2
5
5
4
1
n=10
В таблице 1.10.1 в первой строке указаны наблюдаемые значения признака Х (1, 2, 3, 4), а в первом столбце – наблюдаемые
значения признака Y (0,4; 0,6; 0,8). На пересечении строк и
столбцов указаны частоты пxy наблюдаемых пар признаков х и у.
Например, частота 2 указывает, что пара чисел 1 и 0,4 наблюдалась два раза. Черточка означает, что пара чисел на этом пересечении не наблюдалась, например 2 и 0,4,3 и 0,8.
В последнем столбце указаны суммы частот строк, которые
обозначены пу. В последней строке записаны суммы частот
столбцов, которые обозначены пх. В клетке, расположенной в
правом нижнем углу, помещена сумма всех частот. Очевидно
 nx =  n y = n.
Используем формулу для выборочного коэффициента корреляции (1.4.12) и таблицу 1.10.1. Определяем:
 nxy xy =
2·1·0,4+0+3·3·0,4+ 0+2·2·0,6+2·3·0,6+
0+1·2·0,8+0=
1-я строка
3-я строка
2-я строка
=4,4+6,0+1,6=12
xB =
5 ⋅ 0 ,4 + 4 ⋅ 0 ,6 + 3 ⋅ 0,8
2 ⋅1 + 3 ⋅ 2 + 5 ⋅ 3
= 0 ,52;
= 2 ,3; yB =
10
10
1/ 2
2
2
2
1

σ x =  (1 − 2 ,3) ⋅ 2 + ( 2 − 2 ,3) ⋅ 3 + ( 3 − 2,3) ⋅ 5 


10

1/ 2
 10,9 
=

 10 
= 1,044;
1
2
2
2
2
1

σ y =  ( 0 ,4 − 0 ,52 ) ⋅ 5 + ( 0,6 − 0 ,52 ) ⋅ 4 + ( 0,8 − 0 ,52 ) ⋅ 1  =

10 
1
2
 0 ,208 
=
 = 0 ,1442.
 10 
39
.
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Подставляем в (1.4.12):
rB =
 nxy − nxB y B = 12 − 10 ⋅ 2,3 ⋅ 0,52 =
nσ xσ y
10 ⋅ 1,44 ⋅ 0,1442
0,04
= 0,0267.
1,505
Процессы X и Y некоррелированы, так как они заданы произвольно и независимо.
Задача 4. Задана таблица значений случайной величины X с
объемом выборки n=20. Построить гистограмму распределения
выборки.
№ п/п
1
2
3
4
5
6
7
8
9
10
№ п/п
11
12
13
14
15
16
17
18
19
20
xi
0,4
0,3
0,37
0,35
0,4
0,45
0,5
0,43
0,6
0,7
xi
0,65
0,5
0,45
0,6
0,3
0,4
0,55
0,46
0,42
0,38
Решение. Находим xmax=0,7, xmin=0,3. Определяем число разрядов по формулам:
k min = 0,55n 0, 4 и k max = 1,25n 0, 4 ; k min = 0,55 ⋅ 200, 4 ;
ln k min = ln 0,55 + 0,4 ln 20 = −0,597 + 0,4 ⋅ 2,99 = 1,197. ln k min = 1,197;
k min = e1,197 = 3,31. k max = 1,25n 0, 4 ;
ln kmax = ln1,25 + 0,4 ln 20 = 0,223 + 0,4 ⋅ 2,995 = 1,42; kmax = e1,42 = 4,13.
Берем целое число разрядов k = 4. Находим интервал
Δx =
xmax − xmin 0,7 − 0,3 0,4
=
=
= 0,1.
4
4
4
40
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Намечаем границы разрядов и определяем частоту попадания
случайной величины в разряды. Данные заносим в таблицу:
Интервалы
1
(разряды)
Δx1=0,3-0,4
Число попаданий в разряд
8
Частность
8/20=0,4
2
Δx2=0,4-0,5
3
Δx3=0,5-0,6
4
Δx4=0,6-0,7
7
7/20=0,35
3
3/20=0,15
2
2/20=0,1
Проверяем выполнение условия нормировки для распределения вероятностей:
4
 pi = 0,4 + 0,35 + 0,15 + 0,1 = 1.
i =1
Строим гистограмму (рис. 1.10.1).
Рис. 1.10.1. Гистограмма к задаче 4
Задача 5. Производилось измерение дальности до цели с помощью радиолокатора. Количество измерений 500. Данные измерений приведены в таблице:
Интервал (hi), м
Середина интервала (ai), м
Число ошибок
в интервале vi
Относительная
частота pi
-25; -15
-20
-15; -5
-10
-5; 5
0
5; 15
10
15; 25
20
50
130
200
100
20
0,10
0,26
0,40
0,20
0,04
41
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Требуется: 1) построить гистограмму рi (х) и эмпирическую
функцию распределения F1(x) ошибок измерения дальности;
2) аппроксимировать выборочное распределение с помощью
нормального закона; 3) пользуясь критерием согласия хи-квадрат
с уровнем значимости α= 0,01, проверить согласованность теоретического и эмпирического распределений.
Решение. Так как требуется аппроксимировать выборочное
распределение нормальным законом, то необходимо определить
для него два параметра из эксперимента – это матожидание и
дисперсию.
mx =
5
1 5
ν
a
=
 i i  ai pi* =
n i =5
i =1
= −20 ⋅ 0,4 − 10 ⋅ 0,26 − 0 ⋅ 0,4 + 10 ⋅ 0,2 + 20 ⋅ 0,04 = −1,8 м;
ai – середины интервалов.
Dx*
5
=  ai2 pi* − ( mx )2 =
i =1
= 400 ⋅ 0,1 + 100 ⋅ 0,26 + 100 ⋅ 0,2 + 400 ⋅ 0,04 − 3,24 = 98,76 м2
σ *x = D* = 98,76 ≈ 9,93 м.
Выражения оценок плотности вероятности и функции распределения будут иметь вид:
Pˆ1 ( x ) =
 ( x − mx )2 
 ( x − 1,8)2 
1
exp  −
exp −
=
.
2
⋅
π
9
,
93
2
2
98
,
76
σ
2
2πσ x2
x




1
Fˆ1 ( x) =
x
ˆ1 ( x) = Ф x + 1,8 .
P

 9,93 
−∞
Pˆ1 ( x) и Fˆ1 ( x) есть оценочные распределения, построим их графики (рис. 1.10.2 и рис. 1.10.3). По условию число интервалов r = 5,
а длина интервалов h = 10 м (см. таблицу).
42
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Рис. 1.10.2. Гистограмма выборки
Рис. 1.10.3. Эмпирическая функция распределения
Для определения меры расхождения по критерию хи-квадрат
необходимо вычислить вероятности в интервалах теоретического
распределения,
которые
находим
по
формуле:
 x −m
 x −m
Pi = Ф i +1
 − Ф i
 , где xi и xi+1 – границы i-того интерσ
σ




43
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
вала, а Ф(х) – интеграл вероятностей (находится по таблице [9]).
Результаты вычислений сведены в таблицу:
Интервал (hi), м
Вероятность Pi
-25; -15
0,0821
-15; -5
0,2818
-5; 5
0,3794
5; 15
0,2012
15; 25
0,0417
Меру расхождения хи-квадрат находим по формуле (1.6.1):
(ν i −npi ) 2 1  (500 − 500 ⋅ 0, 0821) 2 (130 − 500 ⋅ 0, 2818) 2
= 
+
+
χ =
⋅
⋅
np
5
500
0
,
0821
500
0
,
2818
i =1

i
2
+
r =5
(200 − 500 ⋅ 0, 3794) 2 (100 − 500 ⋅ 0, 2012) 2 ( 20 − 500 ⋅ 0, 0417 ) 2 
+
+
=
500 ⋅ 0, 37994
500 ⋅ 0, 2012
500 ⋅ 0, 0417

= 3, 427.
Оценочными параметрами в теоретическом распределении
заменены математическое ожидание и дисперсия, т. е. два параметра. Поэтому имеем три связи (математическое ожидание, дисперсия и сама функция плотности вероятности) теоретического
распределения и эмпирического (эмпирическое распределение
требуется аппроксимировать нормальным распределением). Находим число степеней свободы k = r- s – 1 = 5 – 2 – 1 = 2. Из таблицы приложения ΙIΙ [9] при т = 2 и заданной доверительной вероятности α = 0,01 (допустимая вероятность ошибки) находим
χ m2 ; α = χ 22; 0,01 = 9,21 . Так как χ 2 = 3,427 < χ m2 ; α = 9,21 , то гипотезу
о том, что ошибка измерения дальности до цели радиолокатором
распределена по нормальному закону, можно считать правдоподобной.
Задача 6. Случайная величина имеет нормальное распределение со средним квадратическим отклонением σ = 3. Найти доверительные интервалы для оценки неизвестного математического ожидания т по выборочным средним x , если объем выборки
п =36 и задана надежность оценки γ = 0,95.
Решение. Надежность оценки (или доверительный уровень)
определяется формулой (1.7.6):
44
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
γ =q=
x + kσ
 f xˆ ( x)dx ,
x − kσ
где k – постоянная, связанная с q и плотностью распределения
f xˆ ( x) , которая по условию является нормальным.
Решение для q представим через интеграл вероятности:
q = Fxˆ ( x + kσ ) − Fxˆ ( x − kσ ) .
Для нормального закона известна зависимость q от k (см.
табл. 4.1 [2]). Так, при заданном q = 0,95 величина k = 1,96.
Можно теперь утверждать, что с надежностью q = 0,95 дове,  x + kσ
 покрывает неизрительный интервал  x − kσ
n 
n

вестный параметр m – математическое ожидание. Точность оцен1
ки математического ожидания равна δ = kσ
= 1,96 ⋅ 3
= 0,98.
n
36
Доверительный интервал равен ( x − 0,98; x + 0,98) . Если, например, x = 4,1, то доверительный интервал имеет следующие
доверительные границы:
– нижняя граница x − 0,98 = 4,1 − 0,98 = 3,12;
– верхняя граница x + 0,98 = 4,1 + 0,98 = 5,08 .
Если требуется оценить математическое ожидание с наперед
заданной точностью δ, надежностью γ = q, то минимальный объем выборки, который обеспечит эту точность, находят по формуле: n = k 2σ 2 / δ 2 .
Задача 7. По выборке объема п = 16 нормального распределения признака X найдены выборочное среднее X = 20,2 и «исправленное» среднее квадратическое отклонение s = 0,8. Оценить
неизвестное математическое ожидание «а», если задана доверительная вероятность γ = 0,95.
Решение. По заданным γ= 0,95, п = 16, пользуясь таблицей
приложения 3 в [3], находим tγ= 2,13. Находим доверительные
границы из соотношения (1.7.5), где k=tγ; σ=s:
X−
tγ s
n
= 20,2 − 2,13 ⋅ 0,8
16
= 19,774 – нижняя граница интервала,
45
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
X+
tγ s
n
= 20,2 + 2,13 ⋅ 0,8
16
= 20,626 – верхняя граница интервала.
Итак, неизвестное математическое ожидание «а» заключено в
интервале 19,774 < a < 20,626.
Задача 8. Имеется физическая случайная величина х, распределенная по нормальному закону. Необходимо найти объем выборки n, который бы обеспечивал надежность оценки математического ожидания γ= 0,95 с точностью δ=0,05, если известно, что
tγ = 2,15 и дисперсия σ2 = 5.
Решение. Воспользуемся формулой из задачи 6, где п=k2σ2/δ2,
k-ty.
Получаем п = 2,152 · 5/0,052 = 9245,2 ≈9245.
Задача 9. Известно, что по девяти равноточным измерениям
электрического напряжения постоянного тока найдены среднее
арифметическое результатов измерения x = 42,319 B , "исправленное" среднее квадратическое отклонение S=5,0 В. Требуется
оценить истинное значение измеряемого напряжения с надежностью γ=0,95.
Решение. Истинное значение измеряемого напряжения равно
математическому ожиданию этого напряжения, поэтому задача
сводится к оценке математического ожидания при помощи доверительного интервала, для оценки которого по условию задачи
все данные имеются, т. е. п=9, γ=0,95, по которым находится
tγ = 2,31 [3, приложение 3].
Далее найдем точность оценки по формуле:
 = 2,31 5  = 3,85.
tγ =  S
n
9


Найдем доверительный интервал, в котором находится истинное значение ожидаемого напряжения: x − tγ S / n < a < x + tγ S / n
или после подстановки известных значений получим нижнюю границу доверительного интервала x − tγ / n = 42,319 + 3,85 = 38,469 B и
верхнюю границу x + tγ S / n = 46,169 B . Итак, с надежностью 0,95 истинное значение измеряемого напряжения заключено в доверительном интервале 38,469 В < а < 46,169 В.
46
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Задача 10. По измерениям случайной величины х найдено
выборочное значение среднего квадратического отклонения
S=0,12 при объеме выборки п=15. Требуется найти точность измерения среднеквадратического значения σ с надежностью
γ=0,99.
Решение. Точность измерений характеризуется средним
квадратическим отклонением σ случайных ошибок, поэтому задача сводится к отысканию доверительного интервала (1.7.9), покрывающего σ с заданной надежностью γ=0,99. Из (1.7.9) видно,
что для нахождения доверительного интервала требуется найти
значение q при γ=0,99 и п=15 по таблице приложения 4 [3]. Значение q=0,73. Искомый доверительный интервал для σ находим
по (1.7.9): 0,12(1−0,73) < σ < 0,12(1+0,73) или 0,032 < σ < 0,21.
Задача 11. Пусть имеется последовательность N=20 наблюдений некоторой случайной величины x, принимающая следующие значения: 5,5; 5,1; 5,7; 5,2; 4,8; 5,7; 5,0; 6,5; 5,4; 5,8; 6,8; 6,6;
4,9; 5,4; 5,9; 5,4; 6,8; 5,8; 6,9; 5,5. Требуется проверить независимость наблюдений, применив критерий серий с уровнем значимости α=0,05.
Решение. Подсчитаем число серий в последовательности, полученной путем сравнения с медианой, которая здесь равна хм =
5,6. При этом классифицируем превышение медианы как (+), а
меньшие значения как (-). В результате получим:
-1
+
2
-3
+
4
5
+
6
7
+++ -8
9
+++ 10
11
+++ 12
13
Таким образом, в последовательности из 20 наблюдений имеется 13 серий. Предположим, что наблюдения независимы. Область принятия этой гипотезы имеет вид:
 r10 ;1−α / 2 < r ≤ r10 ;α / 2  ,
где r10;1−α / 2 – число серий, значения которых меньше медианы с
уровнем значимости 1 − α / 2 = 1 − 0,05 / 2 = 0,975; r10;α / 2 – число
серий, значения которых больше медианы с уровнем значимости
α/2 = 0,05/2 = 0,025.
47
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Из
табл. А 6 [7] для α=0,05 и r=10 находим:
r10;1−α / 2 = r10; 0,975 = 6; r10;α / 2 = r10;0,025 = 15 . Гипотеза о независимости наблюдений принимается, так как r=13 попадает в интервал,
заключенный между 6 и 15. Это означает, что нет оснований сомневаться в независимости наблюдений, т. е. данных в пользу
наличия тренда в наблюдаемой последовательности нет.
Задача 12. Пусть требуется проверить наличие тренда в последовательности из N=20 наблюдений из задачи 11 при уровне
значимости α = 0,05. Применить метод инверсий.
Решение. Из наблюдаемой последовательности находим число инверсий. Берем значение 5,5 и смотрим, сколько справа имеется значений больше 5,5, находим A1=8. Затем берем число 5,1 и
смотрим, сколько чисел больше справа, находим A2=3 и т. д. Находим А3=8, А4=3, А5=0, А6=6, А7=1, A8=8, A9=1, A10=4, А11=7,
А12=6, A13=0, A14=0, A15=3, A16=0, A17=2, А18=1, A19 =1.
Общее число инверсий
N −1
A =  Ai =
i =1
= 8 + 3 + 8 + 3 + 0 + 6 +1+ 8 +1+ 4 +
+ 7 + 6 + 0 + 0 + 3 + 0 + 2 + 1 + 1 = 62 .
Пусть гипотеза заключается в том, что в наблюдаемых значениях последовательности нет тренда. Область принятия этой гипотезы имеет вид A20;1−α / 2 < A ≤ A , где A20;1−α / 2 – число инверсий, значение которых меньше общего числа инверсий с уровнем
значимости 1 − α / 2 = 1 − 0,05 / 2 = 0,975; A20;α / 2 – число инверсий,
значение которых больше или равно А с уровнем значимости
α/2 = 0,05/2 = 0,025.
Из табл. А 7 в [7] при α=0,05 находим A20;1−α / 2 = A20; 0,975 = 64
и A20; α / 2 = A20; 0,025 = 125. Следовательно, имеем интервал для А в
виде: 64<A≤125, т. е. А = 62 не попадает в доверительный интервал, гипотеза должна быть отвергнута. Напомним, что гипотеза о
независимости этой же последовательности была принята при
использовании критерия серий в задаче 11. Это свидетельствует о
различной чувствительности этих двух методов.
48
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Задача 13. Задана выборка наблюдаемого процесса x(t) объемом п = 5 в виде x1=3, х2=5, х3=1, х4=4, х5=2. Найти ранги полученных выборок, используя формулу (1.9.16).
Решение. Из условия задачи видно, что п = 5, i изменяется от
1 до 5, k может принимать любое значение от 1 до 5, z= хi – xk.
5
Формула (1.9.16) для нашего случая будет Ri =  u( xi − xk ) , где
k =1
i=1, 2, 3, 4, 5.
0; z < 0,
u( z = xi − xk ) = 
1; z ≥ 0.
При i = 1 имеем
z = xi – xk = x1 – x1 = 3 – 3 = 0, u(z = 0) = 1
z= x1 – x2 = 3 – 5 = -2, u(Z =-2) = 0;
Z = x1
– x3= 3 – 1 = 2, u(z = 2)= l,
z = x1 – x4 = 3 – 4 = -l, u(Z =-1) = 0;
Z = x1
– x5 = 3 – 2 = 1 u(z = l) = 1.
При i = 2 имеем
z = x2 – x1 = 5 – 3 = 2; u(z = 2) = l;
z = x2 – x2 =5 – 5 = 0;
u(z = 0) = l; z = x2 – x3 = 5 – l = 4;
u(Z = 4) = 1; Z = X2 – X4 = 5 – 4 = 1,
u(z = l) = l; z = x2 – x5 = 5- 2 = 3, u(z = 3) = l.
При i = 3 имеем:
z = x3 – x1 = l – 3=-2, u(z = -2) = 0;
z = x3 – x2 = l – 5 = -4, u(z = -4) = 0;
z = x3 – x3 = 1 – 1 = 0, u(z = 0) = l;
49
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
z = x3 – x4= l – 4 = -3, u(z = -3) = 0;
z = x3 – x5 = l – 2 = -l, u(z = -l) = 0.
При i=- 4 имеем:
z=x4 – x1 = 4 – 3 = 1, u(z = l) = l;
z = x4 – x2 = 4 – 5 = -l, u(z = -l) = 0;
z = x4 – x3 = 4 – l = 3, u(z = 3) = l;
Z = X4
– X4 = 4 – 4 = 0, u(z = 0) = 1
Z = X4
– X5 = 4 – 2 = 2, u(z = 2) = l.
При i = 5 имеем:
z = x5 – x1 = 2 – 3 = -1 u(z = -l)=0;
z = x5 – x2 = 2 – 5 = -3, u(Z = -3) = 0;
z = x5 – x3 = 2 – l = l, u(z = 1) = 1;
z = x5 – x4 = 2 – 4 = -2, u(z=-2) = 0;
z =x5 –x5 = 2 – 2 = 0, u(z = 0) = l.
Находим суммы при каждом i = 1, 2, 3, 4, 5:
R1=1+0+1+0+1=3; R2 –1+1+1+1+1=5; R3=0+0+1+0+0=1;
R4=1+0+1+1+1=4; R5=0+0+1+0+0=1.
Итак, результаты можно представить таблицей:
Значение i
Значение xi
Ранги Ri
1
3
3
2
5
5
3
1
1
4
4
4
5
2
2
Задача 14. По выборке, заданной в задаче 13, найти ранги
каждому значению, пользуясь формулой (1.9.17).
Решение. Дана формула для рангов:
50
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
n
1 n
Ri =  sgn ( xi + xk ) + ,
2 k =1
2
где i=1, 2, 3, 4, 5; n – объем выборки; k – каждый элемент выборки, который может быть равным 1, 2, 3, 4, 5.
1, xi ≥ 0,
sgn( xi − xk ) = sgn( z ) = h( z ) = 
− 1, x i < 0.
sgn(z) = h(z) – знаковая функция.
При i = 1, xi = 3 находим h(z)= 1, -1, +1, -1,+1;
1
5
R1 = (1 − 1 + 1 − 1 + 1) + = 3 .
2
2
При i = 2, х2= 5 находим h(z) = 1,+1, +1, +1, +1;
1
5
R2 = (1 + 1 + 1 + 1 + 1) + = 5 и т. д.
2
2
В результате получаем для заданной последовательности такие же ранги, как и в задаче 13.
Задача 15. Найти выборочный коэффициент ранговой корреляции Спирмена по данным рангов значений выборки х и у объема п = 10 в следующем виде:
xi
yi
1
6
2
4
3
8
4
1
5
2
6
5
7
10
8
3
9
7
10
9
Проверить также значимость коэффициента ранговой корреляции при α=0,05.
Решение. Находим разности рангов di=xi –уi: -5, -2, -5, 3, 3, 1,
-3 , 5, 2, 1.
Вычисляем сумму квадратов разности рангов:
10
 di2 = 25 + 4 + 25 + 9 + 9 + 1 + 9 + 25 + 4 + 1 = 112.
i =1
Находим искомый коэффициент корреляции Спирмена по
(1.9.11), учитывая, что п=10:
51
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ρB = 1 −
6 d i2
n3 − n
= 1−
6 ⋅ 112
= 0,32 .
(103 − 10)
Далее проверяем значимость ρB при α = 0,05. Для этого найдем критическую точку двусторонней критической области распределения Стьюдента по уровню значимости α=0,05 и числу
степеней свободы k = п – 2 (приложение 6 в [8]): tкр(0,05,8)=2,31.
Находим критическую точку по формуле (1.9.12):
Tкр = tкр (α, k )
(1 − ρ )
2
B
(1 − 0,32 )
2
( n − 2 ) = 2,31
(10 − 2 ) = 0,774.
Так как Ткр>ρB, то нет оснований отвергнуть нулевую гипотезу, т. е. ранговая корреляция между признаками х и у незначимая.
Задача 16. Требуется найти выборочный коэффициент ранговой корреляции Кендалла по данным объектов выборки объема
п = 10:
По признакуА
По признаку В
xi
yi
1
6
2
4
3
8
4
1
5
2
6
5
7
10
8
3
9
7
10
9
Проверить также значимость коэффициента ранговой корреляции при α=0,05.
Решение. Правее у1 = 6 имеется 4 ранга (8, 10, 7, 9), больших
y1, поэтому R1=4. Правее у2=4 имеется 5 рангов (8, 5, 10, 7, 9),
больших у2, поэтому R2=5 и т. д. Имеем: R3 = 2, R4 = 6, R5 = 5,
R6 = 3, R7 = 0, R8 = 2, R9 = 1. Следовательно, сумма рангов R = 28.
Применяя формулу (1.9.13), находим:
τв =
4R
4 ⋅ 28
−1 =
= 0,24.
n(n − 1)
10(10 − 1)
Отметим, что в задаче 15 ранговый коэффициент корреляции
ρB =0,32, т. е. коэффициент ранговой корреляции по Спирмену
больше, чем по Кендаллу.
52
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Найдем значимость коэффициента ранговой корреляции
Кендалла при при α=0,05, учитывая, что n = 10. Определим критическую точку, используя формулу (1.9.15):
Т кр = zкр
2(2n + 5)
,
9n(n − 1)
где zкр находится из соотношения
1
1
Ф( zкр ) = (1 − α ) = (1 − 0,05) = 0,475.
2
2
По таблице функции Лапласа (приложение 2 в [8]) находим
zкр = 1,96.
2(2 ⋅ 10 + 5)
= 0,487.
Таким образом, Т кр = 1,96
9 ⋅ 10(10 − 1)
Далее сравниваем Ткр и τB между собой. Видно, что Ткр>τB,
следовательно, гипотеза о незначимой связи признаков А и В
верна.
1.11. Задачи для самостоятельного решения
Задача 1. В результате пяти измерений случайной величины
х одним прибором, который не имеет систематической ошибки,
получены следующие результаты: 92; 94; 103; 105; 106.
Определить:
1) выборочную среднюю m*x измеряемой величины;
2) выборочную дисперсию σ B2 и исправленную дисперсию s2
ошибок прибора.
Ответ: m*x =100;σ B2 = 34 ; s 2 = 42,5 .
Задача 2. Найдите значение плотности распределения Стьюдента при t=1, если: а) v=5; б) v=10.
Ответ: 0,2197; 0,2304.
Задача 3. Дана таблица о росте и массе N=25 выбранных
наугад студентов. Есть ли основания считать, что рост студентов
и их масса коррелированы при уровне значимости α = 0,05? Х –
рост, a Y соответственно масса.
53
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
X
Y
X
Y
X
Y
178
68
183
79
185
77
188
95
193
70
165
61
178
67
188
84
185
79
165
66
183
84
188
82
175
83
173
75
163
68
185
75
178
100
183
77
183
70
180
84
183
75
175
77
173
82
170
66
185
77
Ответ: rxy=0,43; гипотеза о том, что рост и масса некоррелированы, должна быть отвергнута с уровнем значимости α=0,05.
Область принятия гипотезы о нулевой корреляции имеет вид [7]:
N − 3  1 + rxy 
 < zα , где z – стандартная, нормальln
− zα ≤
2
2
r
2
1
−

xe 
но распределенная величина.
Задача 4. Ошибки 15 измерений дальности до цели с помощью радиодальномера представлены таблицей:
Номер измерения
Ошибка xi, м
Номер измерения
Ошибка xi, м
1
18
9
-10
2
-15
10
6
3
-5
11
-5
4
6
12
-10
5
-15
13
12
6
6
14
-10
7
12
15
-5
8
-5
Требуется:
1) построить распределение плотности вероятностей выборки
и функцию распределения;
2) определить выборочную среднюю тх и выборочную дисперсию ошибки измерения.
Ответ: m*x = −4 / 3 м; Dx8 ≅ 108 м 2 ; гистограммы не приводятся.
Задача 5. Испытания 200 радиоламп на их срок службы дали
результаты, приведенные в таблице:
Срок службы, ч. vi – частота
300–400
1
400–500
9
500–600
18
600–700
33
700–800
40
800–900
52
900–1000
29
1000–1100
14
1100–1200
4
54
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Требуется:
1) установить теоретический закон распределения срока
службы радиоламп и найти его параметры;
2) написать выражения для плотности вероятности Pˆ1 ( x) и
функции распределения Fˆ1 ( x) ;
3) пользуясь критерием χ2, установить, согласуются ли данные испытаний с гипотезой о распределении случайной величины по избранному теоретическому закону.
Ответ: 1) закон распределения нормальный с параметрами ;
m = m*x = 784 ч, σ 2 = 26844 ч 2 , σ = 163,8 ч;
2) Pˆ1 ( x) =
 ( x − 784) 2 
1
exp −
,
536888
163,8 2π


 x − 784 
Fˆ1 ( x) = Ф
;
163
,
8


3) согласуются.
Задача 6. Пусть выборка содержит N = 31 независимое наблюдение нормально распределенной случайной величины x:
61
69
61
58
59
54
60
65
55
60
53
47
54
56
57
58
56
59
48
62
61
61
43
67
57
67
63
61
65
58
62
Найти доверительные интервалы с доверием в 90 % для
среднего значения и дисперсии случайной величины х.
22, 91 ≤ σ x2 < 54, 22;
56 , 85 ≤ mx < 60, 37 ;
Ответ:
x = 58, 61; s 2 = 33, 43.
Задача 7. Произведено 12 измерений напряжения радиосигнала одним и тем же прибором, не имеющим систематической
ошибки, причем выборочное среднее квадратическое отклонение
s случайных ошибок оказалось равным 0,6 В.
Найти точность прибора с надежностью 0,99.
Ответ: 0,39 В < σ < 1,24 В.
55
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Задача 8. Дана последовательность выборочных значений
напряжения на выходе приемника (см. ниже). Найдите ранги последовательности, используя формулу с единичной функцией
(1.9.16). х1= 4, 1, 7, 2, 1; i = 1, 2, 3, 4, 5.
Ответ: R1= 4; R2= 2; R3= 5; R4= 3; R5= 2.
Задача 9. Дана последовательность выборочных напряжений,
приведенная в задаче 24. Найдите ранги, пользуясь формулой
(1.9.17).
Omвem:R1 = 4; R2=2; R3=5; R4=3; R5=2.
Задача 10. Найти выборочный коэффициент ранговой корреляции Спирмена по данным ранга объектов выборки объема п – 5:
xi
yi
1
5
3
4
4
2
6
1
7
3
Проверить, является ли ранговая корреляционная связь значимой при уровне значимости α= 0,05.
Ответ: рВ = –0,7. Так как Ткр= 3,16 > рВ = –0,7, ранговая
связь между признаками незначимая.
Задача 11. Найти выборочный коэффициент корреляции
Кендала по данным ранга объектов, приведенных в задаче 26, и
проверить, является ли корреляционная связь значений при уровне значимости α= 0,05 значимой.
Ответ: τВ = –0,6. Так как Ткр=0,8>τB= –0,6, то ранговая
связь между признаками незначимая.
1.1.12. Контрольные вопросы к главе 1
1. Дайте определение понятию «эргодический случайный
процесс». Какие процессы можно отнести к эргодическим? Показать, как выражается функция корреляции случайного процесса
гармонического колебания с постоянной амплитудой и равномерно распределенной фазой в интервале [0, 2π].
Примечание. Используйте усреднение по времени.
56
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Можно ли считать, что интервал корреляции гармонического
процесса со случайной равновероятно распределенной фазой равен бесконечности?
Что дает на практике использование определения эргодичности случайного процесса?
Дайте определение эргодичности случайного процесса по
Слуцкому.
Приведите определение «центрирование» случайного процесса. Как его реализовать?
2. Дайте определение нестационарного случайного процесса.
Приведите примеры.
3. Обоснуйте формулами применение определений «математического среднего», «дисперсии», «функции корреляции» при
усреднении по ансамблю, по времени и по выборке.
4. В чем физический смысл определения дисперсии случайного процесса для стационарного электрического напряжения?
Можно ли считать, что физически дисперсия случайного электрического напряжения и дисперсия температуры это одно и то
же? В каком смысле дисперсии можно считать одинаковыми характеристиками в этих примерах?
5. Какие формулы можно использовать для вычисления функций корреляции, автокорреляции и взаимной корреляции непрерывного и дискретного эргодического случайного процесса?
6. Дайте определение ковариационной функции и укажите ее
отличие от определения корреляционной функции.
7. Объясните, как понимать центральный и смешанный момент второго порядка. Напишите формулы.
Примечание. Для ответа на вопросы 1–7 воспользуйтесь
учебным пособием: Тихонов В. И., Шахтарин Б. И., Сизых В. В.
Случайные процессы: Примеры и задачи. Т. 1. Случайные величины и процессы: учеб. пособие для вузов / под ред. В. В. Сизых.
М.: Радио и связь. 2003. 400 с., ил.
8. Что происходит с дисперсией суммы и разности двух случайных независимых процессов? Как ведет себя дисперсия отсчетов случайного процесса, если отсчеты независимы? Что происходит с дисперсией, если отсчеты коррелированны?
57
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
9. Влияет ли на величину дисперсии случайного стационарного процесса форма реализации стационарного случайного процесса?
10. Имеется оценка электрического параметра. Например,
амплитуды импульса. Раскройте смысл слова «оценка». Можете
привести другие примеры.
11. Раскройте понятия «точечная оценка» параметра и «интервальная оценка» параметра.
12. Объясните, как вы понимаете слово «тренд». Приведите
пример.
13. Раскройте определения «медиана» случайных величин и
случайного процесса. Есть ли у них различия и что общего?
14. Что такое «ранг» случайной величины, его определение.
Приведите пример применения рангов.
15. Где используется ранговая статистика?
16. Почему применяются коэффициенты корреляции Спирмена и Кендалла? Чем это объясняется?
17. Проследите нахождение доверительных границ при известной плотности вероятности случайной величины.
18. Как соотносятся между собой точечная и интервальная
оценки?
19. Может ли при каком-либо значении аргумента функции
плотности вероятности быть:
1) функция распределения больше единицы?
2) плотность распределения больше единицы?
3) функция распределения отрицательной?
4) плотность вероятности отрицательной?
20. Какова размерность следующих характеристик случайной
величины:
1) функции распределения;
2) плотности распределения;
3) математического ожидания;
4) дисперсии;
5) среднего квадратичного отклонения;
6) третьего начального момента?
21. Случайную величину Х умножили на постоянное число а.
Как изменятся ее характеристики:
1) математическое ожидание;
58
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
2) дисперсия;
3) среднее квадратическое значение;
4) второй начальный момент?
Ответ:
1) математическое ожидание умножится на а;
2) дисперсия умножится на а2;
3) среднее квадратическое значение умножится на |а|;
4) второй начальный момент умножится на а2.
22. Укажите, можно ли устранить «тренд» в канале связи?
23. Расскажите методику применения критерия серий выборок случайной величины. Для чего он применяется?
24. Зачем применяется критерий инверсий выборок случайных величин? Приведите пример.
25. Расскажите, что представляет собой хи-квадрат распределение? Какие распределения можно получить, изменяя объем выборки случайной величины?
Ответ: Плотность вероятности хи-квадрат имеет вид:
χ 2n = z12 + z22 + z33 + ... + z nn ; где n – число степеней свободы.
−1
 χ2  2
 n / 2  n 
2
2 (( n / 2 ) −1)
, χ ≥ 0,
P( χ ) = 2 Г   ( χ )
exp −

2
2
 



n
где Г   – гамма-функция.
2
Соответствующая функция распределения χ n2 , равная инте-
гралу от плотности по интервалу от –∞ до данного значения χ n2 ,
называется хи-квадрат распределением с n степенями свободы. А
интеграл
F ( χ n2
> χ n;α ) =
∞
2 P( χ
2
)dχ 2 = α есть 100α – процентные
χ n ;α
точки хи-квадрат распределения. α – вероятность того, что χ n2
попала в интервал от χ n2 до ∞. Среднее значение и дисперсия рав2
2
2
ны: μ χ2 = n; σχ2 = M  (χ n − μ χ2 )  = 2n ; χ – квадрат распределение
является частным случаем более общего гамма-распределения.
Распределение случайной величины
59
χ n2=2 имеет распределение
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Релея; распределение случайной величины
χ n2=3 имеет распре-
деление Максвелла и при n>30 величина
2 χ n2 приближенно
нормальна со средним μ = 2n − 1 и дисперсией σ2=1. Перечисленные распределения широко используются в теории и практике.
26. Какую случайную величину характеризует распределение
Стьюдента и для чего оно применяется?
Ответ: Пусть y и z независимые случайные величины, при
этом y имеет χ2 распределение, а z – нормальное распределение с
нулевым средним и единичной дисперсией. Определим новую
z
случайную величину в виде t n =
. Тогда величина tn имеет t
y/n
распределение Стьюдента с n степенями свободы. Плотность вероятности
случайной
величины
tn
имеет
вид:
Г [(n + 1) / 2]  t 2 
P(t ) =
1 + 
n  n 
πn Г  
2
− ( n +1) / 2
. Функция распределения случай-
ной величины tn вычисляется интегрированием выражения P(t) в
пределах от -∞ до данного значения tn и называется t распределением с n степенями свободы, т. е. F (t n > t n;α ) =
∞
 P(t )dt = α .
t n ;α
100α – процентная точка t распределения, α – вероятность того,
что tn попала в интервал от tn до ∞. Среднее значение и дисперсия
n
.
tn равны: μt=0; σ tn 2 =
n−2
Отметим, что t распределение стремится к стандартному
нормальному распределению с увеличением числа степеней свободы n. Многие задачи статистики приводят к рассмотрению расz
пределения случайной величины вида t n =
.
y/n
60
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
2. ОЦЕНКА ПАРАМЕТРОВ СИГНАЛА
ПРИ НАЛИЧИИ ПОМЕХ
2.1. Постановка задачи
оценки параметров сигнала
Измерение координат и параметров движения объектов в радиолокации, радионавигации и системах связи сводится в конечном счете к измерению параметров сигналов (времени запаздывания, амплитуды, частоты, фазы и других параметров).
Задача оценки параметров сигнала при приеме на фоне помех
может быть сформулирована следующим образом. Пусть в течение фиксированного интервала времени [0 < t < T] наблюдается
(принимается) некоторая реализация случайного процесса
x(t)=f [s(t, L, q), n(t)], являющаяся детерминированной скалярной
функцией полезного сигнала s(t, L, q) и помехи (помех) n(t). Полезный сигнал s(t, L, q) является детерминированной функцией
своих аргументов и в общем случае содержит кроме фиксированного числа известных параметров неизвестные параметры
L(l1,...,lp), подлежащих оценке (р – число параметров), и μ неизвестных параметров q(q1,... ,qμ), которые не интересуют наблюдателя и в оценке которых нет необходимости. В дальнейшем неизвестные параметры будем считать оцениваемыми (существенными), а параметры, которые не интересуют наблюдателя, – несущественными, мешающими или паразитными.
Одним из основных условий задачи оценки параметров сигнала является требование независимости существенных параметров от времени в течение интервала приема [0,Т]. Будем полагать,
что оцениваемый многомерный параметр L является непрерывной случайной функцией времени в некотором заданном интервале ее возможных значений.
На основе обработки наблюдаемой реализации x(t) необходимо решить, какие значения принимают параметры L(l1, ..., lp) в
этой реализации, т. е. выработать оценку искомого многомерного
параметра L.
61
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Термин «оценивание» несколько шире термина «измерение».
При этом первый обычно используется в математической литературе, второй – в технической. Оценка параметра сигнала – это
некоторым образом выбранная система функций (или одна функция) от наблюдаемых данных x(t).
Возможны разнообразные методы оценивания. При этом каждая оценка характеризуется своим показателем качества. Показатель качества, в свою очередь, определяется выбором критерия
качества оценки. Поэтому, прежде чем построить оценку, нужно
выбрать критерий оценки. Выбор критерия оценки зависит от конечной задачи, для которой используется оценка параметра сигнала. Так как задачи весьма разнообразны, то не может быть единого критерия оценки и единственной оценки для данного параметра сигнала.
Из-за наличия помех и конечного времени наблюдения сигнала любой оценке присущи ошибки, определяемые как критерием качества оценки, так и условиями, при которых происходит
процесс оценки.
Поэтому задача оптимальной оценки параметра L состоит в
том, чтобы найти такой алгоритм оценки, при котором для заданного критерия ошибки решения (оценки) были бы минимальными.
Интуитивно ясно, что оценка параметра L должна быть близка в некотором смысле к истинному значению оцениваемого параметра. В дальнейшем будем полагать, что неизвестным параметром сигнала является один существенный параметр L. Для
оценки одного параметра естественно получить одну функцию от
наблюдаемой реализации, причем эта функция должна обладать
некоторыми хорошими свойствами.
Оцениваемый параметр для наблюдателя является случайной
величиной. В такой ситуации наиболее полные сведения о возможных значениях параметра l даются апостериорной (послеопытной) плотностью вероятности Wps(l)=W[l/x(t)], которая является условной плотностью вероятности параметра (при условии, что принята данная реализация x(t)).
Выражение для апостериорной плотности вероятности может
быть получено из теоремы об условных вероятностях двух величин l и х, где x[x1,..., xv] понимается многомерной выборкой (vмерной) из реализации x(t) на интервале [0,T].
62
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Согласно теореме об условных вероятностях
W (l , X ) = W (l )W ( x / l ) = W ( X )W (l , X ),
W (l , X ) = W ps (l ) =
W (l )W ( X / l )
,
W (X )
(2.1.1)
(2.1.2)
где W(l) – априорная (доопытная) плотность вероятности оцениваемого параметра l; W(x) – плотность вероятности многомерной
выборки х из реализации x(t).
Плотность вероятности W(x) не зависит от текущего значения
оцениваемого параметра l и может быть найдена из условия нормировки плотности вероятности Wps(l):
W ( X ) =  W ( X / l )W pr (l )dl .
(2.1.3)
L
С учетом (2.1.3) выражение (2.1.2) можно записать как
W ps (l ) = W pr (l )W ( x / l )
1
,
(
)
(
/
)
W
l
W
X
l
 pr
(2.1.4)
L
где условная плотность вероятности W(x/l)=W(x1,x2, ... , хv/l), рассматриваемая как функция от l, называется функцией правдоподобия. Эта функция при фиксированной выборке х показывает,
насколько одно возможное значение параметра l «более правдоподобно», чем другое.
Функция правдоподобия играет весьма важную роль в задачах оптимального приема. Если используется не выборка наблюдаемых данных х (дискретная обработка), а сама реализация x(t)
(непрерывная обработка), то использование функции правдоподобия приводит к ряду математических трудностей. Избежать их
можно, вводя отношение правдоподобия, которое имеет вид:
Λ (l ) =
W ( x1 , x2 ,  , xv / l )
,
W ( x1 , x2 ,  , xv / S = 0)
(2.1.5)
где W(x1,x2,…,xv /S=0) – плотность вероятности выборки наблюдаемых данных при отсутствии сигнала. Для непрерывной реализации на интервале [О, Т] введено понятие функционала отношения правдоподобия:
63
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
W ( x1 , x2 ,  xv / l )
,
v → ∞ W ( x1 , x2 ,  , xv / S = 0)
ˆ (l ) = lim
Λ
(2.1.6)
Δ →0
где Δ=T/v – интервал между выборками, причем число выборок
равно целой части дроби (1+Т/Δ). При оценке одного векторного
параметра L отношение правдоподобия A(L) может быть найдено
из отношения правдоподобия A(L,q), если известно априорное
распределение параметра q.
В [11] получено отношение правдоподобия, выраженное через отношение правдоподобия двух параметров. Оно имеет вид:
Λ ( L) =  Λ( L, q )W pr (q / L)dq .
(2.1.7)
Если параметры L и q независимы, то
Λ ( L) =  Λ( L, q)W pr (q )dq .
(2.1.8)
Итак, если известно отношение правдоподобия для двух параметров и необходимо найти отношение правдоподобия для одного из них, надо отношение правдоподобия для двух параметров
усреднить по априорному распределению (условному или безусловному) второго параметра.
Отношения правдоподобия (2.1.7) и (2.1.8) обобщаются и на
функционалы отношения правдоподобия.
Выражение для апостериорной плотности вероятностей можно записать в виде:
W ps (l ) = gW pr (l )Λ (l ),
(2.1.9)
где g – нормирующий множитель, не зависящий от параметра l,
определяется формулой:
−1
g =   W pr (l )Λ (l )dl  .
Приемное устройство, образующее на выходе апостериорное
распределение оцениваемого параметра, принято называть оптимальным приемником. Оптимальный приемник не производит
оценки параметра сигнала. Решение об оцениваемом параметре
принимает наблюдатель или дополнительное решающее устройство на основе анализа апостериорного распределения.
64
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Следует отметить, что Wps(l) и Λ(l) являются случайными
функциями, зависящими от принятой реализации.
В теории оценок используют два вида оценок: интервальные
(доверительные) и оценки в точке. При интервальных (доверительных) оценках необходимо указать интервал, в котором с вероятностью, не меньше заданной, содержится истинное значение
неизвестного параметра. Эта заданная вероятность называется
коэффициентом доверия, а указанный интервал возможных значений оцениваемого параметра – доверительным интервалом.
Верхняя и нижняя границы доверительного интервала, которые
называются доверительными пределами, и сам доверительный
интервал являются функциями наблюдаемой реализации x(t).
При оценке в точке (точечной оценке) неизвестному параметру приписывают одно значение параметра из интервала возможных его значений, т. е. на основе анализа принятой реализации x(t) вырабатывается некоторая величина, которую используют в качестве истинного значения параметра. Применительно к
оценке параметров сигналов на фоне помех точечные оценки обладают целым рядом полезных свойств, которые обусловили их
широкое применение. Далее рассматриваются точечные оценки
параметров сигналов на фоне помех при фиксированном интервале наблюдения реализации x(t).
2.2. Оценки параметров сигнала и их свойства
При точечной оценке параметра l сигнала s(t,l) вынести решение (произвести оценку) – это значит каждой из возможных
реализаций x(t) поставить в соответствие некоторую величину
γ=γ[x(t)] из интервала оцениваемого параметра L, называемую
точечной оценкой. Точечная оценка параметра случайна. Ее характеризуют условной плотностью вероятности W(γ/l). Это наиболее общая и полная характеристика оценки. Вид этой плотности определяет качество оценки и все ее свойства. Плотность вероятности W(γ/l) может быть получена из плотности вероятности
реализации при заданном правиле оценки у. Следует отметить,
что непосредственное нахождение плотности вероятности W(γ/l)
во многих прикладных задачах весьма затруднительно.
65
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Если есть основания полагать, что плотность W(γ/l) унимодальна и близка к симметричной, то в качестве характеристик
сгруппированности оценки у относительно значения l используют
распространенные понятия смещения, рассеяния и дисперсии
оценки, которые могут быть вычислены без плотности вероятности W(γ/l).
В соответствии с определением смещение, рассеяние и дисперсия оценки определяются из следующих выражений:
b( γ / l ) = γ − l =  [ γ ( X ) − l ] W ( X / l )dX ,
Dˆ ( γ / l ) =
(γ − l)
2
2
=  [ γ ( X ) − l ] W ( X / l )dX ,
D(γ / l ) = (γ − γ ) 2 =  (γ − γ ) 2W ( X / l )dX ,
(2.2.1)
(2.2.2)
(2.2.3)
где угловые скобки < > означают статистическое усреднение; интегрирование производится в области существования плотности
вероятности W(x/l). Из (2.2.2) и (2.2.3) видно принципиальное
различие между рассеянием оценки относительно истинного значения параметра l и дисперсией относительно среднего значения
оценки <l>. Если оценки формируются без учета априорной
плотности вероятности Wps(l), то она и ее характеристики называются условными.
Безусловные характеристики оценки смещения, рассеяния и
дисперсии определяются соответственно как:
b(γ ) =  b(γ / l )W ps (l )dl ,
(2.2.4)
Dˆ (γ ) =  Dˆ (γ / l )W ps (l )dl ,
(2.2.5)
D (γ ) =  D (γ / l )W ps (l )dl .
(2.2.6)
Оценка параметра сигнала, для которой условие смещения
равно нулю, называется условно несмещенной, т. е. в этом случае
<γ>=l.
Если равно нулю безусловное смещение, то оценка будет
безусловно несмещенной, т. е. <γ>=lpr, где lpr – априорное среднее значение параметра.
66
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
При совместной оценке нескольких параметров l1, l2,..., lp,
помимо введенных условных и безусловных смещений и десперсий оценок, требуется знать статистическую связь между ошибками оценок. Для этой цели используются коэффициенты и
функции взаимной корреляции оценок:
K ij ( γ / L) = ( γ i − γ i ) ( γ i − γ ji ) .
(2.2.7)
Из этих величин составляется матрица ошибок, причем величины по диагонали матрицы являются условными дисперсиями
оценок. Полагая оцениваемые параметры независимыми и осуществляя усреднение условных функций взаимной корреляции
оценок, получаем безусловные функции взаимной корреляции
оценок.
Существуют следующие свойства оценок.
1. Естественно попытаться построить такую оценку γ , чтобы
условная плотность вероятности W(γ/l) была как можно более
тесно сгруппирована вокруг значения l.
2. Желательно, чтобы при длительном наблюдении T → ∞
или в отсутствие помех оценка сигнала совпадала с истинным
значением оцениваемого параметра. В этом случае считается, что
оценка состоятельная.
3. Оценка должна быть несмещенной или, в крайнем случае,
асимптотически несмещенной, т. е. несмещенной при T → ∞ или
при неограниченном увеличении отношения «сигнал – шум».
4. Оценка должна иметь минимальное значение рассеяния
или дисперсии (при нулевом или постоянном смещении).
5. Оценка должна обладать свойствами достаточности (являться достаточной статистикой).
Статистика является достаточной, если при ее увеличении
параметры не изменяются. Очевидно, что апостериорная плотность вероятности всегда является достаточной статистикой. Условие достаточности статистики (функция или функции наблюдаемых данных, значения отсчетов наблюдаемого процесса)
можно сформулировать с помощью функции правдоподобия: необходимым и достаточным условием достаточности оценки является возможность представления функции правдоподобия в виде
произведения двух функций:
67
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
W ( x / l ) = h [ x(t ) ] q( γ / l ),
(2.2.8)
где h[x(t)] – некоторая произвольная функция от x(t), не зависящая от оцениваемого параметра l, q(γ/l) – условная плотность вероятности оценки параметра γ. Множитель q(γ/l) зависит от x(t)
через оценку y[x(t)]. Вся оцениваемая информация содержится в
y[x(t)].
Рассмотрим несколько подробнее свойства несмещенности
оценки. Можно выделить три класса оценки по смещенности
[12], т. е. по расположению математического ожидания оценки
относительно истинного значения параметра.
Первый класс оценок:
– несмещенная оценка удовлетворяет условию:
γ =l.
(2.2.9)
Второй класс оценок:
– оценка с известным смещением:
γ = l + Δγ ,
(2.2.10)
где Δγ – известное смещение оценки от истинного значения параметра l. В этом случае всегда можно получить несмещенную
оценку вычитанием Δγ из γ .
Третий класс оценки:
– оценка с неизвестным смещением:
γ = l + Δγ (γ ),
(2.2.11)
где Δγ(γ) – смещение, зависимое от оценки γ, его нельзя устранить просто вычитанием из <γ>, если неизвестен вид функциональной зависимости Δγ(γ). И наоборот, при известной функциональной зависимости Δγ(γ) смещение оценки параметра устраняется специальным функциональным преобразованием.
Несмещенность оценки не означает ее состоятельности, а состоятельность – несмещенности. В общем случае точность оценки параметра l на основании выборки характеризуют средним
значением квадрата ошибки (рассеиванием):
ε2 =
(γ − l)
68
2
(2.2.12)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Если параметр l в процессе наблюдения остается постоянным, то средний квадрат ошибки можно представить в виде [12];
ε 2 = D(γ ) + Δ2γ ,
(2.2.13)
т. е. средний квадрат ошибки равен сумме дисперсии оценки параметра l и квадрата смещения оценки. Иногда среднее значение
квадрата ошибки ε2 называют рассеянием оценки параметра.
Часто рассматривают нормированные ошибки. Для этого
ошибки (2.2.13) делят на значение оцениваемого параметра (при
l≠0) или на среднее значение оцениваемого параметра.
Приведем формулы для нормированного значения общей
ошибки с учетом дисперсии оценки и ее смещения. При нормировке к истинному значению параметра имеем:
1/ 2
2
2
ε  D(γ )   Δγ  
δ1 = = 
 +
 
l  l   l  
(2.2.14)
.
При нормировке к среднему значению оценки параметра
имеем:
δγ
2
ε  D(γ )   Δγ
+
=
= 

γ
 γ   γ





2 1 / 2



.
(2.2.15)
При несмещенности оценки можно характеризовать точность
оцениваемого параметра коэффициентами вариации, которые
выражаются следующим образом при дискретном наблюдении.
Коэффициент вариации, определяемый отношением среднеквадратического отклонения к среднему, т. е.
υc =
σγ
,
γ
1/ 2
(2.2.16)
1 n

1 n
где σ γ =   (γ i − γ ) ; γ =  γ i , n – объем выборки.
n i =1
 n i =1

Максимальное значение max υc = n − 1 . Оно выполняется
при γ1≠0, а γ2=γ3=…=γn=0. Коэффициент вариации, определяемый
69
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
отношением среднего линейного отклонения от среднего арифметического к среднему значению, т. е.
υΛ =
dΛ
γ
(2.2.17)
,
1 n
где d Λ =  γ i − γ i .
n i =1
2(n − 1)
→ 2 при возрастаn
нии n; max υΛ=2 при γ≠0, γ2=γ3=…=γn=0.
Коэффициент вариации, определяемый отношением среднего
отклонения от медианы к среднему арифметическому, т. е.
Максимальное значение max υ Λ =
υM =
dM
γ
,
(2.2.18)
1 n
где d M =  γ i − γ M , γм – медианное значение параметра.
n i =1
Преимущество характеристики υМ заключается в том, что областью ее значений является [0;1], и она слабо зависит от п. Коэффициенты вариации υc и υΛ зависят от объема выборки п. На
практике наиболее часто используется коэффициент в определении (2.2.16).
Если известно, что выборки процесса x(t) распределены по
нормальному закону, точность оцениваемого параметра можно
характеризовать относительной ошибкой по формуле:
ρ=
3σ γ ± Δγ
l
,
(2.2.19)
где Δγ – смещение оценки параметра, σγ – среднее квадратическое
значение оценки параметра, l – истинное значение параметра.
Достоверность этой оценки равна с вероятностью 0,999. Если
брать σγ, то достоверность оценки равна 0,68.
Отметим, что требование несмещенности оценки или минимума смещения тесно связано с требованием минимума дисперсии оценки. Какую оценку предпочесть: несмещенную, но с
70
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
большей дисперсией, или смещенную, но с меньшей дисперсией, – зависит от того, для каких целей она ищется.
2.3. Эффективность оценок
Большая часть оценок, встречающихся на практике, распределены асимптотически нормально в силу действия центральной
предельной теоремы. При большом объеме выборки оценки будут характеризоваться математическим ожиданием и дисперсией.
Поэтому приемлемость оценки можно определять по дисперсии
оценки в одномерном случае или ковариационной матрицей
ошибок оценки – в многомерном случае.
При ограниченном объеме выборки оценки могут различаться средним квадратом ошибки (2.2.12), если параметр l в процессе наблюдения остается постоянным. Чем меньше эта ошибка,
тем теснее сгруппированы значения оценки около действительного значения параметра l.
Желательно, чтобы ошибка оценки была наименьшей, т. е.
выполнялось условие:
ε 2 = (γ − l )2 = min .
γ
(2.3.1)
Такую оценку можно назвать оценкой с минимальным средним квадратом ошибки. Если Δγ=0, то оценка γ – несмещенная и
ε2=σγ2 (средний квадрат ошибки совпадает с дисперсией оценки).
Такая оценка является особенно важной, так как она обеспечивает наибольшую точность. Рассмотрим сначала оценку одномерного параметра.
Оценка параметра l называется эффективной, если она не
смещена, имеет конечную дисперсию и при этом не существует
никакой другой несмещенной оценки с меньшей дисперсией [12].
Определение эффективности оценки обычно базируется на
понятиях информационного количества Фишера (в одномерном
случае) и информационной матрице Фишера (в многомерном
случае) и тесно связаны с неравенством Рао – Крамера, которое
часто применяется на практике.
В [11] и [12] получены формулы для нижней границы дисперсии оценки. При этом предполагается, что наблюдаемый про71
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
цесс дифференцируем и соблюдается возможность замены порядка интегрирования и дифференцирования. В этом случае получена наиболее общая формула для нижней границы дисперсии
оценки:
2
d

ψ
l
(
)
 dl

2
σγ ≥
,
d

 dl ln W ( X / l )
(2.3.2)
где ψ(l) – любая функция параметра l; W(x/l) – условная плотность вероятностей наблюдаемых значений процесса x(t).
Формула (2.3.2) получила название нижней границы Рао –
Крамера.
При ψ (l ) = γ для смещенной оценки параметра имеем:
2
 d

1
+
Δ
γ
 dl 
,
σ γ2 ≥
2
d

ln
(
/
)
W
X
l
 dl

(2.3.3)
где Δγ – смещение оценки, < > означает, что интегрирование
производится с плотностью вероятности W(x/l).
При нулевом или постоянном смещении оценки Δγ равенство
Рао – Крамера имеет вид:
σ γ2 ≥
1
d

 dl ln W ( X / l )
2
=
−1
2
d
ln W ( X / l )
2
dl
.
(2.3.4)
Если смещение оценки параметра Δγ постоянно, то его можно учесть при изменении параметра l, а если оно зависит от оценки параметра γ, то необходимо пользоваться общей формулой
(2.3.3), из которой видно, что значение дисперсии оценки может
как увеличиваться, так и уменьшаться по сравнению с дисперсией оценки при отсутствии смещения оценки в зависимости от
знака и величины смещения. Из (2.3.3) видно, что дисперсия
оценки полностью определяется апостериорной плотностью ве72
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
роятности W(x/l), которая определяет и смещение оценки Δγ согласно (2.2.10). Несмещенная оценка, имеющая нижнюю граничную дисперсию, при которой выполняется (2.3.4), называется
эффективной.
Для сравнения различных методов оценки параметров применяется понятие эффективности оценки, под которой имеется в
виду отношение дисперсии эффективной оценки к дисперсии
рассматриваемой оценки.
Чем ближе это отношение к единице, тем лучше рассматриваемый метод оценки. Эффективная оценка не всегда существует.
Если она существует, то статистика, по которой она определяется, является достаточной. Достаточная оценка может существовать и при отсутствии эффективной оценки, т. е. при смещенной
оценке. При известной функциональной зависимости смещения
оценки от параметра можно путем соответствующего преобразователя (линейного или нелинейного) статистики получить несмещенную оценку. Вопрос устранения смещения оценки параметра при известном смещении как функционала рассмотрен в
[12, гл. 2 и 3].
Из определения эффективной оценки не следует, что не существуют оценки с дисперсией меньше эффективной. При нарушении условий регулярности для наблюдаемого процесса неравенство Рао – Крамера становится неприменимым.
Причиной нерегулярности являются разрывы функции правдоподобия (апостериорной плотности вероятности), что обусловливает возможность получения оценок повышенной точности.
Такие оценки получили название суперэффективных. Суперэффективные оценки имеют средний квадрат ошибки (2.3.1), убывающий с ростом объема выборки п быстрее, чем 1/п.
Величина дисперсии оценки определяется видом функции
плотности вероятности W(x/l), где х – наблюдаемый процесс, l –
параметр, подлежащий оценке. В случае если выборочные значения x1, x2¸ ... , xn наблюдаемого процесса х независимы, то
n
n
i =1
i =1
W ( x / l ) = ∏ W ( xi / l ); ln W ( x / l ) =  ln W ( xi / l ).
73
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
При этом согласно (2.3.4) для дисперсии несмещенной оценки параметра l по независимой выборке объема п получаем выражение:
σ γ2 ≥
1
d

W
x
l
ln
(
/
)
i
 dl 

 i =1

n
2
=
−1
d2
n 2 ln W ( X / l )
dl
.
(2.3.5)
В выражении (2.3.5) в знаменателе множитель п появился в
связи с тем, что среднее статистическое суммы равно сумме
среднестатистических независимых слагаемых. Область суммирования можно представить суммой областей, где п – число независимых выборок процесса x(t).
Когда интересуются не оценкой самого параметра γ, а оценкой некоторой функции этого параметра f(l), то неравенство РаоКрамера для оценки функции параметра имеет вид [13]:
σ 2fˆ ≥
 df (l ) 
 dl 
2
d

ln
(
/
)
P
X
l
 dl

2
.
(2.3.6)
Выражение (2.3.6) с помощью (2.3.4) представляется как
σ 2fˆ
2
 df (l )  2
≥
σγ ,
 dl 
откуда имеем:
σ 2fˆ
2
σγ ≤
 df (l ) 
 dl 
2
.
(2.3.7)
Из (2.3.7) видно, что σ γ2 может быть как меньше σ 2fˆ , так и
больше, в зависимости от вида функции f(l). Например, если линейная функция f(l) имеет крутизну больше единицы, то σ γ2 < σ 2fˆ ;
74
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
если меньше единицы, то σ γ2 > σ 2fˆ . Отметим, что при оценке нескольких параметров используется корреляционная матрица
ошибок [13].
2.4. Основные положения
теории статистических оценок
В теории статистических оценок различают два вида правил
выбора решения: неслучайные (нерандомизированные) и случайные (рандомизированные). Неслучайное правило выбора решения
производится по каждой конкретной реализации x(t) одно, т. е.
между принятой реализацией и выносимым решением существует детерминированная зависимость. Тем не менее в силу случайного характера наблюдаемой реализации x(t) решения при оценке
являются случайными величинами.
Случайное правило выбора решения по каждой реализации
принимается не одно, т. е. зависимость между принятой реализацией и выносимым решением носит вероятностный характер. Во
многих случаях можно избежать рандомизации правила выбора
решения. Поэтому далее рассматриваются только неслучайные
правила выбора решения.
При любом правиле принятия решения об оцениваемом параметре существуют ошибки, они появляются с различной вероятностью. При этом в зависимости от цели получения оценки последствия проявления ошибок могут быть различными. Поскольку всегда имеется отличная от нуля вероятность ошибок, то возникает необходимость охарактеризовать качество различных
оценок. С этой целью в теории решений введено понятие функции потерь. Функция потерь представляет собой зависимость
различия оценки параметра γ и самого параметра l. Эта функция
приписывает потери C(γ,l) каждой комбинации оценки γ и параметра l.
Обычно потери выбирают только положительными, а правильным решениям потери не приписывают.
Физический смысл функции потерь состоит в том, что каждой возможной ошибке в оценке значения параметра приписывается определенный неотрицательный вес. Выбор той или иной
75
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
функции потерь производится в зависимости от конкретной задачи, для которой находится оценка. Общего правила выбора
функции потерь не существует.
Наиболее распространены в приложениях следующие функции потерь, зависящие от величины ошибки (рис. 2.4.1):
Рис. 2.4.1. Функции потерь: а) простая; б) линейная;
в) квадратичная; г) прямоугольная; д) экспоненциальная
а) простая C ( γ, l ) = C (0) − δ( γ − l ),
где C (0) > 0, δ( z ) – дельта-функция Дирака;
б) линейная по модулю C (γ , l ) = γ − l ;
в) квадратичная C (γ , l ) = (γ − l ) 2 ;
г) прямоугольная
0 при γ − l < η , η > 0
C (γ , l ) = 
1 при γ − l ≥ η ,
(2.4.1)
(2.4.2)
(2.4.3)
(2.4.4)
д) экспоненциальная (функция потерь с насыщением)
 (γ − l ) 2 
.
C (γ , l ) = 1 − exp −
2 
η
2


(2.4.5)
Приведенные функции потерь являются симметричными
функциями разности γ − l . При этом отклонения оценки параметра
76
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
в любую сторону относительно истинного значения одинаково не
желательны. Вместе с этим не исключены задачи, где могут встретиться случаи, в которых отношение наблюдателя к знаку ошибки
разное. Для таких ситуаций функции потерь будут несимметричными. Примером несимметричной функции потерь может быть так
называемая информационная функция потерь вида:
C (γ , l ) = − ln W (l / γ ),
(2.4.6)
где W(l/γ) – условная плотность вероятности параметра l, если известна оценка (решение) γ. Если W(l/γ) есть гауссова кривая или
другая симметричная функция, то функция потерь является симметричной.
Функцию потерь (2.4.6) можно интерпретировать как меру
неопределенности по отношению параметра l, если известна
оценка γ.
Функция потерь (2.4.6) в отличие от (2.4.1) – (2.4.5) зависит
не только от оценки γ и значения l, но и от принятого правила
выбора решения.
В связи с тем, что γ и l – случайные величины и не могут
быть использованы для характеристики качества оценки (правила
выбора решения), потери также являются случайными. Для характеристики качества оценки можно принять среднее значение
функции потерь, которое будет учитывать все возможные типы
поведения системы оценки, все виды ошибок и относительную
частоту их появления. Выбор среднего значения, а не другой статистической характеристики является хотя и произвольным, но
рациональным. Среднее значение функции потерь (условное или
безусловное) называется риском (условным или безусловным).
Условный риск получается путем усреднения функции потерь по всевозможным значениям многомерной выборки наблюдаемых данных, характеризуемой условной плотностью вероятности W(x/l):
R(γ / l ) =  C (γ , l )W ( X / l )dX .
(2.4.7)
Из этого выражения следует, что более предпочтительными
оценками будут те, при которых условный риск минимален.
Однако при различных значениях оцениваемого параметра l
условный риск будет иметь различные значения. Поэтому могут
77
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
быть предпочтительные правила принятия решения об оценке.
Если известно априорное распределение значений параметра l, то
наилучшее правило выбора решения целесообразно искать, исходя из условия минимума безусловного среднего риска:
R (γ ) =  C (γ , l )W ( X / l )W pr (l ) dldx =
=  W ( X )   C (γ , l )W ps (l ) dl dX ,
(2.4.8)
где W(x) – плотность вероятности выборки наблюдаемых данных.
В (2.4.8) применено представление совместной плотности вероятности в виде:
W(X/l)=W(X)Wps(l/X)=Wpr(l)W(X/l).
Оценки, получаемые по критерию минимального условного
или безусловного (среднего) риска, называются соответственно
байесовскими оценками. Минимальное значение байесовского
безусловного риска запишем в следующем виде:
Rm =
 c(γ , l )W ps (l )dl .
(2.4.9)
Здесь усреднение осуществляется по выборкам (при дискретной обработке) наблюдаемых данных х или по реализациям (при
непрерывной обработке) x(t).
Поскольку плотность вероятности W(x) в (2.4.8) есть неотрицательная функция, то минимизация риска сводится к минимизации этого выражения по γ. Минимизация выражения (2.4.8) или
(2.4.9) по γ сводится к минимизации выражения:
R ps (γ ) =  C (γ , l )W ps (l )dl.
(2.4.10)
Если апостериорный риск дифференцируем по γ, то байесовская оценка γm может быть найдена как решение уравнения:
d
R ps (γ ) = 0.
dγ
γ
(2.4.11)
m
При этом надо брать корень уравнения, обеспечивающий
глобальный минимум (минимум миниморум) апостериорного
риска.
78
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Критерий минимума среднего риска основан на использовании полной априорной информации об оцениваемом параметре.
Однако отсутствие полной априорной информации приводит к
определенным трудностям (априорные трудности). Известно несколько подходов преодоления априорных трудностей. Один из
них – отыскание байесовских оценок, инвариантных к априорным сведениям (распределениям). При другом ограничиваются
минимизацией условного риска либо делают какие-либо предположения об априорном распределении оцениваемого параметра.
Если в качестве априорного распределения оцениваемого параметра взято наименее предпочтительное распределение, при
котором байесовский риск будет максимален, то получаемая
оценка параметра сигнала называется минимаксной. Хотя минимаксная оценка может приводить к большим потерям, чем другая
оценка, она может быть полезной, если желательно застраховаться от потерь. В соответствии с определением минимаксная оценка ищется следующим образом. Для произвольного априорного
распределения в соответствии с заданной функцией потерь находится байесовская оценка γm =γm [x(t)]. Затем подбирается такое
априорное распределение оцениваемого параметра, при котором
минимальное значение среднего риска (байесовский риск) достигает максимума. Байесовская оценка при таком априорном распределении будет минимаксной.
В большом числе прикладных задач наименее предпочтительным распределением является равномерное распределение (в
заданном интервале).
2.5. Байесовские оценки
для различных функций потерь
Рассмотрим кратко свойства байесовских оценок для функций потерь, приведенных в предыдущем параграфе.
Простая функция потерь
Подставляя простую функцию потерь (2.4.1) в формулу
(2.4.10) и используя фильтрующее свойство дельта-функции
79
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
∞
 ϕ ( z )δ ( z − z0 )dz = ϕ ( z0 ),
(2.5.1)
−∞
где φ(z) – некоторая функция от z, z0 – значение z, где существует
дельта-функция, получим апостериорный риск:
R ps (γ ) = C0 − W ps (γ ).
(2.5.2)
Из (2.5.2) видно, что апостериорный риск будет минимальным, если апостериорная плотность вероятности Wps(γ) для данной оценки принимает наибольшее значение из всех возможных
значений. Это означает, что в качестве байесовской оценки параметра сигнала должно быть взято наиболее вероятное значение уm
(рис. 2.5.1), при котором выполняется условие
W ps (γ m ) ≥ W ps (l ), γ m , l ∈ L,
(2.5.3)
где L – область всех возможных оценок γ параметра l.
Рис. 2.5.1. Байесовская оценка сигнала при простой функции потерь
Если апостериорная плотность вероятности дифференцируема по l, то оценка γт может быть найдена из решения уравнения:
dW ps (l )
dl
γm
d2
= 0 при 2 W ps (l ) < 0.
dl
γ
(2.5.4)
m
При этом из всех корней берется тот корень, для которого
выполняется условие (2.5.4). Байесовский риск при этом будет
равен:
Rm = C0 − max W ps (γ m ) .
80
(2.5.5)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Это выражение получено при использовании (2.4.9).
Второй член в (2.5.5) представляет собой (с точностью до некоторого коэффициента) среднюю вероятность правильного решения. Следовательно, байесовская оценка при простой функции
потерь максимизирует вероятность правильного решения. Байесовский риск в данном случае пропорционален вероятности неправильного решения. При этом всем ошибкам приписывается
одинаковый вес Со, т. е. предполагается, что все ошибки нежелательны независимо от их величины.
В литературе байесовская оценка при простой функции потерь известна под названием оценки по максимуму (максимуму
максиморуму) апостериорной плотности вероятности. Если
Wps(l) постоянна в интервале возможных значений оцениваемого
параметра l, то согласно (2.1.9) Wps(l) с точностью до постоянного множителя совпадает с отношением правдоподобия Λ(l).
Оценка по максимуму апостериорной плотности вероятности
γm переходит при этом в оценку максимального правдоподобия lm,
которая определяется как положение максимума максиморума
отношения правдоподобия Λ(l).
Оценки максимального правдоподобия, как правило, находят
применение в следующих случаях:
– оцениваемый параметр хотя и неизвестен, но не случаен;
– априорное распределение оцениваемого параметра неизвестно;
– получение (формирование) апостериорного распределения
сложнее, чем получение (формирование) функции (или отношения) правдоподобия.
Метод максимального правдоподобия имеет ряд преимуществ перед другими методами оценки. Обсудим их.
1. В практических приложениях оценка по методу максимального правдоподобия (МПП) для достаточно широкого класса
априорных распределений оцениваемого параметра близка к
оценке по максимуму апостериорной вероятности, т. е. является
байесовской при простой функцией потерь. При больших отношениях сигнал/помеха априорное распределение параметра l в
окрестности оценки часто можно считать достаточно постоянным
и апостериорная плотность вероятности в этой области практически совпадает с отношением правдоподобия. Данное свойство
81
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
является весьма важным, когда Wps(l) неизвестно, а нахождение
наименее предпочтительного априорного распределения сопряжено с большими математическими трудностями.
2. Оценки по МПП не зависят от взаимно однозначного безынерционного (по оцениваемому параметру) преобразования выходного сигнала приемника, так как точка максимального правдоподобия остается инвариантной при этих преобразованиях. Это
свойство имеет большое значение при практической реализации
приемных и решающих устройств.
3. Аналитическое определение качества оценки параметра
сигнала по МОП связано с меньшими математическими трудностями, чем при использовании других методов оценки.
4. В математической статистике показывается, что если существует эффективная оценка, то оценка МПП является эффективной.
5. Алгоритм оценки по МПП при нормально распределенной
помехе не зависит от мощности помехи. При неограниченном
увеличении отношения сигнал/помеха оценка МПП асимптотически эффективная и несмещенная для широких классов априорных
распределений Wps(l) и функций потерь С(γ,l). Все это обусловливает широкое применение МПП.
К недостаткам МПП следует отнести необходимость знания
функции правдоподобия; метод применим для унимодальных
функций правдоподобия. Все это наблюдается при больших
уровнях помех, когда возникают «ложные» максимумы Wps(l).
Линейная по модулю функция потерь
Апостериорный риск для функции потерь (2.4.2) определяется из выражения (2.4.10) и равен:
R ps (γ ) =
∞
γ
−∞
−∞
∞
 γ − lW ps (l )dl =  γ − lW ps (l )dl +  γ − lW ps (l )dl
(2.5.6)
γ
Из условия экстремума функции Rps(γ) получаем уравнение
для оценки γm
82
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
γ
∞
m
d
R ps (γ ) =  W ps (l )dl −  W ps (l ) = 0 или
dγ
γ
−∞
γ
m
γm

m
W ps (l )dl =
∞

γm
−∞
1
W ps (l )dl = .
2
(2.5.7)
Выражение (2.5.7) соответствует определению медианы для
Wps(l), т. е. за оценку параметра берется медиана распределения
WPS(l) (рис. 2.5.2).
Рис. 2.5.2. Байесовская оценка параметра сигнала
при линейной по модулю функции потерь
d2
При этом
R (γ ) = 2W ps (γ m ) > 0 , т. е. оценка γт соот2 ps
dl
γ
m
ветствует минимуму риска Rps(γ). Последнее условие получено
при однократном дифференцировании (2.5.7). Анализируя выражение байесовского риска (2.4.8) при линейной по модулю функции потерь (2.4.2) вида
Rm =  l − γ m W ps (l )W ( X )dldX
(2.5.8)
видим, что байесовский риск равен минимальному среднему значению модуля отклонения медианы Wps(l) от истинного значения
оцениваемого параметра. Если Wps(l) унимодальна и симметрична относительно моды распределения, то медиана и среднее значение этого распределения совпадают и равны его моде. В этом
случае оценка параметра совпадает с оценкой максимальной апостериорной вероятности.
83
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Квадратичная функция потерь
Апостериорный риск для квадратичной функции потерь согласно (2.4.10) и (2.4.3) будет:
R ps (γ ) =  (γ − l ) 2W ps (l )dl.
(2.5.9)
Из условия экстремума функции RPS(γ) находим выражение
для оценки:
d
d 
2
R ps ( γ ) =
l
Wps (l )dl 
(
γ
−
)

dγ
d
γ
γm
= 0.
γm
Решая это уравнение, находим оценку:
γ m =  lW ps (l )dl ≡ l ps .
(2.5.10)
Из (2.5.10) видно, что оценка параметра l есть среднее значение апостериорного распределения (центр тяжести апостериорного распределения) (рис. 2.5.3).
Рис. 2.5.3. Байесовская оценка параметра квадратичной функции потерь
Величина RPS(γ) характеризует минимальное мгновенное значение квадрата ошибки оценки параметра сигнала. Байесовский
риск RPS(γ) при квадратичной функции потерь совпадает с рассеянием оценки. Это видно из (2.5.9), если вместо γ подставить
оценку γm; так как оценка γm случайна, то риск равен:
Rm = Dˆ (γ m ) ≡ Dˆ (l ps )  (l − l ps ) 2 W ps (l )W ( X )dldX . (2.5.11)
84
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Можно утверждать, что байесовская оценка при квадратичной функции потерь обеспечивает минимальное значение рассеяния оценки.
Отметим еще одно свойство байесовской оценки параметра
сигнала при квадратичной функции потерь. Оценка (2.5.10) всегда безусловно несмещенная, т. е.
l ps =  lW ps (l )dl = l ps .
Подставляя сюда
W ps (l ) = W ps (l )W ( X / l ) ,
получим:
l ps =  lW ps (l )W ( X / l )dldX .
(2.5.12)
Квадратичная функция потерь пропорциональна квадрату
«расстояния» оценки от истинного значения параметра, т. е. всем
ошибкам приписывается вес, возрастающий как квадрат от их величины. Квадратичная функция потерь используется сравнительно редко [11] из-за сложной практической реализации. Для большинства задач вычислить рассеяние байесовской оценки при
квадратичной функции потерь не представляется возможным, так
как нельзя достаточно просто представить WPS на всем интервале
возможных значений оцениваемого параметра.
Прямоугольная функция потерь
Для прямоугольной функции потерь (2.4.4) характерно, что
все мгновенные значения ошибки, которые по модулю меньше
заданного значения η, одинаково не опасны для наблюдения и с
его точки зрения не приводят к ухудшению качества оценки параметра. Ошибки, мгновенные значения которых по модулю превышают η, одинаково нежелательны, и всем им приписывается
одинаковый вес.
Подставляя (2.4.4) в (2.4.10), получим:
85
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
R ps (γ ) =
∞
 C (γ , l )W ps =
−∞
=
γ +η
∞
−∞
γ −η
 W ps (l )dl + 0 + 
W ps (l )dl =
γ +η
 W ps (l )dl.
γ −η
Этот риск соответствует тому, что оценка γ не попала в интервал [(γ-η), (γ+η)]. Риск попадания оценки в интервал γ − l ≤ η
равен
R ps (γ ) = 1 −
γ +η
 W ps (l )dl .
(2.5.13)
γ −η
Находим экстремум выражения (2.5.13), для которого вероятность выполнения неравенства γ − l ≤ η максимальна:
d
R ps (γ ) = W ps (γ m − η ) − W ps (γ m + η ) = 0 или
dγ
γ
m
W ps (γ m − η ) = W (γ m + η ) .
(2.5.14)
Уравнение (2.5.14) показывает, что в качестве байесовской
оценки параметра сигнала необходимо взять значение γm, при котором выполняется равенство (2.5.14), т. е. оценка должна отстоять на одинаковое расстояние от γт слева и справа (рис. 2.5.4).
Рис. 2.5.4. Байесовская оценка параметра сигнала
при прямоугольной функции потерь
86
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Если WPS(l) дифференцируема, то для малых значений η
можно ограничиться первыми тремя членами разложения в ряды
Тейлора относительно точки γт апостериорных плотностей вероятности, входящих в (2.5.14):
2

d

2 d
W ps (γ m ± η ) ≅ W ps (γ m ) ± η  W ps (l ) + η  2 W ps (l ) .
 dl
γ m
 dl
γ
m
Подставляя последнее соотношение в (2.5.14), получаем
уравнение
d
W ps (l ) = 0 ,
dl
γm
(2.5.15)
которое совпадает с (2.5.4) при использовании простой функции
потерь. Следовательно, при малых величинах «зоны нечувствительности» η байесовские оценки при простой и прямоугольной
функциях потерь совпадают.
Байесовский риск (2.5.15) определяет минимальную среднюю
вероятность неправильного решения по данному критерию, т. е.
максимизирует вероятность того, что истинное значение оцениваемого параметра сигнала будет лежать в пределах γ m + η .
Информационная функция потерь
В отличие от рассмотренных функций потерь информационная функция потерь позволяет осуществить выбор решения об
оценке параметра сигнала с информационной точки зрения. Обладая достаточно общими свойствами, информационный критерий позволяет в единой мере сравнивать между собой различные
решающие правила. Информационная функция потерь (2.4.5) зависит не только от оценки истинного значения параметра, но и от
правила выбора решения. Поэтому задача определения байесовской оценки является весьма сложной и в настоящее время не
имеет общего решения.
Апостериорный риск для информационной функции потерь
получаем, подставляя (2.4.6) в (2.4.7):
R ps (γ ) = −  W ps (l ) ln W (l / γ )dl.
87
(2.5.16)
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Это выражение представляет собой апостериорную неопределенность решения у относительно истинного значения параметра l после того, как принята реализация x(t). Соответственно
до принятия решения γ апостериорная неопределенность имеет
вид:
H = −  W ps (l ) ln W ps (l )dl.
(2.5.17)
Наибольшая информация (наименьшая неопределенность)
содержится в апостериорном распределении. Любая обработка
этого распределения может только уменьшить количество воспринимаемой наблюдателем информации (увеличится неопределенность).
Для любого решающего правила об оценке γ справедливо соотношение:
R ps (γ ) ≥ H .
(2.5.18)
Из (2.5.18) видно, что величина Н определяет нижнюю границу апостериорного риска при информационной функции потерь. Если оценка γ является достаточной, то неравенство (2.5.18)
переходит в равенство. Действительно, если существует некоторая достаточная оценка γ=γ(х), то апостериорная плотность вероятности может быть записана в виде:
W ps (l ) = W (l / x) = W (l / γ ).
(2.5.19)
Тогда (2.5.16) и (2.5.17) совпадают, т. е. R ps (γ ) = H . Поэтому
байесовской оценкой при информационной функции потерь является любая достаточная оценка.
Сравнение различных правил выбора решения по величине
среднего риска при информационной функции потерь имеет
смысл, если эти правила выбора решения не приводят к достаточным оценкам.
Среднее значение апостериорной неопределенности и средний риск при информационной функции потерь будут равны:
H = −  W ( X , l ) ln W ps (l )dldX ,
(2.5.20)
R(γ ) = −  W ( X , l ) ln W (l / γ )dldX ,
(2.5.21)
88
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
где W(X,l) – совместная плотность вероятности оцениваемого параметра и выборки наблюдаемых данных.
Если ввести в рассмотрение среднее количество информации
о параметре l, теряющееся при выполнении операции оценивания
в виде
ΔJ = H (− R (γ )), ΔJ ≥ 0,
(2.5.22)
то байесовская оценка при информационной функции потерь минимизирует потери информации при выполнении решения об
оцениваемом параметре. Отметим, что для достаточной оценки
потери информации отсутствуют.
2.6. Аномальные ошибки
при малых отношениях «сигнал – шум»
В прикладных задачах используются понятия надежной и
аномальных ошибок.Они введены по методу максимального
правдоподобия. Рассмотрим несколько подробнее процедуру
оценки параметра по максимуму функционала отношения правˆ (l ) . При этом будем обозначать через l0 – истинное
доподобия Λ
значение параметра l, а через lm – значение параметра, соответствующее максимуму максиморума функционала отношения правˆ (l ) .
доподобия Λ
Функционал отношения правдоподобия из-за влияния шумов
является случайной функцией, которая в общем случае имеет несколько максимумов на априорном интервале L возможных значений оцениваемого параметра l.
В соответствии с принятым методом оценки считается, что
сигнал имеет то значение параметра l=lm, для которого выполняется условие
ˆ (l ) ≥ Λ
ˆ (l ), l , l ∈ L ,
Λ
m
m
(2.6.1)
т. е. lm соответствует максимуму максиморуму отношения правˆ (l ) . При этом мгновенное значение ошибки оценки
доподобия Λ
параметра равно Δl = lm − l0 , величина которой является случайной.
89
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
При использовании метода максимального правдоподобия
возможны два вида ошибок оценивания: нормальные, когда
оценка лежит вблизи оцениваемого параметра, которую называют надежной оценкой, и аномальной, когда оценка лежит в стороне от истинного значения параметра, т. е. расстояние lm-l0 много больше «длительности» сигнального выброса на выходе оптимального приемника. Аномальные ошибки обусловлены действием шума. На рис. 2.6.1. приведены случаи нормальной и аномальной ошибок.
Рис. 2.6.1. Вид функционала отношения правдоподобия при
а) нормальных ошибках и б) аномальных ошибках
Частое появление аномальных ошибок снижает практическую ценность метода максимального правдоподобия для оценки
параметров при небольших отношениях «сигнал – помеха» и
больших априорных интервалах возможных значений оцениваемого параметра.
Вероятность появления аномальных ошибок при больших
отношениях «сигнал – помеха» мала.
Определим несколько точнее понятие аномальных ошибок.
Аномальной ошибкой оценки γ параметра l будем называть
90
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ошибку Δla = γ − l , модуль которой превышает заранее заданную
положительную величину δа.
Вероятность аномальной ошибки при этом определяется как
Pa = P  γ − l ≥ δ a  ,
(2.6.2)
где δa – заданное число.
Вероятность аномальной ошибки часто называют вероятностью надежной оценки, а величину
P0 = 1 − Pa = P  γ − l < δ a 
(2.6.3)
– вероятностью надежной оценки.
Деление ошибок на нормальные и аномальные является в известной мере условным. Однако оно полезно при получении аналитических формул для характеристик смещения и дисперсии.
Обозначим через W0(γ/l) и Wa(γ/l) плотности вероятности
оценки параметра соответственно в интервале l±δa (нормальные
ошибки) и вне его (аномальные ошибки).
Пусть Р0 и Ра=1-Р0 – вероятности появления нормальных и
аномальных ошибок. Очевидно, что аномальные и нормальные
принятия решений об оценке являются несовместимыми событиями, так как решение принимается либо в интервале l±δa, либо
вне этого интервала. Тогда условную плотность вероятности
оценки W(y/l) можно представить как сумму произведений вероятностей определения соответствующих интервалов ошибок на
плотности вероятности оценок в этих интервалах:
W (γ / l ) = P0W0 (γ / l ) + (1 − P0 )Wa (γ / l ).
(2.6.4)
Применяя (2.6.4), получаем выражения для смещения и рассеяния оценки:
b(γ / l ) = P0b0 (γ / l ) + (1 − P0 )ba (γ / l ),
(2.6.5)
Dˆ (γ / l ) = P0 Dˆ 0 (γ / l ) + (1 − P0 ) Dˆ a (γ / l ),
(2.6.6)
где b0 , ba , Dˆ 0 , Dˆ a – соответственно смещения и рассеяния нормальных и аномальных оценок.
Для получения безусловных оценок необходимо выражения
(2.6.5) и (2.6.6) усреднить по всем возможным значениям пара91
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
метра l из априорного интервала L, т. е. усреднить с использованием априорного распределения параметра l.
Итак, рассмотрены два способа описания оценки. Первый способ использует условные или безусловные смещения и рассеяния
(дисперсии) оценки, без выделения нормальных и аномальных
ошибок. Второй способ использует условные или безусловные
ошибки с выделением нормальных и аномальных ошибок.
Достоинством первого способа является то, что нет необходимости вводить довольно условное понятие аномальных ошибок. В ряде случаев первый способ позволяет определить верхние
и нижние границы для смещения и рассеяния оценки и решить
проблему выбора формы входного сигнала, обеспечивающего
минимальные ошибки. Кроме рассмотренных выше двух способов описания точности оценки, возможны и другие.
2.7. Примеры решения задач
Задача 1. Найти методом максимального правдоподобия
λ xi e − λ
,
оценку параметра распределения Пуассона Pm ( x = xi ) =
xi !
где т – число испытаний; xi – число появлений события в 1-м
опыте (i = 1, 2,…,п) (опыт состоит из т испытаний).
Решение. Составим функцию правдоподобия, считая что выборки процесса x(t) независимы. Функция правдоподобия дискретной
случайной
величины
есть
L( x1 , x2 ,...xn ; Θ) = P( x1; Θ) P( x2 ; Θ)... p( xn1; Θ) , где x1,х2,..,хn – фиксированные значения процесса x(t); Θ – оцениваемый параметр.
Для заданного распределения функция правдоподобия будет:
L = P ( x1 , Θ) P ( x2 , Θ)...P ( xn , Θ) =
λx1 e − λ λx 2 e − λ
x1!
x2 !
...
λx 2 e − λ
xn !
λ i e − nλ
X
=
x1! x2 !...xn !
Найдем lnL: ln L = ( xi ) ln λ − n ln λ − ln x1! x2!..xn !
d ln L  x1
Найдем первую производную по λ:
=
− n.
λ
dλ
92
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Напишем уравнение правдоподобия, для чего первую производную приравняем нулю, т. к. имеем максимум функции
x
L:  i − n = 0.
λ
1
 xi = xB .
n
Найдем вторую производную, чтобы убедиться, что первая
производная соответствует максимуму функции правдоподобия:
d 2 ln L
 xi .
=
−
λ2
dλ2
Видим, что вторая производная отрицательна. Следовательно, λ = xâ – это точка максимума функции правдоподобия L,
которую и принимаем за оценку параметра λ распределения Пуассона. Она равна выборочному среднему. Согласно определению смещенности оценки полученная оценка является несмещенной.
Найдем отсюда λ : λ =
Задача 2. Найти методом максимального правдоподобия
оценку
параметра
р
биномиального
распределения:
Pn (k ) = Cnk p k (1 − p ) n − k , если в n1 независимых испытаний событие А появляется x1=m1 раз, и в п2 независимых испытаний событие А появляется х2 = т2 раз. Здесь р – вероятность появления события А; n – общее число независимых испытаний, k – число поn!
биномиальявления события А при п испытаних; Cnk =
(n − k )!k!
ный коэффициент.
Решение. Составим функцию правдоподобия, учитывая что
оцениваемым параметром является p:
L = Pn1 (m1 ) Pn2 (m2 ) = Cnm11 Cnm22 p m1 + m2 (1 − p ) ( n1 + n2 ) − ( m1 + m2 )
Найдем натуральный логарифм от функции правдоподобия:
ln L = ln(Cnm11 Cnm22 ) + (m1 + m2 ) ln p + [(n1 + n2 ) − (m1 + m2 )]ln(1 − p ).
Найдем первую производную по р от логарифма функции
правдоподобия:
93
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
d
m + m2 n1 + n2 − (m1 + m2 )
ln L = 1
−
.
dp
p
1− p
Напишем уравнение для нахождения оценки p̂ параметра p,
т. е. приравняем значение первой производной от логарифма
функции правдоподобия нулю, и с заменой p = pˆ получим:
m1+m2 (n1+n2 ) - (m1+m2 )
=0.
pˆ
1- pˆ
Решая относительно p̂ , получим: pˆ =
m1 + m2
.
n1 + n2
Найдем вторую производную по р:
d2
m1 + m2 (n1 + n2 ) − (m1 + m2 )
=
−
L
ln
.
2
2
2
dp
p
(1 − p )
Если в последнее соотношение подставить вместо р полученm + m2
, то получим отрицательную вторую проную оценку pˆ = 1
n1 + n2
изводную. Это означает, что оценка p̂ найдена по максимуму
функции правдоподобия неизвестной вероятности биномиального распределения.
Задача 3. Имеется показательное распределение вида:
f ( x) = λ ⋅ exp(−λx), 0 < x < ∞ , где λ – параметр; в результате n испытаний случайная величина х приняла значения х1, х2, ..., хn.
Найти оценку параметра λ методом наибольшего правдоподобия.
Решение. Составляется функция правдоподобия, учитывая,
что параметр λ:
L = f ( x1 , λ ) f ( x2 , λ )... f ( xn , λ ) =


= λ ⋅ exp(−λx1 )λ ⋅ exp(−λx2 )...λ ⋅ exp(−λxn ) = λn exp − λ  xi .


i
Найдем натуральный логарифм от функции правдоподобия:
94
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ln L = n ln λ − λ  xi .
i
Найдем
первую
производную
по
параметру
d
n
ln L = −  xi .
λ:
dλ
λ i
Составляется уравнение для нахождения оценки параметра
n
λˆ : −  xi = 0 .
λ
i
Отсюда находится оценка параметра:
λˆ =
1
n
=
 x1  xi
i
i
=
1
,
xB
n
1
 xi – выборочное среднее. Чтобы убедиться, что найn i
денная оценка соответствует максимуму функций правдоподоd2
n
бия, находится вторая производная от ln L : 2 ln L = − 2 . Из поdl
λ
1
вторая производная
лученного равенства видим, что при λˆ =
xB
где xB =
отрицательна. Это означает, что оценка λ̂ соответствует максимуму функции правдоподобия. За оценку параметра λ следует
1
.
принять величину, обратную выборочной средней, т. е. λˆ =
xB
Примечание: если плотность вероятности f(x) непрерывной
случайной величины х является функцией двух неизвестных параметров θ1 и θ2, то функция правдоподобия является функцией
двух независимых аргументов
θ1,θ2:L=f(x1,θ1θ2)f(x2,θ1,θ2)…f(xn,θ1,θ2),
где x1, x2,…xn – наблюдаемые значения х. Далее находится логарифмическая функция правдоподобия и для отыскания ее максимума составляется система из двух уравнений:
95
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
d
d
L = 0;
L = 0.
dθ1
dθ 2
Из этих уравнений находятся оценки параметров θ1 и θ2. Необходимо проверить, что эти оценки соответствуют максимуму
функции правдоподобия, т. е. надо взять вторые производные по
θ1 и θ2 и убедиться, что они при оценках θ1 и θ2 имеют отрицательное значение. Тогда θ1 и θ2 можно принять за оценки.
Задача 4. Функция правдоподобия имеет вид нормального
распределения:
 ( x − a) 2 
1
exp −
, 0 < x < ∞,
f ( x) =
2 
σ 2π
2
σ


где а и σ2 – математическое ожидание и дисперсия соответственно случайной величины х. В результате опыта она принимает
значения x1, x2, …xn. Найти оценки параметров а и σ.
Решение. Составим функцию правдоподобия:
 ( x1 − a ) 2 
 ( x2 − a ) 2 
1
1
⋅
 × ... ×
L=
exp
exp −
2
2


σ 2π
2σ
 2σ
 σ 2π


  ( xi − a) 2 
2
 i

 ( x − a) 
1
1
−
×
exp
exp − n 2  =

.
2
n
n
σ 2π
σ
σ
2
2
2π



 σ


(
)
Найдем натуральный логарифм от функции правдоподобия:
(
ln L = −n ln σ + ln 2π
)− n −
 ( xi − a) 2
i
2σ 2
.
Составим систему уравнений для нахождения оценок параметров а и σ:
d
d
ln L = 0,
L = 0.
da
d
σ
a
σ
Или после взятия частных производных имеем:
96
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
 ( xi − naˆ )
i
σ
2
= 0, −
n
+
σˆ
 ( xi − a) 2
i
σˆ 3
= 0.
Решив полученную систему уравнений относительно â и σˆ ,
получим:
aˆ =
 xi
i
n
= xB , σˆ 2 =
1
( xi − xB ) = Dˆ B .

n i
Итак, имеем оценки наибольшего правдоподобия: aˆ = xB и
σˆ 2 = D̂B – выборочное среднее и выборочная дисперсия. Из полученных результатов видим, что оценка математического ожидания несмещенная, а оценка дисперсии – смещенная.
Зная соотношения между выборочной дисперсией и дисперсией генеральной совокупности значений случайной величины х,
из формулы (1.3.5) находится несмещенная оценка дисперсии,
т. е.
Dˆ Г =
n ˆ
DB ,
(n − 1)
где n – объем выборки. Из последнего соотношения видно, что
чем больше объем выборки n, тем меньше смещение оценки дисперсии.
Задача 5. Задана генеральная дисперсия случайной величины
x, равная 3. Производится оценка дисперсии при объеме выборки
n=3 и n=15. Найти смещенную оценку дисперсии в обоих случаях и смещение дисперсии.
Решение. Известна связь смещенной оценки дисперсии D̂B ,
полученной по конкретной выборке значений случайной величины х, с дисперсией генеральной совокупности DГ в виде (1.3.5):
n −1
Dˆ B =
DГ . Оценка выборочной дисперсии является смещенn
ной, а генеральной совокупности – несмещенной.
Используя это соотношение, находим:
97
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
3 −1
3 = 2; ΔDˆ см = 3 − 2 = 1;
при n=3, Dˆ B =
3
15 − 1
14
при n=15, Dˆ B =
3 = = 2.8; ΔDˆ см = 3 − 2.8 = 0.2;
15
5
D̂B – смещение оценки дисперсии. Из полученных результатов видно, что смещение оценки дисперсии обратно пропорционально числу выборок значения случайной величины х. Выборочная дисперсия меньше дисперсии генеральной совокупности.
Задача 6. Найти средний квадрат ошибки при измерении
оценки случайной величины х, если объем выборки n=20, генеральная дисперсия DГ = 4 , смещение оценки Δ γ = 0,5 , где γ –
оценка среднего значения по выборке.
Решение. Известно, что средний квадрат ошибки оценки параметра l определяется формулой:
ε 2 = D(γ ) + Δ2γ ,
где D(γ ) – дисперсия оценки параметра l, Δ γ – смещение оценки.
Дисперсия оценки и генеральная дисперсия связаны формулой:
n −1 ˆ
20 − 1
D(γ)=Dˆ B =
DГ =
4 = 3.8.
n
20
Следовательно, средний квадрат ошибки оценки равен:
ε 2 = D(γ ) + Δ2γ = 3.8 + 0.52 = 4.05 .
Отметим, что средний квадрат ошибки всегда больше или равен дисперсии оценки, так как знак смещения оценки не влияет
на ε2.
Задача 7. Имеется случайный процесс, огибающая которого
распределена по закону Релея. Дисперсия случайного процесса
σ x2 . Оценивается амплитуда огибающей. За оценку амплитуды
огибающей можно взять различные характеристики: математическое ожидание, моду и медиану распределения. Определить различие в оценках, если за ожидание взять медиану распределения
98
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
по сравнению с тем, если бы за оценку параметра было взято математическое ожидание.
Решение. Распределение Релея имеет вид:
 x A2 
W ( x A ) = 2 exp − 2 ; 0 < x A < ∞ ,
σx
 2σ x 
xA
где хА – значения огибающей процесса x(t); σ x2 – дисперсия процесса x(t).
Если за оценку берется математическое ожидание огибающей хА, то она равна:
xA
∞
∞
 x A2 
π
=  x AW ( x A )dx A =  2 exp − 2 dx = σ x
.
2
 2σ x 
0
0σx
x A2
Решение этого интеграла имеется в [14, с. 77, задача 25]. Если
за оценку взять медиану распределения, то она согласно ее определению находится из уравнения:
 x A2 
F ( x A ) = 1 − exp − 2  = 0.5,
 2σ x 
где F(xA) – функция распределения случайной величины хA. При
хА = хмед из этого уравнения после взятия натурального логарифма от обеих частей равенства находим: ~
x A = σ x ⋅ 1.177 . При σx=1,
xмед. = 1.177.
Различие двух оценок будет равно
Δ A = x A − x мед = (π .2) 0.5 − 1.177 = 0.076.
Задача 8. Имеется случайный процесс, огибающая амплитуды которого распределена по закону Релея. Дисперсия случайного процесса σ x2 . Оценивается амплитуда огибающей. За оценку
амплитуды огибающей берется мода распределения. Определить
различие в оценках, если за оценку взять моду распределения по
сравнению с тем, если бы за оценку параметра было взято математическое ожидание.
Решение. Мода распределения определяется из уравнения
производной от плотности вероятности по наблюдаемому пара-
99
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
метру, приравненной нулю, т. е. определяется максимум распределения. Для нашего случая уравнение имеет вид:
 x A2 
d  xA
d
W ( x A ) = 0 или
 2 exp − 2  = 0 .
dx A σ x
dx A
 2σ  x μ
xμ
Решая это уравнение, находим: xμ = σ x = 1. При xμ = xˆ μ имеем различие Δ A = x A − xμ = (π / 2 )0.5 − 1 = 0.253.
Значение <хА> взято из задачи 7.
Задача 9. Имеется случайный процесс x(t), огибающая амплитуды которого имеет плотность вероятности, распределенную
по закону Релея. Дисперсия случайного процесса x(t) равна σ2x=1.
Определить, какой параметр огибающей (математическое ожидание, моду или медиану) взять за оценку амплитуды с точки
зрения наименьшего коэффициента вариаций, определенных по
aμ
, где <γ> – математическое
формулам (2.2.6), (2.2.18). υ μ =
γ
ожидание оценки параметра, которое равно <γ>=<xA>; dμγ – отклонение моды распределения от математического ожидания
распределения <хА>.
Решение. В задаче 7 найдено математическое ожидание огибающей
амплитуды
при
σ2x=1,
которое
равно
xA = σ x
π
2
= 1.253 . Дисперсия амплитуды огибающей процесса
x(t) равна σ A2 = σ x2 ((4 − π ) / 2 ) ≅ 0.4292, σ A ≅ 0.655 . Следовательно,
коэффициент вариации по (2.2.16) равен:
υc =
σγ σ A
0.655
0.655
=
=
≅
≅ 0.5226.
xA
γ
π
3.14
σx
2
2
В задаче 8 найдена мода огибающей амплитуды при σ2x=1,
которая равна xμ=σx=1. Следовательно, коэффициент вариации по
выражению:
100
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
υ μ∂ =
d μ∂
< xA >
=
< x A > − xμ
< xA >
=
1.2533 − 1.177 0.2533
=
= 0.202.
1.2533
1.2533
В задаче 9 найдена медиана огибающей амплитуды при σ2х=1,
которая равна хмед=1.177. Следовательно, коэффициент вариации
по (2.2.18) равен:
υ мед =
d μ∂
< xA >
=
< x A > − x мед 1.2533 − 1.177
=
= 0.0643 .
< xA >
1.2533
Сравнивая теперь между собой значения υc , υ μ∂ и υ мед , видим, что при распределении по закону Релея целесообразно брать
за оценку параметра медиану распределения, так как при этом
получается наименьшая погрешность оценки.
Из этой задачи видно, что выбор параметра оценки зависит
от распределения наблюдаемого процесса и выбранного параметра оценки. При этом получаются различные алгоритмы оценки.
Задача 10. Наблюдается случайный процесс x(t)=s(t)+n(t),
имеющий распределение сигнал + шум по обобщенному закону
Релея с плотностью вероятности:
 ( v 2 − A )2  

v
0
 I 0  vA20  , 0 < v < ∞,
W (v) = 2 exp  −
2
σx
2σ x   σ x 



где σ2x, A0 – дисперсия шума и амплитуда несущего колебания,
I0(z) – функция Бесселя нулевого порядка от мнимого аргумента
(вырожденная функция Бесселя), s(t), n(t) – гармонический сигнал
и нормальный шум с нулевым математическим ожиданием.
Дано: А0=9, σx=3. За оценку огибающей принимаем ее среднее значение. Установить, смещена ли оценка.
Решение. По определению смещение оценки параметра выражается формулой (2.2.10):
Δγ =< γ > −l ,
где <γ> – среднее значение оценки параметра, l – некоторое значение параметра.
В нашем случае: l=A0, <γ>=<v>, Δv=<v>-A0.
101
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Известно [1, 3], что математическое ожидание огибающей
гармонического сигнала + шум выражается формулой:
mν ≅ σ x
где a =
π 
1
a2 
 при a<1 и mν ≅ A0 1 + 2 при a>3,
1
+
2 
4 
2a
A0
.
σx
Используем вторую формулу, так как а=9/3=3.
Находим: < v >= mν = A0 1 +
1
1
=
9
1
+
= 9.247.
2
2
2a
2×3
огибающей
равно:
Смещение
оценки
Δv = v − A0 = 9.247 − 9 = 0.247.
Из полученного результата видно, что оценка амплитуды
огибающей гармонического сигнала + шум смещена.
Задача 11. Условия задачи те же, что и в задаче 10, но имеем
А0=10, σx=10. Оценить смещение оценки огибающей амплитуды
и средний квадрат ошибки ε2, а также коэффициент вариации (без
учета смещения оценки) и относительную ошибку.
Решение. В этом случае отношение А0 к σх равно
A 10
a = 0 = = 5 . По формуле (2.2.10) смещение оценки равно:
σx 2
1
1
ΔV = V − A0 , где V = mν ≅ A0 1 + 2 = 10 1 +
= 10.099;
2a
2 ⋅ 52
ΔV = 10.099 − 10 = 0.099 .
Средний квадрат ошибки равен по формуле (2.2.13):
ε 2 = D(v ) + Δ2v , где D(v) – дисперсия огибающей v, Δv – смещение
оценки огибающей. Согласно [1, 13] дисперсия оценки огибающей при а>3 равна:σ v2 ≅ σ x2 В нашем случае σ v2 = σ x2 .
Средний квадрат ошибки ε 2 = D(v ) + Δ2v = 2 + 0.099 2 = 2.01 .
Отсюда средняя ошибка равна: εv=1.4176.
102
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Коэффициент
вариации
при
этом
равен
σ
2
υc = v =
= 0.198 ≅ 0.2 (без учета смещения оценки). С
v 10.099
учетом смещения оценки относительно ошибки огибающей согласно (2.2.14) равна
δv =
ε
v
=
1.4176
= 1.14176 ≅ 0.14.
10
Из полученных результатов видно, что учет смещения оценки повышает точность оценки.
Задача 12. Известно, что некоторое значение параметра нормально распределенной оценки равно 8, дисперсия σ2=4, а смещение ее равно 0.4. Найти относительную ошибку оценки.
Решение. При нормальном распределении оценки, имеющей
смещение, целесообразно пользоваться формулой (2.2.19), со3σ γ ± Δ γ
, где
гласно которой относительная ошибка равна ρ =
l
Δγ – смещенность оценки, σ – среднее квадратическое отклонение
оценки, l – истинное значение оценки.
Согласно этой формуле и имеющимся данным по условию
3 ⋅ 2 + 0.4
задачи относительная ошибка равна: ρ =
= 0.75 . Досто8
верность данной ошибки при нормальном распределении оценки
составляет 0.999, а ошибки в оценке 0.001.
При использовании формулы для относительной ошибки в
виде:
ρ=
σ γ ± Δγ
l
=
2 + 0.4
= 0.3 .
8
Достоверность данной ошибки равна 0.68, а ошибка в оценке
0.32, т. е. погрешность в оценке параметра увеличивается. Вторую формулу для ρ можно использовать для приближенной оценки относительной ошибки.
Задача 13. Установить физический смысл определений
«рассеяние оценки» и «дисперсия оценки» параметра, если на103
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
блюдаемый процесс x(t) дискретен и получает значения х1=6,
х2=4, x3=8, x4=2. Известно, что истинное значение параметра l=4.
Решение. Используем формулы для рассеяния оценки и дисперсии оценки соответственно (2.2.2) и (2.2.3) при усреднении по
1 4
ˆ
выборке, т. е. для рассеяния формулу D(γ / l ) =  (γ i − l )2 и для
n i =1
дисперсии формулу
1 4
D(γ / l ) =  (γ i − < γ >) 2 ,
n i =1
где γ i = xi , < γ >=< x > .
Находим среднее выборочное значение параметра:
1 4
1
< x >=  xi = [ 6 + 4 + 8 + 2] = 5.
4
n i =1
Определяем рассеяние оценки:
1
Dˆ ( γ / l ) = (6 − 4) 2 + (4 − 4) 2 + (8 − 4) 2 + (2 − 4) 2  = 6 .
n
Дисперсия оценки равна:
D( γ / l ) =
1
(6 − 4) 2 + (4 − 5)2 + (8 − 5) 2 + (2 − 5) 2  = 5 .
n
Из полученных результатов видно, что рассеяние оценки
равно 6, а дисперсия оценки равна 5. Такие результаты определяются значениями xi и истинным значением параметра l. Видим,
что рассеяние оценки характеризует разброс оценки около истинного значения параметра l, а дисперсия оценки – разброс
оценки около ее среднего значения.
Задача 14. Случайная величина распределена по равномерному закону в интервале [а,b], где а=2, b=10. Найти оценку случайной величины и ее дисперсию. За оценку принять математическое ожидание случайной величины.
Решение.
Равномерное
распределение
имеет
вид:
1
W1 ( x) =
, a < x < b.
b−a
104
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Истинное значение параметра l=6.
Находим математическое ожидание по формуле:
b
γ =< x >=  xW ( x)dx =
a
1 1 2 b a + b 2 + 10
x a=
=
= 6.
b−a 2
2
2
Дисперсию оценки определяем по формуле:
b
(b − a ) 2 (−10 − 2) 2
σ λ =  ( x − < x >) W1 ( x)dx =
=
= 5.333.
12
12
a
2
2
Оценка параметра γ несмещенная, так как она равна среднему
значению <x>=l, что соответствует определению несмещенной
оценки см. формулу (2.2.9).
2.8. Задачи для самостоятельного решения
Задача 1. Имеется апостериорная плотность вероятности в
виде:
 − αa 2   2az 
 ⋅ I 0 
,
W ps (a ) = const ⋅ W pr (a ) exp

N
N
 0   0
где а – амплитуда сигнала; Wpr(a) – априорная плотность вероятности, равномерная в области существования плотности Wps(a);
α – постоянный коэффициент; N0 – спектральная плотность белого шума; Z – огибающая гармонического сигнала со случайной
фазой плюс шум.
Найти оценку амплитуды â , используя метод правдоподобия.
Ответ: aˆ = 2 z / α .
Задача 2. Имеется функция правдоподобия, соответствующая оптимальному приему гармонического сигнала + белый шум,
следующего вида:
W (ζ / k ) = c ⋅ exp{−
1
N0
T
0 [ζ (t ) − k ⋅ S (t )] } ,
105
2
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
где ζ ( t ) = k ⋅ S ( t ) + n ( t ) ; k – коэффициент передачи канала
связи; S(t) – сигнал; n(t) – белый шум с нулевым математическим
ожиданием и корреляционной функцией < n(t1 )n(t 2 ) >= N 0 δ (t 2 − t1 );
2
No – спектральная плотность белого шума; δ (t 2 − t1 ) – дельтафункция; с – постоянный множитель; Т – интервал наблюдения
процесса ζ(t).
Используя метод правдоподобия, найти оценку k̂ , абсолютную ошибку ε=<k> – k, математическое ожидание ошибки M[ε]
(смещенность оценки), дисперсию абсолютной ошибки D[ε].
1 T
Ответ: kˆ =  ζ (t ) S (t )dt , E – энергия сигнала, M[s]=0,
E 0
D[ε]=N0/2E.
Задача 3. Функция правдоподобия имеет вид гауссова распределения:
W ( x) =
1
σx
 ( x − ax ) 
,− ∞ < x < ∞,
⋅ exp −
2 
2π
2
σ

x 
где σ x2 – дисперсия наблюдаемых значений x1, x2, ... хп процесса
x(t)=S(t)+n(t) [сигнал + шум], ax – среднее значение амплитуды.
Найти оценку â x , оценку дисперсии σˆ x2 и генеральную (несмещенную) дисперсию, если объем выборки п=5. Использовать
метод правдоподобия.
Ответ: aˆ x = xB – выборочное среднее,
ˆ = 1.25D
ˆ , D̂
D
Г
Г
B
σˆ x2
1 5
=  ( xi − xB ) = Dˆ B ,
n i =1
и D̂B – оценка генеральной и выборочной диспер-
сии.
Задача 4. Найти смещение оценки параметра â и смещение
дисперсии оценки ΔD̂ . Распределение случайной величины x(t)
нормальное. Произведена выборка: х1=1, х2=3, x3=2, x4=5, x5=4. За
оценку параметра взять математическое ожидание распределения.
Ответ: aˆ = xB , Δaˆ = 0; ΔDˆ = 0.5.
106
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Задача 5. Определить, во сколько раз генеральная дисперсия
выборки случайного процесса больше выборочной дисперсии для
трех объемов выборки: 1) n=4; 2) n=8; 3) n=16.
2) Dˆ Г / Dˆ B = 1.143 ;
Ответ: 1) Dˆ Г / Dˆ B = 1.333 ;
3) Dˆ Г / Dˆ B = 1.066 .
Задача 6. Определить средний квадрат ошибки, если известна дисперсия оценки параметра случайного процесса D(γ) =5 и
смещение оценки Δγ=0.6.
Ответ: ε2=5.36.
Задача 7. Имеется распределение огибающей амплитуды по
закону Релея, характеризующее огибающую нормального шума.
Найти оценку амплитуды огибающей, если математическое ожидание принято за оценку параметра. При этом шум имеет дисперсию σ2x=2.
Ответ: <хA>=1.772.
Задача 8. При исследовании огибающей случайной величины
x(t) получено ее распределение по закону Релея. Найти оценку
параметра огибающей случайной величины, если за оценку взята
медиана распределения. При этом дисперсия σ2x=2.
Ответ: хмед= 1.665.
Задача 9. Огибающая амплитуды процесса x(t) распределена
по закону Релея. Дисперсия σ2x=2 . За оценку взята мода распределения огибающей. Найти оценку параметра огибающей процесса x(t).
Ответ: хм=1.441.
Задача 10. Показать, какой параметр из трех (среднее, медиана, мода) взять за оценку, если имеется распределение случайной величины по закону Релея, чтобы получить минимум
среднего квадрата ошибки.
Задача 11. Найти смещение оценки огибающей гармонического сигнал + шум, имеющей распределение по обобщенному
107
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
закону Релея, если А0 = 10, σx=5. За оценку огибающей взять ее
среднее значение.
Ответ: ΔV=0.0606.
Задача 12. Найти тенденцию изменения смещения оценки
огибающей сигнал + шум ΔV, имеющей распределение по обобщенному закону Релея, если известно, что амплитуда гармонического сигнала принимает значения А0=10, а среднее квадратическое
шума σx= 2;3;5. За оценку параметра принять среднее значение.
Задача 13. Плотность вероятности случайной величины имеет нормальное распределение. Истинное значение случайной величины равно l=20, дисперсия σ2x=10, смещение оценки Δγ=0.2.
Определить относительную ошибку ρ.
Ответ: ρ=0.464.
Задача 14. Найти дисперсию оценки D(γ/l) и рассеяние оценки Dˆ (γ / l ) случайной величины, если имеется выборка, принимающая значения x1=5, x2=7, х3=2, x4=6. Истинное значение случайной величины равно l = 5, γ – оценка параметра.
Ответ: D(γ / l ) = 2.8 , Dˆ (γ / l ) = 2.8 .
Задача 15. Случайная величина x(t) распределена равномерно в интервале [а, b], где а = 2, b =8. Истинное значение параметра 1 = 7. Определить, смещена ли оценка γ и на какую величину,
если за оценку взять математическое ожидание. Определить также дисперсию и средний квадрат ошибки.
Ответ: Δγ = 2, D(γ) =3, ε2 = 7.
108
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
2.9. Контрольные вопросы к главе 2
1. Приведите и расшифруйте формулу Байеса. Что она характеризует и какие характеристики можно рассчитать при ее использовании?
2. Как вы понимаете апостериорную и априорную плотности вероятности случайного процесса?
3. Как называется оценка параметра случайного процесса, полученная с применением формулы Байеса?
4. Что понимают, когда говорят «функция правдоподобия», «отношение правдоподобия», «логарифм натуральный отношения правдоподобия»?
5. Дайте определение характеристик оценки параметров: смещения, рассеяния, дисперсии.
6. Укажите отличие характеристик оценки параметра рассеяние и
дисперсия, напишите их расчетные формулы.
7. Перечислите основные свойства оценки параметра.
8. Каким образом смещение оценки параметра можно представить классами оценок?
9. Какие характеристики включают в себя средний квадрат ошибки параметра?
Поясните на примере.
10. Что представляет точечная оценка параметра и чем она отличается от интервальной оценки параметра?
11. Дайте определение коэффициента вариации случайного процесса. Что он характеризует?
12. Когда коэффициент вариации может служить мерой точности
оценки параметра случайной величины или процесса?
13. Что имеется в виду под относительной ошибкой оценки параметра? Напишите формулу для определения относительной ошибки
оценки параметра, подчиняющейся нормальному закону.
14. Дайте определение «достаточности» оценки параметра и «состоятельности».
15. Что утверждает формула Рао – Крамера для дисперсии оценки
параметра? Когда ее можно применять для расчетов?
16. Когда могут появиться суперэффективные оценки параметра?
17. Дайте определение функции потерь при принятии решения об
оценке. Как она выбирается?
18. Какие функции потерь применяются в приложениях?
109
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
19. Что понимают под безусловным и условным риском при
оценке параметра?
20. Напишите формулу для условного среднего риска оценки параметра, когда наблюдаемый случайный процесс сигнал+шум представляет собой непрерывный процесс. Поясните входящие в формулы
обозначения.
Ответ: R(γ / ) =  C (γ , )W ( x / )dx , где С(γ,ℓ) – функция стоимости, γ – оценка параметра, W(X/ℓ) – условная плотность вероятности случайного непрерывного процесса Х.
21. Как определяется критерий минимума среднего риска при
принятии решения о принимаемом двоичном сигнале с учетом коэффициентов потерь?
1
1
Ответ: R(δ ) =   Пij Pij , где δ – правило решения (не число);
i =0 j =0
Пij – коэффициенты потерь; i=0, 1; j=0, 1 – соответственно передаваемый сигнал и принятое решение о сигнале решающим устройством приемника, Pij – совместная вероятность передачи и принятия
решения о сигнале.
22. Решающее правило принятия решения о передаваемом сигнале выражается формулами:
λ( y ) =
P0 ( П01 − П 00 )
W ( y / H1 )
> H1 ; H 2 <
,
W ( y / H0 )
P( П10 − П11 )
где W ( y / H 1 ) – условная плотность вероятности значения процесса
y при гипотезе H0; H1 и H0 – гипотезы о том, что в процессе y есть
сигнал «1» и соответственно есть сигнал «0»; Пij коэффициенты потерь. P0 и P1 – вероятности передачи соответственно «0» и «1». Чем
отличается критерий идеального наблюдателя от критерия максимального правдоподобия, если П00=П11 (нет потерь) при принятии
решения о сигнале?
23. Как выглядит решающее правило по критерию идеального
наблюдателя?
Указание: Примите коэффициенты потерь равными, т. е.
П10=П01=П.
24. Расскажите содержание критерия Неймана – Пирсона. Когда
он применяется?
25. Как определяется порог при обнаружении сигнала по критерию Неймана – Пирсона?
110
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Список литературы
1. Тихонов, В. И. Статистическая радиотехника / В. И. Тихонов. –
М.: Сов. радио, 1966. – 678 с.
2. Купер, Дж. Вероятностные методы анализа сигналов и систем /
Дж. Купер, К. Макгиллем ; пер. с англ. – М.: Мир, 1989. – 376 с.
3. Гмурман, В. Е. Введение в теорию вероятности и математическую статистику / В. Е. Гмурман. – М.: Высшая школа, 1963. – 240 с.
4. Ильин, В. А. Линейная алгебра / В. А. Ильин, Э. Г. Позняк. –
М.: Наука, 1978. – 302 с.
5. Новицкий, П. В. Оценка погрешностей результатов измерений
/ П. В. Новицкий, И. А. Зограф. – Л.: Энергоатомиздат, Ленингр.
отд-е, 1985. – 248 с.
6. Вентцель, Е. С. Теория вероятностей / Е. С. Вентцель. – М.:
Госиздат физ.-мат. лит., 1962. – 564 с.
7. Бендат, Дж. Прикладной анализ случайных данных
/ Дж. Бендат, А. Пирсол ; пер. с англ. – М.: Мир, 1989. – 540 с., ил.
8. Гмурман, В. Е. Теория вероятностей и математическая статистика. учеб. пособие для вузов / В. Е. Гмурман. – 5-е изд., перераб. и
доп. – М.: Высшая школа, 1977. – 479 с.
9. Горяинов, В. Т. Статистическая радиотехника: примеры и задачи: учеб. пособие для вузов / В. Т. Горяинов, А. Г. Журавлев,
В. И. Тихонов ; под ред. В. И. Тихонова. – 2-е изд., перераб. и доп. –
М.: Сов. радио, 1980. – 544 с., ил.
10. Левин, Б. Р. Теоретические основы статистической радиотехники: в 3 кн. / Б. Р. Левин. – М.: Сов. Радио, 1976. – Кн. 3. – 288 с.
11. Куликов, Е. М. Оценка параметров сигналов на фоне помех
/ Е. М. Куликов, А. Т. Трифонов. – М.: Сов. радио, 1978. – 296 с., ил.
12. Рожков, И. Т. Методы обработки радиосигналов: учеб. пособие / И. Т. Рожков. – Ярославль: ЯрГУ, 1987. – 78 с.
13. Тихонов, В. И. Статистическая радиотехника / В. И. Тихонов. – 2-е изд., перераб. и доп. – М.: Радио и связь, 1982. – 624 с.
14. Рожков, И. Т. Основы статистической радиофизики: учеб. пособие / И. Т. Рожков. – Ярославль: ЯЗРИ ПВО, 1999. – Ч. 1. – 80 с.
111
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Оглавление
Предисловие........................................................................................ 3
1. ВЫБОРОЧНАЯ СТАТИСТИКА И ЕЕ ПАРАМЕТРЫ .............. 4
1.1. Введение ................................................................................. 4
1.2. Теория выборок и выборочное среднее ............................... 4
1.3. Выборочная дисперсия .......................................................... 6
1.4. Корреляционная и взаимная корреляционная функции
по выборке .............................................................................. 8
1.5. Плотность вероятности выборочной статистики .............. 17
1.6. Аппроксимация экспериментальных данных
по критерию хи-квадрат ...................................................... 20
1.7. Доверительный интервал оценок параметров
выборочной статистики....................................................... 21
1.8. Регрессионный анализ выборочной статистики ............... 25
1.9. Непараметрические критерии
выборочной статистики....................................................... 28
1.10. Примеры решения задач.................................................... 37
1.11. Задачи для самостоятельного решения ............................ 53
2. ОЦЕНКА ПАРАМЕТРОВ СИГНАЛА
ПРИ НАЛИЧИИ ПОМЕХ ............................................................ 61
2.1. Постановка задачи оценки параметров сигнала ............... 61
2.2. Оценки параметров сигнала и их свойства ....................... 65
2.3. Эффективность оценок ........................................................ 71
2.4. Основные положения теории статистических оценок ..... 75
2.5. Байесовские оценки для различных функций потерь...... 79
2.6. Аномальные ошибки при малых отношениях
«сигнал – шум» .................................................................... 89
2.7. Примеры решения задач...................................................... 92
2.8. Задачи для самостоятельного решения ............................ 105
2.9. Контрольные вопросы к главе 2 ....................................... 109
Список литературы......................................................................... 111
112
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
113
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
И. Т. Рожков
Основы
статистической
радиофизики
Часть 3
114
Документ
Категория
Без категории
Просмотров
21
Размер файла
1 031 Кб
Теги
1097, рожкова, статистический, основы, радиофизики
1/--страниц
Пожаловаться на содержимое документа