close

Вход

Забыли?

вход по аккаунту

?

8 (2)

код для вставкиСкачать
 Вернемсяк
I (a_i, b_j) = I (a_i) -〖log〗_2p (b_j/a_i) =I (b_j)-〖log〗_2p (a_i/b_j), То есть совместная информация пары складывается из собственной информации каждого из них и некоторого количества информации, добавляемого вторым символом при условии, что имел место первый. Вот это дополнительное количеством информации и называется условным количеством информации.
Пример.
I (b_j/a_i) = -〖log〗_2p (b_j/a_i); I (a_i/b_j) = - 〖log〗_2p (a_i/b_j).
Если обобщить количество условной информации пары символов на объединенную вероятностную схему источников и рассмотреть условное количество информации, как случайную величину, тогда условное количество информации двух объединенных источников, которая называется условная энтропия двух источников, рассмотреть её как математическое ожидание по всем возможным параметрам, то она будет равна:
I (A/B) = H (A/B) = ЕI (a_i/b_j) = - ∑_(i=1)^N▒∑_(j=1)^M▒〖p (a_i/b_j)〗*〖log〗_2p (a_i/b_j).
Найдем соотношение между условной энтропией и взаимным количеством информации в объединенной вероятностной схеме:
I (a_i; b_j) =〖log〗_2 (p(a_i/b_j))/((a_i)) = 〖log〗_2 p(a_i/b_j ) + 〖log〗_2 1/((a_i)) = I (a_i) - I (a_i. b_j), аналогично, можно выразить и через второй источник:
I (a_i; b_j) = I (b_j) - I (b_j/a_i).
Аналогично, находя математическое ожидание, можно показать, что объединенное количество информации пары источников равно:
I (A; B) = H (A) - H (A/B)= H (B) -H (B/A).
Очевидно, что:
H (AB) = H (A) + H (B/A) = H (B) +H (A/B).
В общем случае условная энтропия двух источников всегда H (A/B) ≤H (A), H (B/A) ≤H (B), H (AB) ≤ H (A) +H (B).
Документ
Категория
Без категории
Просмотров
15
Размер файла
13 Кб
Теги
1/--страниц
Пожаловаться на содержимое документа