P(xi / y j ) |
P(xi )P( y j |
/ xi |
) |
. |
(7.9) |
A |
|
|
P(xi )P( y j / xi )
i 1
Апостериорная вероятность xi определяется, как видно, удельным вкладом P(xi )P( y j / xi ) в сумму вкладов в P( y j ) всех xi с учетом переходных вероятностей в знаменателе вы-
ражения (7.9). Рассматриваемое как функция целочисленной переменной i , это выражение представляет закон распределения апостериорных вероятностей состояний исследуемого объекта Х. Значение P(xi / y j ) в (7.9) зависит от степени соот-
ветствия симптомов истинным состояниям объектов. Если при j i P( yi / xi ) 1 , то P( y j / xi ) 0 при j i и каждому симптому соответствует единственное состояние. В этом случае апостериорные и априорные распределения вероятностей совпадают. На практике симптомы отбираются исходя из степени их взаимосвязи с выявляемыми состояниями, а в противном случае их использование нецелесообразно.
В табл. 7.1 приведен пример априорного закона распределения вероятностей состояний объекта Pi P(xi ) при А=4.
Таблица 7.1
xi |
1 |
2 |
3 |
4 |
|
|
|
|
|
P(xi ) |
0,5 |
0,2 |
0,2 |
0,1 |
|
|
|
|
|
На рис. 7.5 представлена матрица переходных вероятностей [Pj / i ] симптомов и состояний, а на рис. 7.6 – диаграммы
апостериорных вероятностей P(xi / y j ) , полученных согласно (7.9).
69
Рис. 7.5
Рис.7.6
Как видно из рис 7.6.а, признак x1 сильно статистически связан с симптомом y1 (вероятность их совпадения 0,917).
Аналогичные выводы следуют и из диаграмм на рис. 7.6б – рис. 7.6г, но с меньшими вероятностями. Если реасобытие определяется по максимальной апостериорной вероятности симптома, то ее значение является доверительной вероятностью Pдов принятого решения.
По окончании поиска симптомов остается неопределен70
ность относительно соответствующего состояния, которая характеризуется условной энтропией
|
A |
|
H ( X / y j ) |
P(xi / y j ) log2 P(xi / y j ) . |
(7.10) |
|
i 1 |
|
Она представляет собой остаточную скрытность состояния после завершения поиска симптомов,
S2 |
Hост H ( X / y j ) . |
(7.11) |
|
На рис. 7.7 показана зависи- |
|
|
мость энтропии (7.10) от номера |
|
|
найденного симптома y j |
для рас- |
|
сматриваемого примера. Как вид- |
|
|
но, остаточная скрытность тем |
|
|
выше, чем меньше доверительная |
|
|
вероятность результата поиска, что |
|
|
согласуется с результатами иссле- |
|
|
дований максимальной |
остаточ- |
|
ной энтропии, показанными на |
|
Рис. 7.7 |
рис. 7.2а. |
|
|
При диагональной матрице пе- |
|
реходных вероятностей типа рис. 7.4б апостериорное распределение имеет вид
P( y j / xi ) |
1 |
при |
i |
j, . |
(7.12) |
|
0 |
при |
i |
j. |
|
В этом случае каждому симптому |
y j |
однозначно (с довери- |
|||
тельной вероятностью Pдов |
1) соответствует состояние x j , и |
||||
после выявления симптома неопределенность состояния (остаточная скрытность) равна нулю.
71
Если |
же |
все |
переходные вероятности одинаковы, |
P( y j / xi ) |
1/ A, то согласно (7.9) апостериорные вероятности |
||
состояний |
P(xi |
/ y j ) |
P(xi ) не зависят от выявленного сим- |
птома. Это означает, что симптомы не содержат информации о состояниях и обнаруженный в процессе поиска симптом не позволяет судить об имеющемся состоянии.
Апостериорные распределения типа рис. 7.6 сами по себе могут служить наглядным и численно обоснованным выражением результатов исследования объекта и обстановки.
7.6. Информационные характеристики и остаточная неопределенность
Исходная неопределенность H (X ) состояний объекта определяется выражением (4.1),
|
A |
|
H ( X ) |
P(xi ) log2 P(xi ) . |
(7.13) |
|
i 1 |
|
После выявления симптома в процессе поиска условная энтропия состояний, усредненная по симптомам, с учетом
(7.10) равна
B |
A |
|
H ( X / Y ) |
P( y j ) P(xi / y j ) log P(xi / y j ) . |
(7.14) |
j 1 |
i 1 |
|
Это средняя остаточная неопределенность (скрытность второго рода S2 ) состояний, обусловленная неоднозначностью со-
ответствия симптомов и состояний объекта. Если между симптомами и состояниями имеется однозначное соответствие (7.12), то остаточная неопределенность равна нулю. Если же статистическая взаимосвязь между ними отсутствует, то есть
72
P(xi / y j ) P(xi ) , |
(7.15) |
тогда остаточная энтропия равна исходной,
H(X / Y) H(X ) , |
(7.16) |
и после завершения поиска неопределенность состояний не снижается.
В результате поиска наблюдатель получает общее количество информации, равное
I (X ,Y) H(X ) H(X /Y ) . |
(7.17) |
Оно зависит от вероятностных свойств состояний и матрицы переходных вероятностей (взаимосвязи симптомов и состояний) и изменяется от нуля до H (X ) .
В теории информации доказано, что безусловная энтропия не меньше условной, то есть количество информации неотрицательно. Там же показано, что
I(X ,Y) H(Y) H(Y / X ) . |
(7.18) |
Безусловные и условные вероятности и энтропии симптомов зависят как от свойств состояний, так и от матрицы переходных вероятностей.
Величина H(Y) является энтропийной скрытностью симптомов (скрытностью первого рода S1 ) и характеризует за-
траты на их безошибочное выявление.
Следует иметь в виду, что энтропийные скрытности первого и второго рода в данном случае относятся к различным множествам симптомов и состояний соответственно.
73
7.7. Отгадывание
В том случае, когда получение информации о состоянии объекта невозможно из-за дефицита времени, сильных помех или обрыва измерительного канала, остается еще шанс его отгадывания.
Возможны две стратегии в этой задаче – неприцельное и прицельное отгадывание.
Неприцельное отгадывание предполагает равновероятный выбор реасобытия xr (путем «слепого» выбора из урны биле-
тика с |
надписью |
xr ). Обозначим вероятность этого через |
|||
Q(xr ) |
1/ A . Вероятность того, что выбранное xr |
действи- |
|||
тельно |
|
является |
реализовавшимся событием, |
равна |
|
|
|
|
|
||
P(xr ),i |
1, A . Вероятность этого по теореме умножения веро- |
||||
ятностей независимых событий равна произведению P(xr )Q(xr ) . Поскольку совпадение может иметь место при любом xr , для вычисления вероятности отгадывания необхо-
димо усреднить это произведение по всем реасобытиям. Тогда вероятность отгадывания равна
|
A |
1 |
A |
1 |
(7.19) |
PОТГ |
P(xi )Q(xr ). |
|
P(xi ) |
|
|
|
A |
||||
|
i 1 |
A i 1 |
|
||
Отсюда следует, что независимо от закона распределения вероятностей состояний объекта P(xi ) вероятность непри-
цельного отгадывания равна 1/ A . Она убывает по гиперболическому закону с увеличением ассортимента возможных состояний А.
Если распределение вероятностей реасобытий существенно неравномерно, то целесообразней использовать прицельное отгадывание.
В этом случае в качестве реасобытия выбирается наиболее вероятное значение xi , в соответствии с чем вероятность
74
прицельного отгадывания может быть представлена в выражением
|
PОТГ max P(xi ). |
(7.20) |
|
|
Для распределения вида (6.11), (6.12) |
|
|
|
P(x ) |
2 i |
(7.21) |
|
i |
|
|
при |
1 вероятность отгадывания равна PОТГ |
0,5 . Это зна- |
|
чительно больше по сравнению с (7.19) при больших А.
При прицельном отгадывании и заданном распределении вероятностей P(xi ) всегда будет выбираться то состояние, для которого выполняется условие (7.20).
При отгадывании скрытность первого рода S1 равна нулю, так как поиск не проводится, а остаточная скрытность S2 максимальна и равна исходной энтропии состояний H (X ) .
75
Глава 8. СКРЫТНОСТЬ ОБЪЕКТОВ С НЕПРЕРЫВНЫМ МНОЖЕСТВОМ СОСТОЯНИЙ
8.1. Особенности непрерывных множеств состояний
Непрерывным (континуальным) является такое множество состояний объекта X , в котором на любом конечном интервале находится бесконечное множество значений состояния. Точки непрерывного множества расположены «вплотную» друг к другу, а вероятность p выбора конкретного зна-
чения состояния бесконечно мала (стремится к нулю).
При оценке скрытности состояний объекта с конечном числом состояний ее величина пропорциональна log(p) и
стремится к бесконечности при p 0 . Таким образом, рас-
смотренный математический аппарат оказывается неприемлемым для анализа скрытности состояний с непрерывным множеством значений.
8.2. Плотность вероятностей
В теории вероятностей [2] при описании статистических свойств непрерывных случайных величин x используется
плотность вероятностей w(x) .
Определим функцию распределения вероятностей F(x) значения непрерывной вещественной случайной величины
как вероятность того, что
x . Эта величина конечна и изменяется от 0 при 
до 1 при
. Тогда вероятность p(x) попадания значения случайной величины в беско-
нечно малый интервал dx от x |
до x |
dx равна |
|
p(x) F(x |
dx) |
F(x) , |
(8.1) |
и ее значения бесконечно малы.
Для перехода к конечным функциям используется плот76
ность вероятностей w(x) случайной величины, определяемая выражением
w(x) |
p(x) |
|
F(x dx) |
F(x) |
. |
(8.2) |
dx |
|
dx |
|
|||
|
|
|
|
|
И числитель, и знаменатель в выражении (8.2) бесконечно малы, а их отношение может быть любым положительным числом.
По определению функции распределения вероятностей получим условие нормировки
w(x)dx 1 . |
(8.3) |
При заданной плотности вероятностей w(x) функция распределения вероятностей F(x) определяется выражением
|
x |
|
F (x) |
w( )d . |
(8.4) |
Вероятность попадания значения случайной величины в интервал от x1 до x2 равна
|
x2 |
|
P(x1 x x2 ) |
w(x)dx. |
(8.5) |
x1
Из (8.2) следует
p(x) w(x)dx , |
(8.6) |
77
тогда полагая dx сколь угодно малой, но конечной величиной, при анализе скрытности непрерывных состояний можно использовать результаты анализа, полученные для дискрет-
ных |
значений |
состояния, рассматривая затем предел при |
dx |
0 . |
|
|
В качестве |
примера рассмотрим нормальную (гауссов- |
скую) непрерывную случайную величину, плотность вероятностей которой имеет вид
w(x) |
1 |
|
|
exp |
(x a)2 |
, |
(8.7) |
||
|
|
|
|
2 |
2 |
||||
2 |
|
||||||||
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|||
где a - среднее значение, а |
- среднеквадратическое откло- |
||||||||
нение (СКО). Величину |
|
2 называют дисперсией случайной |
|||||||
величины. Зависимости |
w(x) |
при нулевом среднем a |
0 и |
||||||
различных СКО
показаны на рис.8.1, а при
1 и различных a - на рис. 8.2.
Рис. 8.1
Как видно, среднее значение a определяет центр функции распределения вероятностей, а СКО – ширину кривой (область разброса значений случайной величины). При отклонении x от среднего плотность вероятностей резко уменьша-
78