Вероятностный подход к измерению информации

Подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию, что чрезвычайно важно в информатике.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий: монета окажется в одном из двух положений — “орел” или “решка”

Перед броском существует неопределенность наших знаний (возможны два события). Как упадет монета, предсказать невозможно. После броска наступает полная определенность, так как мы видим, что монета в данный момент находится в определенном положении. Это приводит к уменьшению неопределенности наших знаний в два раза, поскольку из двух возможных равновероятностных событий реализовалось одно.

Формула, которая связывает между собой число возможных событий N и количество информации I:

N = 2 I.

По этой формуле легко определить число возможных событий, если известно количество информации.

Для определения количества информации, если известно число событий, необходимо решить показательное уравнение относительно I. Например: в игре “крестики-нолики” на поле 4 x 4 перед первым ходом существует 16 возможных событий (16 различных вариантов расположения “крестика”), тогда уравнение принимает вид:

16 = 2 I.

Так как 16 =2 4, то уравнение запишется как:

2 4 = 2 I.

Таким образом, I = 4, т. е. количество информации, полученное вторым игроком после первого хода первого игрока, составляет 4 бита.

Читайте далее:

Оставьте комментарий