В корзине 64 шара. Сколько информации несёт сообщение о том, что достали чёрный шар?

Как известно, информация – это мера неопределённости. Если нам изначально не было известно, какой шар мы достанем из корзины, то информация о том, что мы достали чёрный шар, будет равна логарифму по основанию 2 из количества возможных исходов.

В данном случае у нас 64 шара в корзине. Если мы знаем, что достали чёрный шар, то вариантов может быть всего два – либо мы достали чёрный шар, либо нет. Следовательно, информация, содержащаяся в сообщении о том, что был достан чёрный шар, будет равна log2(2) = 1.

Таким образом, сообщение о том, что мы достали чёрный шар из корзины с 64 шарами, несёт в себе всего 1 бит информации. Это очень мало – можно сказать, что сообщение несёт довольно ограниченную и однозначную информацию. Однако, при поисках нужного шара в большой корзине, любая дополнительная информация об исходе может быть полезной.