Измерение информации
Теоретическая справка
Количество информации, заключенное в сообщении, определяется объемом знаний, который несет это сообщение получающему его человеку.
Сообщение содержит информацию для человека, если заключенные в нем сведения являются для этого человека новыми и понятными и, следовательно, пополняют его знания.
При содержательном подходе возможна качественная оценка информации: полезная, безразличная, важная, вредная ...
Одну и ту же информацию разные люди могут оценить по разному. Единица измерения количества информации называется
бит. Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации.
Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность
обозначает, что ни одно событие не имеет преимуществ перед другими). Тогда количество информации, заключенное в этом сообщении, — i бит и число N связаны формулой:

Данная формула является показательным уравнением относительно неизвестной i. Если N равно целой степени двойки (2, 4, 8, 16 и т. д.), то такое уравнение можно решить «в уме», то есть подобрать нужную степень для двойки, чтобы равенство было верным .
В противном случае, из математики известно, что решение такого уравнения имеет вид:

— логарифм от N по основанию 2. Это значит, что количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов.

Пример 1. При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации, поскольку количество возможных вариантов результата равно 2 (орел или решка).
Оба эти варианта равновероятны.
Ответ может быть получен из решения уравнения: 2ⁱ = 2, откуда, очевидно, следует: i = 1 бит.
Вывод: в любом случае сообщение об одном событии из двух равновероятных несет 1 бит информации.
Ещё примеры (flash-animation)

Домашнее тест-задание.
 

Дополнительное задание (добровольное).

1. В коробке лежат 8 разноцветных карандашей. Какое количество информации содержит сообщение, что из коробки достали красный карандаш?
2. Какое количество информации несет сообщение: «Встреча назначена на лето»?
3. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
4. При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?
5. Сколько символов содержит алфавит, если написанное с его помощью сообщение длиной 100 символов содержит 300 бит информации