Занятие 4. Измерение информации.

Содержательный подход.

Измерять информацию люди научились задолго до появления информатики, как науки. Да и сейчас каждый из нас в состоянии ДЛЯ СЕБЯ конкретно определить насколько полезна или актуальна получаемая или передаваемая нами информация. Но такой способ  грешит субъективностью. Для кого-то данная информация жизненно необходима, а кому-то она просто не интересна (взять, например, показания компаса для капитана корабля в открытом море и для вас в вашей квартире).

Теперь давайте отвлечёмся от полезности информации, а будем рассматривать её как набор сведений о чём-нибудь. Например, попробуем угадать задуманное мной целое число от 1 до 16 (подскажу - я загадал "7"). Причём для угадывания можно задавать только такие вопросы, которые требуют однозначного ответа "да" или "нет"

1 Вопрос: "это число больше 8?" - НЕТ.  Обратите внимание, при получении ответа на мой вопрос, я сократил область поиска в два раза.

2 Вопрос: "это число больше 4?" - ДА.  и снова  я сократил оставшуюся область поиска примерно в два раза.

3 Вопрос: "это число больше 6?" - ДА. Осталось угадать 7 или 8

4 Вопрос: "это число - 8?" - НЕТ. Пятого вопроса не потребуется, если не "8", значит - "7"

Итак, мы угадали число на отрезке от 1 до 16, получив информацию из ответов на 4 вопроса.

Интересно, что для угадывания любого из 8 чисел потребуется 3 вопроса-ответа, а вот на одно из 64-х потратим 6. Угадывание числа от 1 до 1024 потребует всего 10 правильно поставленных вопросов. Дело в том, что получение  каждого ответа "Да" или "Нет" уменьшало нашу неопределённость в числе примерно в 2 раза. При этом, как говорят в информатике, мы получаем один бит информации.

Единица измерения количества информации называется бит.

Таким образом, угадывая число из шестнадцати, мы получили 4 бита информации. Если расширить наш пример, и рассматривать число как  событие, то можно заключить, что любое из заданных наперёд шестнадцати событий содержит 4 бита информации. А если событий больше или меньше? Тогда поможет правило:

Пусть N - количество равновероятных событий,

х - количество информации в сообщении об одном из этих событий,

тогда x и N связаны формулой:

2^х =N

Пример. Какова информационная ёмкость каждой буквы русского алфавита без буквы Ё?

Решение. Будем считать все буквы в алфавите равноправными. Без буквы Ё их всего 32 шт.

Используем указанную выше формулу: 2⁵ =32.

Ответ: 5 бит.

Алфавитный подход.

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст.
Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой, то количество информации x, которое несет каждый символ, вычисляется по той же формуле:
 

2^х =N
 

где N — мощность алфавита.

Решение задач на определение информационного веса символа

Следовательно, в 2-х символьном алфавите каждый символ «весит» 1 бит; в 4-х символьном алфавите каждый символ несет 2 бита информации и т.п.

Один символ из алфавита мощностью 256 несет в тексте 8 бит информации. Такое количество информации называется байт. Алфавит из 256 символов используется для представления текстов в компьютере.
 

1 байт = 8 бит.
 

Для измерения информации используются и более крупные
единицы:
1 Кбайт (килобайт) = 2¹⁰ байт = 1024 байта
1 Мбайт (мегабайт) = 2¹⁰ Кбайт = 1024 Кбайта
1 Гбайт (гигабайт) = 2¹⁰ Мбайт = 1024 Мбайта

 Пример. Книга, набранная с помощью компьютера, содержит 150страниц; на каждой странице - 40строк, в каждой строке - 60символов. Каков объем информации в книге?
Решение. Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации.

Значит, страница содержит 40 х 60 = 2400 байт информации.

Домашнее задание