Презентация по теме "Изметение информации " Содержательный подход
презентация к уроку по информатике и икт (10 класс) на тему

Измерение информации.

Содержательный

подход

В предыдущем параграфе рассмотрен объемный подход к измерению информации. Он используется для определения количества информации, заключенного в тексте, записанном с помощью некоторого алфавита. При этом содержательная сторона текста в учет не берется. Совершенно бес смысленное сочетание символов с данной позиции имеет ненулевой ин формационный объем.

Неопределенность знания и количество информации

Сейчас мы обсудим другой подход к измерению информации, который называют содержательным подходом. В этом случае количество инфор мации связывается с содержанием (смыслом) полученного человеком со общения. Вспомним, что с «человеческой» точки зрения информация — это знания, которые мы получаем из внешнего мира. Количество инфор мации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет наши знания.

Как же с этой точки зрения определяется единица измерения информа ции? Вы уже знаете, что эта единица называется битом. Проблема измере ния информации исследована в теории информации, основатель кото рой — Клод Шеннон. В теории информации для бита дается следующее определение:

Сообщение, уменьшающее неопределенность знания в два раза, не сет 1 бит информации.

В этом определении есть понятия, которые требуют пояснения. Что та кое неопределенность знания? Поясним на примерах. Допустим, вы бро саете монету, загадывая, что выпадет: орел или решка. Есть всего два воз можных результата бросания монеты. Причем ни один из этих результа тов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны .

В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум. Игральный же кубик с шестью гранями может с рав ной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести. Еще пример: спортсмены-лыж ники перед забегом путем жеребьевки определяют свои порядковые номера на старте. Допустим, что имеется 100 участников соревнований, тогда не определенность знания спортсмена о своем номере до жеребьевки равна 100.

* Более строгое определение равновероятности: если увеличивать количество броса ний монеты (100, 1000, 10000 и т. д.), то число выпадений орла и число выпадений решки будут все ближе к половине количества бросаний монеты.

Следовательно, можно сказать так:

Неопределенность знания о результате некоторого события (броса ние монеты или игрального кубика, вытаскивание жребия и др.) — это количество возможных результатов.

Вернемся к примеру с монетой. После того как вы броси ли монету и посмотрели на нее, вы получили зрительное со общение, что выпал, например, орел. Определился один из двух возможных результатов. Неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания люнеты, вы получили 1 бит информации.

Сообщение об одном из двух равновероятных результатов некоторо го события несет 1 бит информации.

Это утверждение — частный вывод из определения, данного выше.

А теперь такая задача: студент на экзамене может получить одну из че тырех оценок: 5— «отлично», 4 — «хорошо», 3 — «удовлетворительно», 2 — «неудовлетворительно». Представьте себе, что ваш товарищ пошел сдавать экзамен. Причем учится он очень неровно и может с одинаковой вероятностью получить любую оценку от «2» до «5». Вы волнуетесь за него, ждете результата экзамена. Наконец, он пришел и на ваш вопрос: «Ну, что получил?» — ответил: «Четверку!».

Вопрос: сколько битов информации содержится в его ответе?

Если сразу сложно ответить на этот вопрос, то давайте подойдем к отве ту постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».

Вопросы будем ставить так, чтобы каждый ответ уменьшал коли чество возможных результатов в два раза и, следовательно, приносил 1 бит информации.

Первый вопрос:

—        Оценка выше «тройки»?
-Да.

После этого ответа число вариантов уменьшилось в два раза. Остались только «4» и «5». Получен 1 бит информации. Второй вопрос:

1. Ты получил «пятерку»?
2. Нет.

Выбран один вариант из двух оставшихся: опенка — «четверка». Полу чен еще 1 бит информации. В сумме имеем 2 бита.

Сообщение об одном из четырех равновероятных результатов неко торого события несет 2 бита информации.

Разберем еще одну частную задачу, а потом получим общее правило.

На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где нахо дится книга?

Будем действовать таким же способом, как в предыдущей задаче. Ме тод поиска, на каждом шаге которого отбрасывается половина вариантов,

называется методом половинного деления. Применим метод половинного деления к задаче со стеллажом. Задаем вопросы:

—        Книга лежит выше четвертой полки?

        Ла-

1. Книга лежит выше шестой полки?
2. Нет.
3. Книга — на шестой полке?
4. Нет.
5. Ну теперь все ясно! Книга лежит на пятой полке!

Каждый ответ уменьшал неопределенность в два раза. Всего было зада но три вопроса. Значит, набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на пятой полке, то этим сообщением были бы пе реданы те .же 3 бита информации.

Заметим, что поиск значения методом половинного деления наиболее рационален. Таким способом всегда можно угадать любой из восьми вари антов за три вопроса. Если бы, например, поиск производился последова тельным перебором: «Книга на первой полке?» — «Нет». — «На второй полке?» — «Нет» ит. д., то про пятую полку мы бы узнали после пяти воп росов, а про восьмую — после восьми.

Главная формула инфорглатики

А сейчас попробуем получить формулу, по которой вычисляется коли чество информации, содержащейся в сообщении о том, что имел место один из множества равновероятных результатов некоторого события.

Обозначим буквой N количество возможных результатов события, или, как мы это еще называли, — неопределенность знания. Буквой i будем обо значать количество информации в сообщении об одном из N результатов.

В примере с монетой:        N = 2, i = 1 бит.

В примере с оценками:        Л7 = 4, i = 2 бита. В примере со стеллажом:    Лг = 8, 1 = 3 бита.

Нетрудно заметить, что связь между этими величинами выражается следующей формулой:

2'' = N.

Действительно: 21 = 2 ; 22 = 4 ; 23 = 8.

С полученной формулой вы уже знакомы из базового курса информати ки, и еще не однажды мы с ней встретимся. Значение этой формулы столь велико, что мы назвали ее главной формулой информатики. Если величина Л7" известна., a i неизвестно, то данная формула становится уравнением для определения i. В математике оно называется показательным уравнением. Пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о месте нахождения книги, нужно решить уравнение:

2;=16.

Количество информации (i), содержащееся в сообщении об одном из N равновероятных результатов некоторого событий, определяется из решения показательного уравнения: 21 — N.

Если значениеiV равно целой степени двойки (4, 8, 16, 32, 64 и т. д.), то показательное уравнение легко решить в уме, поскольку i будет целым числом. А чему, например, равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6? Можно догадаться, что решение уравнения

21 = 6

будет дробным числом, лежащим между 2 и 3, поскольку 2   = 4 < 6, а 23 = 8 > 6. А как точнее узнать это число?

Пока ваших математических знаний недостаточно для того, чтобы ре шить это уравнение. Вы научитесь этому в 11-м классе в курсе математи ки. А сейчас сообщим, что результатом решения уравнения для N = 6 бу дет значение i — 2,58496 бита с точностью до пяти знаков после запятой.

Система основных понятий

Вопросы и задания

1. Что такое неопределенность знания о результате какого-либо события? Приве
   дите примеры, когда неопределенность знания можно выразить количественно.
2. Как определяется единица измерения количества информации?
3. В каких случаях и по какой формуле можно вычислить количество информа
   ции, содержащейся в сообщении, используя содержательный подход?
4. Сколько битов информации несет сообщение о том, что из колоды в 32 карты
   достали «даму пик»?
5. Проводятся две лотереи: «4 из 32» и «5 из 64». Сообщение о результатах какой
   из лотерей несет больше информации и во сколько раз?