Вероятностный подход к определению информации

Вероятностный подход к определению количества информации «Формула Шеннона. Применение ЭТ Excel для решения задач на нахождение количества информации»

Материал разработан на 2 спаренных урока.

Цели уроков: Сформировать у учащихся понимание вероятности, равновероятных событий и событий с различными вероятностями. Научить находить количество информации, используя вероятностный подход. Создать в Excel информационную модель для автоматизации процесса вычислений в задачах на нахождение количества информации, используя формулу Шеннона.

Требования к знаниям и умениям:

Учащиеся должны знать:

  • какие события являются равновероятными, какие неравновероятными;
  • как найти вероятность события;
  • как найти количество информации в сообщении, что произошло одно из неравновероятных событий;
  • как найти количество информации в сообщении, когда возможные события имеют различные вероятности реализации.

Учащиеся должны уметь:

  • различать равновероятные и неравновероятные события;
  • находить количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий;
  • создать информационную модель для автоматизации процесса решения задач на нахождение количества информации с помощью прикладных программ.

Оборудование: доска, компьютер, мультимедийный проектор, карточки с заданиями, карточки-памятки, справочный материал.

Урок 1. Вероятностный подход к определению количества информации. Формула Шеннона

Ход урока

I. Организационный момент.

II. Проверка домашнего задания.

III. Постановка цели урока.

Задача: Какое сообщение содержит большее количество информации?

Первые три варианта учащиеся решают без затруднения. События равновероятны, поэтому можно применить для решения формулу Хартли. Но третье задание вызывает затруднение. Делаются различные предположения. Роль учителя: подвести учащихся к осмыслению, что в четвертом варианте мы сталкиваемся с ситуацией, когда события неравновероятны. Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или «правило бутерброда».

Сегодня на уроке мы должны ответить на вопрос: как вычислить количество информации в сообщении о неравновероятном событии.

IV. Объяснение нового материала.

Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу: I=log2(1/p)

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Вернемся к нашей задаче.

Пусть К1 – это количество пирожков с повидлом, К1=24

К2 – количество пирожков с капустой, К2=8

N – общее количество пирожков, N = К1 +К2=24+8=32

Вычислим вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено.

Вероятность выбора пирожка с повидлом: р1=24/32=3/4=0,75.

Вероятность выбора пирожка с капустой: р2=8/32=1/4=0,25.

Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.

Пояснение: если учащиеся не умеют вычислять значение логарифмической функции, то можно использовать при решении задач этого урока следующие приемы:

  • Ответы давать примерные, задавая ученикам следующий вопрос: «В какую степень необходимо возвести число 2, чтобы получилось число, стоящее под знаком логарифма?».
  • Применить таблицу из задачника-практикума под редакцией Семакина И.Г. и др.

Приложение 1. «Количество информации в сообщении об одном из N равновероятных событий: I= log2N». (Приложение вы можете получить у автора статьи.)

При сравнении результатов вычислений получается следующая ситуация: вероятность выбора пирожка с повидлом больше, чем с капустой, а информации при этом получилось меньше. Это не случайность, а закономерность.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Вернемся к нашей задаче с пирожками. Мы еще не ответили на вопрос: сколько получим информации при выборе пирожка любого вида?

Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.

Если I-количество информации, N-количество возможных событий, рi — вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:

можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере:

I = — (р1∙log2p1 + р2∙log2p2)= — (0,25∙ log20,25+0,75∙ log20,75)≈-(0,25∙(-2)+0,75∙(-0,42))=0,815 бит

Теперь мы с вами можем ответить на вопрос задачи, которая была поставлена в начале урока. Какое сообщение содержит большее количество информации?

Ответ: в 1 сообщении.

Обратите внимание на 3 и 4 задачу. Сравните количество информации.

Мы видим, что количество информации достигает максимального значения, если события равновероятны.

Интересно, что рассматриваемые нами формулы классической теории информации первоначально были разработаны для технических систем связи, призванных служить обмену информацией между людьми. Работа этих систем определяется законами физики т.е. законами материального мира. Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи. Поэтому вполне естественно, что первые шаги в этом направлении сделали сотрудники Bell Telephon Companie – X. Найквист, Р. Хартли и К. Шеннон. Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтропии источников сообщений, для улучшения методов кодирования и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оптимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном “математической теорией связи”, и явилась основой классической теории информации. (Дополнительный материал можно найти на сайте http://polbu.ru/korogodin_information или прочитав книгу В.И. Корогодин, В.Л. Корогодина. Информация как основа жизни. Формула Шеннона.)

Можно ли применить формулу К. Шеннона для равновероятных событий?

Если p1=p2=..=pn=1/N, тогда формула принимает вид:

Мы видим, что формула Хартли является частным случаем формулы Шеннона.

V. Закрепление изучаемого материала.

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти.

Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?

Дано: Кк=4;N=32

Найти: Iк, I

Решение:

Ответ: Iк=3 бит; I=0,547 бит

VI. Подведение итогов урока.

Вопросы:

  • Объясните на конкретных примерах отличие равновероятного события от неравновероятного?
  • С помощью какой формулы вычисляется вероятность события.
  • Объясните качественную связь между вероятностью события и количеством информации в сообщении об этом событии.
  • В каких случаях применяется формула Шеннона для измерения количества информации.
  • В каком случае количество информации о событии достигает максимального значения.

Урок 2. Применение ЭТ Excel для решения задач на нахождение количества информации

Пояснение: При решении задач на нахождение количества информации учащиеся не вычисляли значение логарифма, т.к. не знакомы с логарифмической функцией. Урок строился таким образом: сначала решались однотипные задачи с составлением формул, затем разрабатывалась табличная модель в Excel, где учащиеся делали вычисления. В конце урока озвучивались ответы к задачам.

Ход урока

I. Постановка целей урока

На этом уроке мы будем решать задачи на нахождение количества информации в сообщении о неравновероятных событиях и автоматизируем процесс вычисления задач данного типа.

Для решения задач на нахождение вероятности и количества информации используем формулы, которые вывели на прошлом уроке:

рi=Ki/N; Ii=log2(1/pi);

II. Решение задач.

Ученикам дается список задач, которые они должны решить.

Задачи решаются только с выводами формул, без вычислений.

Задача №1

В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Какое количество информации несет сообщение о ловле рыбы каждого вида. Сколько информации мы получим, когда поймаем какую-нибудь рыбу?

Дано: Ко=12500; Кп=25000; Кк= Кщ=6250

Найти: Iо, Iп, Iк, Iщ, I

Решение:

III. Объяснение нового материала.

Задается вопрос ученикам:

1. Какие трудности возникают при решении задач данного типа? (Отв.: Вычисление логарифмов).

2. Нельзя ли автоматизировать процесс решения данных задач? (Отв.: можно, т.к. алгоритм вычислений в этих задачах один и тот же).

3. Какие программы используются для автоматизации вычислительного процесса? (Отв.: ЭТ Excel).

Давайте попробуем сделать табличную модель для вычисления задач данного типа.

Нам необходимо решить вопрос, что мы будем вычислять в таблице. Если вы внимательно присмотритесь к задачам, то увидите, что в одних задачах надо вычислить только вероятность событий, в других количество информации о происходящих событиях или вообще количество информации о событии.

Мы сделаем универсальную таблицу, где достаточно занести данные задачи, а вычисление результатов будет происходить автоматически.

Структура таблицы обсуждается с учениками. Роль учителя обобщить ответы учащихся.

При составлении таблицы мы должны учитывать:

  1. Ввод данных (что дано в условии).
  2. Подсчет общего количества числа возможных исходов (формула N=K1+K2+…+Ki).
  3. Подсчет вероятности каждого события (формула pi= Кi/N).
  4. Подсчет количества информации о каждом происходящем событии (формула Ii= log2(1/pi)).
  5. Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Прежде чем демонстрировать заполнение таблицы, учитель повторяет правила ввода формул, функций, операцию копирования (домашнее задание к этому уроку).

При заполнении таблицы показывает как вводить логарифмическую функцию. Для экономии времени учитель демонстрирует уже готовую таблицу, а ученикам раздает карточки-памятки по заполнению таблицы.

Рассмотрим заполнение таблицы на примере задачи №1.

Рис. 1. Режим отображения формул

Рис. 2. Отображение результатов вычислений

Результаты вычислений занести в тетрадь.

Если в решаемых задачах количество событий больше или меньше, то можно добавить или удалить строчки в таблице.

VI. Практическая работа.

1. Сделать табличную модель для вычисления количества информации.

2. Используя табличную модель, сделать вычисления к задаче №2 (рис.3), результат вычисления занести в тетрадь.

Рис. 3

3. Используя таблицу-шаблон, решить задачи №3,4 (рис.4, рис.5), решение оформить в тетради.

Рис. 4

Рис. 5

4. Сохранить таблицы в своих папках под именем «инф_вероятность».
Задача №2

В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?

Задача№3

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

Задача№4

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

VII. Подведение итогов урока.

Учитель оценивает работу каждого ученика. Оценивается не только практическая работа на компьютере, но и оформление решения задачи в тетради.

VIII. Домашняя работа.

1. Параграф учебника «Формула Шеннона», компьютерный практикум после параграфа.

2. Доказать, что формула Хартли – частный случай формулы Шеннона.

Литература:

Вероятностный подход к определению количества информации

Потапенко О.П.

МБОУ СШ №40

г. Нижневартовск

Информатика и ИКТ / 10 класс

Тема: Вероятностный подход к определению количества информации

Цели:

  • ввести понятие «количество информации»;

  • сформировать у учащихся понимание вероятности, равновероятных событий, не равновероятных событий;

  • научить находить количество информации.

Оборудование:

  • Интерактивная доска;

  • Учебники и тетради.

Требования к знаниям и умениям:

Учащиеся должны знать:

  • какие события являются равновероятными, какие — не равновероятными;

  • как найти вероятность события;

  • как найти количество информации в сообщении, что произошло одно равновероятных событий или одно из не равновероятных событий.

Учащиеся должны уметь:

  • различать равновероятные и не равновероятные события;

  • находить количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий;

  • находить количество возможных вариантов того или иного события, если известно количество информации в сообщении о том, что событие произошло.

Программно-дидактическое обеспечение: таблицы.

Ход урока

I. Постановка целей урока

1. Вы можете передать другу килограмм конфет, получить у продавца 3 метра ткани, передать брату немного своего тепла. А как получить или передать некоторое количество информации?

2. «Орел» и «решка». В чем заключено больше информации? Игра «Угадай число». Как угадать число на наименьшее количество попыток?

II. Проверка домашнего задания

1. Попросите учеников, которые придумали свои коды, продемонстрировать их на доске.

2. Во время подготовки демонстрации творческого задания проверьте устно решение задач.

3. Задайте детям следующие вопросы?

Что такое код? Где и почему он используется?

Как в вычислительной технике кодируется информация? Почему именно так?

Что такое бит?

Сколько разных вариантов информации можно закодировать 7 битами?

Сколько нужно бит, чтобы закодировать 25 различных событий?

Основная часть:

III. Изложение нового материала

1. Введение понятия «количество информации»

Мы с вами говорили о том, что в основе нашего мира лежат три составляющее вещество, энергия и информация. А как много в мире вещества, энергии и информации.

Можно ли измерить количество вещества, и как именно? (Вещество можно взвесить (в килограммах, гаммах и т.д.) на весах, определить его длину (в сантиметрах, в метрах и т.д.) с помощью линейки; найти его объем, применив соответствующие измерения и т.д.)

Можно ли определить количество энергии? (Можно, например, найти количество тепловой энергии в Дж, электроэнергии в кВт/ч, и т.д.)

Можно ли измерить количество информации и как это сделать? (Полного и правильного ответа на этот вопрос учащиеся не дадут.)

Оказывается, информацию также можно измерять и находить ее количество.

Существуют два подхода к измерению информации. Один из них называется содержательный или вероятностный. Из названия подхода можно сделать вывод, что количество информации зависит от ее содержания.

Упражнение 1 (устно)

Определите количество информации в следующих сообщениях с позиций «много» или «мало». .

1. Столица России — Москва.

2. Сумма квадратов катетов равна квадрату гипотенузы.

3. Дифракцией света называется совокупность явлений, которые обусловлены волновой природой света и наблюдаются при его распростри нении в среде с резко выраженной оптической неоднородностью.

4. Эйфелева башня имеет высоту 300 метров и вес 9000 тонн.

Пояснение: попросите учеников пояснять ответы, задавая им наводящие вопросы о том, содержит ли сообщение новые и понятные сведения.

Сообщение несет больше информации, если в нем содержатся новые и понятные сведения. Такое сообщение называется информативным. Необходимо различать понятия информация и информативность.

Содержит ли информацию учебник физики за 10 класс? (Да).

Для кого он будет информативным — для ученика 10 класса или 1 класса? (Для ученика 10 класса он будет информативным, так как в нем содержится новая и понятная ему информация, а для ученика 1 класса оно информативной не будет, так как информация для него непонятна).

Вывод: количество информации зависит от информативности. Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля.

Но информативность сообщения сама по себе не дает точного определения количества информации. По информативности можно судить только о том, много информации или мало.

2. Введение понятия вероятностного подхода в измерении информации.

Рассмотрим понятие информативности с другой стороны. Если некоторое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.

Рассмотрим пример.

Пояснение: пример можно продемонстрировать практически.

Мы бросаем монету и пытаемся угадать, какой стороной она упадет поверхность. Возможен один результат из двух: монета окажется в положении «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т.е. ни одно из них не имеет преимущества перед другим.

Перед броском монеты мы точно не знает, как она упадет. Это событие предсказать невозможно, т.е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т.к. мы получаем зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т.к. из двух равновероятных событий произошло одно.

Если мы кидаем шестигранный кубик, то мы также не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно, получить один результат из шести равновероятных. Неопределенность знаний равна шести, т.к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз.

Упражнение 2 (устно)

Еще один пример. На экзамен приготовлено 30 билетов.

Чему равно количество событий, которые могут произойти при вытягивании билета? (30)

Равновероятны эти события или нет? (Равновероятны.)

Чему равна неопределенность знаний ученика, перед тем как он вытянет билет? (30)

Во сколько раз уменьшится неопределенность знания, после того как ученик билет вытянул? (В 30 раз.)

Зависит ли этот показатель от номера вытянутого билета? (Нет, т.к. события равновероятны.)

Приведите свои примеры равновероятных событий с указанием величины неопределенности знаний.

Из всех рассмотренных примеров можно сделать следующий вывод:

Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.

А каким может быть самое маленькое количество информации? Вернемся к примеру с монетой. Предположим, что у монеты обе стороны «орел».

Существует ли неопределенность знаний пред броском в этом случае? Почему? (Нет, так как мы заранее знаем, что выпадет в любом случае «орел».)

Получите вы новую информацию после броска? (Нет, так как ответ мы уже знали заранее.)

Будет ли информативным сообщение о результате броска? (Нет, так оно не принесло новых и полезных знаний.)

Чему равно количество информации в этом случае? (Нулю, т.к. оно неинформативно.)

Вывод: мы не получаем информации в ситуации, когда происходит одно событие из одного возможного. Количество информации в этом случае равно нулю. Для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.

С понятием «бит» вы познакомились на прошлом уроке. Вспомните его.

Итак, с помощью битов информация кодируется. С точки зрения кодирования с помощью 1 бита можно закодировать два сообщения, события или два варианта некоторой информации. С точки зрения вероятности 1 бит — это такое количество информации, которое позволяет выбрать одно событие из двух равновероятных. Согласитесь, что эти два определения не противоречат друг другу, а совершено одинаковы, но просто рассмотрены с разных точек зрения.

Еще одно определение 1 бита:

1 бит — это количество информации, уменьшающее неопределенность знанию в два раза.

Игра «Угадай число».

Пояснение: попросите кого-нибудь из учеников загадать число из предложенного вами интервала и отгадайте его, а затем расскажите, как вы это сделали. Интервал необходимо выбрать такой, чтобы он являлся степенью числа 2. Это условие упрощает объяснение материала, так как в этом случае правильная стратегия строится на получении максимального количества информации. Детям это пояснять пока не надо. В случае возникновения вопросов по поводу выбора интервала пояснить, что это связано с правильной стратегией игры.

Стратегия поиска: Необходимо на каждом шаге в два раза уменьшать неопределенность знания, т.е. задавать вопросы, делящие числовой интервал на два. Тогда отвел «Да» или «Нет» будет содержать 1 бит информации. Подсчитав общее количество битов (ответов на вопросы), найдем полное количество информации, необходимое для отгадывания числа.

Упражнение 3 (устно)

Загадайте число (например, 8), сообщите детям интервал (например, от 1 32) и попросите их угадать число, воспользовавшись выше приведенной стратегией поиска. При этом объявите детям, что вы знаете, какое количество бит информации получится (5 бит), и запишите это количество где-нибудь на листе бумаги, чтобы потом показать детям.

Пояснение: ваш ответ совпадет с ответом учеников, но вы быстрее его получите, т.к. подсчитаете ответ по формуле.

Почему я быстрее вас получила ответ? (Наверно есть какая-то формула, по которой можно быстро подсчитать количество информации.)

Действительно, существует формула, которая связывает между собой количество возможных событий и количество информации. N = 2I; где N — количество возможных вариантов, I — количество информации.

Пояснение: попросите детей сравнить эту формулу с формулой, которая была дана на прошлом уроке и по которой можно определить, сколько информации можно закодировать с помощью заданного количества бит. Поясните, что формулы одинаковые, только применяются с разных точек зрения — кодирования и вероятности.

Если из этой формулы выразить количество информации, то получится I = log2N. Как пользоваться этими формулами для вычислений:

если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2I достаточно легко. Вернемся к примеру: N = 32; — I = 5, т.к. 32 = 25;

если же количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число вещественное, то необходимо воспользоваться калькулятором или следующей таблицей.

Например: Какое количество информации можно получить при угадывании числа из интервала от 1 до 11? В этом примере N=11. Чтобы найти I (количество информации), необходимо воспользоваться таблицей. По таблице I = 3,45943 бит.

Упражнение 4 (устно)

1. Какое количество информации будет получено при отгадывании числа из интервала: -от 1 до64 -от 1 до 61 -от 1 до 20.

2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле: -3×3 -4×4.

3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации.

3. Неравновероятные события

На самом деле рассмотренная нами формула является частным случаем, так как применяется только к равновероятным событиям. В жизни же мы сталкиваемся не только с равновероятными событиями, но и событиями, которые имеют разную вероятность реализации.

Например: 1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятно летом, а сообщение о снеге — зимой.

2. Если вы — лучший ученик в классе, то вероятность сообщения о том, что за контрольную работу вы получили 5, больше, чем вероятность получения двойки.

3. Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте утку больше, чем вероятность подстрелить гуся.

4. Если в мешке лежат 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.

5. Если одна из сторон кубика будет более тяжелой, то вероятность выпадения этой стороны будет меньше, чем других сторон.

Упражнение 5 (устно)

Приведите примеры событий с разной вероятностью, несколько примеров запишите в тетрадь.

Как вычислить количество информации в сообщении о таком событии? Для этого необходимо использовать следующую формулу. I = log2(1/p), где I — это количество информации, р — вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р = К / N, где К — величина, показывающая, сколько раз произошло интересующее нас событие, N — общее число возможных исходов какого-то процесса.

Завершающая часть:

IV. Закрепление изученного

№1

Пояснение: так как дети еще не умеют вычислять значения логарифмической функции, то можно использовать при решении задач этого урока следующие приемы:

1. Дать им готовые ответы.

2. Ответы давать примерные, задавая ученикам следующий вопрос: «В какую степень необходимо возвести число 2, чтобы получилось число, стоящее под знаком логарифма?»

3. Не стоит на этом уроке учить работать с приложением Калькулятор, так как этот урок не является уроком решения задач.

В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.

Решение:

1. Найдем вероятность того, что достали белый шар:

Рб = 15 / 20 = 0,75;

2. Найдем вероятность того, что достали красный шар:

Рк = 5 / 20 = 0,25.

3. Найдем количество информации в сообщении о вытаскивании белого шара:

Iб = log (1/Рб) = log( 1/0,75) = log2l,3 =1,15470 бит.

4. Найдем количество информации в сообщении о вытаскивании красного шара: Iк = log (1/Рк) = log(l/0,25) = log24 = 2 бит.

Ответ: количество информации в сообщении о том, что достали белый шар, равно 1,1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит.

При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность вытаскивания красного шара, а информации при этом получилось меньше. Это не случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.

№2

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

Являются ли события равновероятными? Почему? (Нет, т.к. количество кубиков разное).

Какую формулу будем использовать для решения задачи? (I=log2 (1/N).

Решение:

1. Всего кубиков в коробке N = 10 + 8 + 5 + 12 = 35.

2. Найдем вероятности: Рк = 10 / 35=0,29,

Рз = 8/35=0,22,

Рс= 12/35=0,34,

Рж= 5/35=0,14.

3.Найдем количество информации: Iк= log2(l/0,29) = log23,4 = 1,85695 бит,

⇐ ПредыдущаяСтр 10 из 50

Количественный подход — наиболее разработанные области теории информации. Согласно этому определению совокупность 100 букв — фраза из 100 букв из газеты, пьесы Шекспира или теоремы Эйнштейна — имеет в точности одинаковое количество информации.

Такое определение количества информации является полезным и практичным. Оно соответствует задаче инженера связи, который должен передать всю информацию, содержащуюся в поданной телеграмме, вне зависимости от ценности этой информации для адресата. Передающей системе необходимо передать нужное количество информации за определенное время.

Оценка количества информации основывается на законах теории вероятностей, точнее, определяется через вероятности событий. Сообщение о происшествии, в которой только два одинаково возможных результатах, содержит одну единицу информации, называемую битом. Выбор единицы информации не случаен. Он связан с распространенным двоичным способом ее кодирования при передаче и обработке.Известно, что количество информации зависит от вероятностей тех или иных исхода событий. Если событие, как говорят ученые, имеет два «равновероятных» результаты, это означает, что вероятность каждого исхода равна 1/2. Такая вероятность выпадения «орла» или «решки» при бросании монеты. Если событие имеет три «равновероятных» результаты, то вероятность каждого равна 1/3. Следует отметить, что сумма вероятностей всех исхода всегда равна единице: ведь какой-нибудь из всех возможных исхода обязательно наступит.

Событие может иметь и «неравновероятные исходы». Так, при футбольном матче между сильной и слабой командами вероятность победы сильной команды велика — например, 4/5. Вероятность ничьей намного меньше, например 3/20. Вероятность же поражения совсем мала. Количество информации — это мера уменьшения неопределенности некоторой ситуации. Различные количества информации передаются по каналам связи, и количество проходящей информации не может быть больше его пропускной способности. Ее определяют по количеству информации в единицу времени.

Date: 2016-07-25; view: 180; Нарушение авторских прав

Понравилась страница? Лайкни для друзей:

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *