Карта сайта Обратная связь
ИТ-консалтинг Имитационное моделирование Компьютерные технологии Програмное обеспечение Антивирусные программы Защита информации История развития Internet
 
 



Измерение с ообщ ений и информации

29-10-2017

n

p=N! / Õ mi! .

i=1

Информация в одном таком сообщении равна

n

I=log2 p=ln p / ln 2 = ln ( N! / Õ mi!)/ln 2 .

i=1

Используя формулу Стирлинга (достаточно точна, например, при N>100) - N!» (N/e)N , а точнее, её следствие - ln N! » N(ln N — 1) получаем (в битах):

n n

I » (N ln N — å mi ln mi ) / ln 2=— (N / ln 2) å pi ln pi .

i=1 i=1

Пример. Пусть рассматривается алфавит из двух символов русского языка - “к” и “а”. Относительные частоты встречаемости этих букв в частотном словаре русского языка равны соответственно p1=0.028, p2=0.062. Возьмем произвольное слово p длины N из k букв “к” и m (k+m=N) букв “а” над этим алфавитом. Число всех таких возможных слов, как это следует из комбинаторики, равно n=N!/(k! m!). Оценим количество информации в таком слове: I=log2 n=ln n / ln2=log2e [ln N! — ln k! — ln m!]. Воспользовавшись следствием приведённой выше формулой Стирлинга получаем оценку количества информации (в битах) на 1 символ любого слова:

I1=I/N» (log2e/N)[(k+m)( ln N —1) — k(ln k—1) — m(ln m —1)]=

=(log2e/N)[k ln(N/k) — m ln(N/m)]=

=— log2e[(k/N) ln(k/N) + (m/N) ln(m/N)]£

£ —log2e [p1 ln p1+p2 ln p2]=—log2e[0.028 ln0.028+0.062 ln0.062]» 0.235.

Пример. В сообщении 4 буквы “a”, 2 буквы “б”, 1 буква “и”, 6 букв “р”. Определим количество информации в одном таком (из всех возможных) сообщений. Число N различных возможных сообщений длиной в 13 букв будет равно величине: N=13!/(4!´ 2!´ 1!´ 6!)=180180. Количество информации I в одном сообщении будет равно величине: I=log2(N)=log2180180» 17.5 (бит).


Интересно:
 Устройства аналоговые и цифровые
 Понятие о товарной информации
 Информация и информатизация
 Требования к товарной информации
 Биржевая и финансовая информация

Добавить комментарий:

Введите ваше имя:

Комментарий:


Новости:•  Французы соединили мультиконтактный дисплей с 3D
Экран-стол, который демонстрирует трехмерное изображение объектов и позволяет взаимодействовать с ними, создали Жан-Баптист де ла Ривьер (Jean-Baptiste de la Rivière) и его коллеги из компании Immersion.

•  O чем опасно писать в Интернете
Скандал с блогером Олегом Шинкаренко, с которым СБУ провела воспитательную беседу, заставил задуматься — что можно писать в блоге.

•  В России решат судьбу связи 4G
Российская Государственная комиссия по радиочастотам (ГКРЧ) предложила выделить под сети четвертого поколения стандарта LTE частоты от 2,5 до 2,7 гигагерца. Указанный диапазон частот в настоящее время предоставлен под размещение сервисов цифрового телевидения формата MMDS. Частотный ресурс был выделен несколько лет назад региональным компаниям для запуска вещания, однако сейчас практически не используется ими.


Rambler's Top100