Карта сайта Обратная связь
ИТ-консалтинг Имитационное моделирование Компьютерные технологии Програмное обеспечение Антивирусные программы Защита информации История развития Internet
 
 



Измерение с ообщ ений и информации

28-10-2017

Если k- коэфф ициент Больцмана, известный в физике как k=1. 38´ 1 0-16 эрг/град, то выражение

n S = —k å pi ln pi i=1в термодинамике извес тно как этропия или мера хаоса, беспорядка в системе. Сравнивая выражения I и S видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о/в системе).

Нулевой энтропии соответствует максимальная информация. Основное соотношение межд у энтропией и информацией:

I+S(log2e)/k=const

или в дифференциальной форме

dI/dt= —((log2e)/k)dS/dt.

Основными положительными сторонами формулы Шеннона является её отвлечённость от семантических и качественных, индивидуальных свойств системы, а также то, что в отличие от формулы Хартли она учитывает различность, разновероятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основные отрицательные стороны формулы Шеннона: она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации.

Увеличение (уменьшение) меры Шеннона свидетельствует об уменьшении (увеличении) энтропии (организованности) системы. При этом энтропия может являться мерой дезорганизации систем от полного хаоса (S=Smax) и полной информационной неопределённости (I=Imin) до полного порядка (S=Smin) и полной информационной определённости (I=Imax) в системе.

Пример. Чем ближе движущийся объект к нам, тем полнее информация обрабатываемая нашими органами чувств, тем чётче и более структурирован (упорядочен) объект. Чем больше информации мы имеем о компьютерной технике, тем меньше психологический барьер перед ним (согласно основному соотношению между энтропией и информацией).

3. Термодинамическая мера. Информационно-термодинамический подход связывает величину энтропии системы с недостатком информации о её внутренней структуре (не восполняемым принципиально, а не нерегистрируемым). При этом число состояний определяет, по существу, степень неполноты наших сведений о системе.

Пусть дана термодинамическая система (процесс) S, а Н0, Н1 - термодинамические энтропии системы S в начальном (равновесном) и конечном состояниях термодинамического процесса, соответственно. Тогда термодинамическая мера информации (негэнтропия) определяется формулой:

Н(Н0,Н1)=Н0 — Н1.


Интересно:
 Криптографические методы
 Измерение с ообщ ений и информации
 Задачи обнаружения сигнала
 Криптосистема Эль-Гамаля
 Обработка информации

Добавить комментарий:

Введите ваше имя:

Комментарий:


Новости:•  Французы соединили мультиконтактный дисплей с 3D
Экран-стол, который демонстрирует трехмерное изображение объектов и позволяет взаимодействовать с ними, создали Жан-Баптист де ла Ривьер (Jean-Baptiste de la Rivière) и его коллеги из компании Immersion.

•  O чем опасно писать в Интернете
Скандал с блогером Олегом Шинкаренко, с которым СБУ провела воспитательную беседу, заставил задуматься — что можно писать в блоге.

•  В России решат судьбу связи 4G
Российская Государственная комиссия по радиочастотам (ГКРЧ) предложила выделить под сети четвертого поколения стандарта LTE частоты от 2,5 до 2,7 гигагерца. Указанный диапазон частот в настоящее время предоставлен под размещение сервисов цифрового телевидения формата MMDS. Частотный ресурс был выделен несколько лет назад региональным компаниям для запуска вещания, однако сейчас практически не используется ими.


Rambler's Top100