Программирование и компьютеры скачать лучшие рефераты, изложения, рефераты, сочинения

Количественная оценка информации

Категории рефератов: Рефераты >> Компьютеры >> Программирование и компьютеры скачать реферат
КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ



Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении,
. (1)
Неопределенность, приходящаяся на символ первичного (кодируемого) алфавита, составленного из равновероятностных и взаимонезависимых символов,
. (2)
Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии:
а) в двоичных единицах



б) в десятичных единицах



где ;
в) в натуральных единицах



где
Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений к на среднюю энтропию Н, приходящуюся на одно сообщение:
(3)
Для случаев равновероятностных и взаимонензависимых символов первичного алфавита количество информации в к сообщениях алфавита m равно



а количество информации в сообщении, составленном из к неравновероятностных символов,
(5)
Для неравновероятностных алфавитов энтропия на символ алфавита
(4)



При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, независимо от того, являются ли они безусловными , условными или вероятностями совместных событий.
Количество информации определяется исключительно характеристиками первичного алфавита, объем характеристиками вторичного алфавита. Объем информации
(6)
где lср средняя длина кодовых слов вторичного алфавита. Для равномерных кодов (все комбинации кода содержат одинаковое количество разрядов)



где n длина кода (число элементарных посылок в коде). Согласно (3), объем равен количеству информации, если lср=Н, т.е. в случае максимальной информационной нагрузки на символ сообщения. Во всех остальных случаях .
Например, если кодировать в коде Бодо некоторые равновероятный алфавит, состоящий из 32 символов, то



Если закодировать в коде Бодо русский 32-буквенный алфавит, то без учета корреляции между буквами количество информации



т.е. если в коде существует избыточность и , то объем в битах всегда больше количества информации в тех же единицах.



Тема 2. Условная энтропия и энтропия объединения



Понятие условной энтропии в теории информации используется при определении взаимозависимости между символами кодируемого алфавита, для определения потерь при передаче информации по каналам связи, при вычислении энтропии объединения.
Во всех случаях при вычислении условной энтропии в том или ином виде используются условные вероятности.
Если при передаче n сообщений символ А появился m раз, символ В появился l раз, а символ А вместе с символом В к раз, то вероятность появления символа А ; вероятность появления символа В ; вероятность совместного появления символов А и В ; условная вероятность появления символа А относительно символа В и условная вероятность появления символа В относительно символа А
(7)
Если известна условная вероятность, то можно легко определить и вероятность совместного появления символов А и В, используя выражения (7)
(8)
От классического выражения (4) формула условной энтропии отличается тем, что в ней вероятности условные:
(9)
(10)
где индекс i выбран для характеристики произвольного состояния источника сообщения А, индекс j выбран для характеристики произвольного состояния адресата В.
Различают понятия частной и общей условной энтропии. Выражение (9) и (10) представляют собой частные условные энтропии.
Общая условная энтропия сообщения В относительно сообщения А характеризует количество информации, содержащейся в любом символе алфавита, и определяется усреднением по всем символам, т. е...
Размер: 62 кб
Просмотров: 3779
Закачек: 638
скачать реферат

Комментарии к реферату Количественная оценка информации

Где же формулы...((
Отзыв: нормально
Автор: Алексей 19 декабря

Добавить комментарий

Ваше имя
Ваш комментарий
Оценка плохо   нормально   хорошо
Код на картинке

Лучшие рефераты Программирование и компьютеры, Компьютеры, Рефераты

размер реферата: 4 кб  |  просмотров: 3499  |  закачек: 2115  |  рейтинг: 1  |  читать полностью  |  скачать работу
 
размер реферата: 18 кб  |  просмотров: 1669  |  закачек: 595  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 29 кб  |  просмотров: 2550  |  закачек: 604  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 10 кб  |  просмотров: 1347  |  закачек: 579  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 66 кб  |  просмотров: 2565  |  закачек: 564  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 15 кб  |  просмотров: 1601  |  закачек: 539  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 49 кб  |  просмотров: 2933  |  закачек: 578  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 10 кб  |  просмотров: 1236  |  закачек: 538  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 7 кб  |  просмотров: 1369  |  закачек: 542  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 42 кб  |  просмотров: 2695  |  закачек: 597  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 62 кб  |  просмотров: 3780  |  закачек: 638  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 35 кб  |  просмотров: 1569  |  закачек: 526  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 17 кб  |  просмотров: 1641  |  закачек: 516  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 31 кб  |  просмотров: 2025  |  закачек: 513  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 49 кб  |  просмотров: 2857  |  закачек: 495  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 69 кб  |  просмотров: 3063  |  закачек: 522  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 39 кб  |  просмотров: 2332  |  закачек: 507  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 8 кб  |  просмотров: 1603  |  закачек: 563  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 86 кб  |  просмотров: 3645  |  закачек: 582  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
размер реферата: 19 кб  |  просмотров: 1693  |  закачек: 466  |  рейтинг: 0  |  читать полностью  |  скачать работу
 
1 2 3 4 5 6 7 8 9 10 >>
Rambler's Top100