15. Непрерывный источник сообщений. Производительность и избыточность непрерывного источника.

нформационные характеристики источников непрерывных сообщений (непрерывных источников сообщений)

15. Непрерывный источник сообщений. Производительность и избыточность непрерывного источника.

ель работы

1.1 Изучение информационных характеристик источников сообщений.

1.2 Приобретение навыков проведения расчетов информационных характеристик дискретных и непрерывных источников сообщений.

лючевые положения

нформационные характеристики источников дискретных сообщений (дискретных источников сообщений).

Источник дискретных сообщений вырабатывает сообщения, состоящие из отдельных знаков, число которых конечно. Под знаком понимают символы, буквы, слова, отдельные фразы и т.п.

Объем алфавита источника МАколичество различных знаков, используемых источником для построения сообщений.

Количество информации I(ak), дв. ед. (или бит), в знаке (сообщении) ak, вероятность появления которого P(ak), вычисляется

I(ak) = – log 2P(ak). (1)

Энтропия H(A)источника сообщений A – это среднее количество информации в одном знаке. Если знаки сообщений независимы, то энтропия вычисляется как математическое ожидание

H(A) = – . (2)

Энтропия, как и информация, всегда неотрицательная величина и достигает максимального значения

Hmax(А) = log2 MА,(3)

если знаки независимые и равновероятные.

Избыточность источника сообщений – это свойство источника выдавать информацию бóльшим числом знаков, нежели можно было бы. Наличие избыточности источника сообщений приводит к уменьшению его энтропии.

Коэффициент избыточности источника сообщений характеризует относительное уменьшение энтропии источника по сравнению с ее максимальным значением

Кизб = .(4)

Производительность источника сообщений, Rи, бит/с, – это среднее количество информации, выдаваемой источником за 1 с

Rи = Н(А)ср, (5)

где Тср – средняя длительность одного знака источника.

нформационные характеристики источников непрерывных сообщений (непрерывных источников сообщений).

Дифференциальная энтропия h(A) источника непрерывных сообщений A вычисляется по формуле

h(A) = – , (6)

где p(a) – плотность вероятности сообщения a(t).

Дифференциальная энтропия достигает максимального значения, если распределение вероятностей сообщения гауссовское

hmax(A) = log2 , (7)

где σ2 – дисперсия сообщения a(t).

Эпсилон-энтропия Hε(A), дв.ед./отсчет, – это минимальное среднее количество информации в одном отсчете сообщения при заданной допустимой погрешности его приближенного представления ,

где ;

– приближенное представление сообщения.

По определению эпсилон-энтропия определяется

Hε(A) = h(A) – max h(ε), (8)

где h(ε) – дифференциальная энтропия погрешности ε(t).

Максимальное значение h(ε) имеет место при гауссовском распределении ε(t), и расчетная формула для эпсилон-энтропии имеет вид

, (9)

где – дисперсия погрешности ε(t).

Коэффициент избыточности источника непрерывных сообщений вычисляется по формуле (4) при подстановке соответствующих значений дифференциальных энтропий h(A) и hmax(A).

Эпсилон-производительность Rи e источника непрерывных сообщений вычисляется по формуле (5), в которую необходимо подставить значение эпсилон-энтропии Hε(A), а Тср принять равным интервалу дискретизации по Котельникову.

3 Ключевые вопросы

3.1 Дать определение понятия информация.

3.2 Как рассчитать количество информации в сообщении?

3.3 Дать определения информационных характеристик источников сообщений: энтропии, дифференциальной энтропии, эпсилон-энтропии, производительности источника, избыточности источника.

3.4 Какие параметры источника дискретных сообщений необходимо знать, чтобы вычислить его энтропию, избыточность, производительность?

3.5 Какие параметры источника непрерывных сообщений необходимо знать, чтобы вычислить его дифференциальную энтропию, эпсилон-энтропию, производительность, избыточность?

4 Домашнее задание

4.1 Повторить основные положения раздела «Информационные характеристики источников сообщений» по конспекту лекций и учебникам [1, лекции 1, 4; 2, разд. 8.1, 8.2, 8.7; 3, разд. 18.1].

4.2 Вычислить количество информации I, содержащейся в Ваших инициалах (три конкретные буквы) и сравнить его со значением 15 бит (количество информации в трех знаках источника независимых равновероятных знаков с объемом алфавита МА = 32). Вероятности букв приведены в приложении А. Если I отличается от 15 бит, то пояснить причину отличия.

4.3 Подготовиться к обсуждению по ключевым вопросам.

орядок проведения занятия

Это расчетная лабораторная работа и проводится в таком порядке.

1 Обсуждение ключевых положений и методики расчетов информационных характеристик источников сообщений. Решение типовых примеров, рекомендованных к занятию (пункт 6) или подобранных преподавателем (примерно 50 мин.).

2 Самостоятельная работа студентов (СРС) по индивидуальным билетам (примерно 30 мин.).

Указания. 1. Для вычисления двоичных логарифмов используют соотношения перехода от натуральных и десятичных логарифмов:

log2 z = ln z/ln 2 »1,443 ln z; log2 z = lg z/lg 2 » 3,32 lg z.

2. Сообщение непрерывного источника a(t) преобразуется в аналоговый сигнал b(t) без потери информации, поэтому расчеты информационных характеристик источника проводят для сигнала b(t).

иповые примеры

Пример 1. Найти количество информации в слове украинского текста из N = 8 букв. Для расчетов принять, что буквы равновероятные и независимые, объем алфавита МА = 32.

Ответ: І(слово) = 40 дв. ед.

Пример 2. Вычислить коэффициент избыточности источника двоичных сообщений, если вероятность одного из знаков P(а1) = 0,1.

Ответ: Кизб = 0,53.

Пример 3. Вычислить производительность источника сообщений, который использует три независимых знака с вероятностями: Р(а1) = 0,10; Р(а2) = 0,25; Р(а3) = ? Длительность первого знака 0,5 мс, второго и третьего по 1 мс.

Ответ: Н(А) = 1300 дв. ед./с.

Пример 4. Рассчитать информационные характеристики источника непрерывных сообщений: эпсилон-энтропию Нe(В), коэффициент избыточности Кизб, эпсилон-производительность Rи e.

Исходные данные: аналоговый сигнал b(t) характеризуется гауссовской плотностью вероятности мгновенных значений р(b) и максимальной частотой спектра Fmax = 500 Гц; отношение средней мощности сигнала к средней мощности погрешности представления r = 40 дБ.

Ответ: эпсилон-энтропия Нe(В) = 6,64 дв.ед./отсчет, коэффициент избыточности Кизб = 0, эпсилон-производительность Rи e = 6640 дв.ед./с.

Литература

1.Дирда В.Ю., Іващенко П.В. Теорія електричного зв’язку. Модуль 2. Передавання інформації в телекомунікаційних системах / Навчальний посібник – Одеса: ОНАЗ ім. О.С. Попова, 2010.

2.Стеклов В.К.,Беркман Л.Н. Теорія електричного зв’язку: Підручник для студентів ВУЗів. За ред. В.К. Стеклова – К.: Техніка, 2006.

3. Панфілов І. П., Дирда В. Ю., Капацін А. В. Теорія електричного зв'язку: Підручник для студентів вузів 1-го й 2-го рівнів акредитації. — К.: Техніка, 1998.

Приложение А

Справочные данные для расчетов информационных характеристик

Таблица А.1 – Распределение вероятностей букв в украинских текстах

Буква Вероятность Буква Вероятность Буква Вероятность Буква Вероятность
Пробел 0,122 Р 0,040 З 0,018 Ж 0,007
О 0,090 С 0,034 Й 0,017 Ц 0,006
А 0,074 Л 0,034 Б 0,016 Ю 0,006
И 0,059 К 0,032 Я 0,015 Ї 0,006
І 0,055 У 0,032 Г 0,013 Є 0,003
Н 0,053 Д 0,026 Ч 0,012 Ф 0,002
В 0,047 П 0,026 Ш 0,010
Т 0,044 М 0,023 Х 0,008
Е 0,041 Ь 0,021 Щ 0,008

Таблица А.2 – Распределение вероятностей букв в русских текстах

Буква Вероятность Буква Вероятность Буква Вероятность Буква Вероятность
Пробел 0,175 Р 0,040 Я 0,018 Х 0,009
О 0,089 В 0,038 Ы 0,016 Ж 0,007
Е, Ё 0,072 Л 0,035 З 0,016 Ю 0,006
А 0,062 К 0,028 Ь, Ъ 0,014 Ш 0,006
И 0,062 М 0,026 Б 0,014 Ц 0,004
Т 0,053 Д 0,025 Г 0,013 Щ 0,003
Н 0,053 П 0,023 Ч 0,012 Э 0,003
С 0,045 У 0,021 Й 0,010 Ф 0,002

Таблица А.3 – Распределение вероятностей букв в английских текстах

Буква Вероятность Буква Вероятность Буква Вероятность Буква Вероятность
Пропуск 0,198 R 0,054 U 0,022 V 0,008
E 0,105 S 0,052 M 0,021 K 0,003
T 0,072 H 0,047 P 0,017 X 0,002
O 0,065 D 0,035 Y 0,012 J 0,001
A 0,063 L 0,029 W 0,012 Q 0,001
N 0,059 C 0,023 G 0,011 Z 0,001
I 0,055 F 0,022 B 0.010

Таблица А.4 – Расчетные формулы для дифференциальной энтропии

Дата добавления: 2017-02-11; просмотров: 365 | Нарушение авторских прав | Изречения для студентов

Источник: https://lektsii.org/14-49139.html

Информационные характеристики источников сообщений

15. Непрерывный источник сообщений. Производительность и избыточность непрерывного источника.

Количественная мера информации

Поскольку любая система связи предназначена для передачи информации, то возникает задача в оценке количества информации в передаваемом сообщении.

Оценить количество информации с точки зрения ее ценности для получателя невозможно, т. к.

одно и тоже сообщения для различных получателей несет различную ценность, так, например, информация получаемая при изучении данного материала для специалиста имеет весьма большую ценность.

Поэтому для определения количества информации используют вероятностные характеристики сообщения, которые не связаны с конкретным содержанием сообщения, а отражают степень их неопределенности (неожиданности).

Поскольку информация это новые сведения, то и сообщения менее вероятные несут больше информации, нежели сообщения более вероятные.

Таким образом, имеет место обратно пропорциональная зависимость между количеством информации в сообщении и вероятностью его появления.

Также для определения количества информации используются две зависимости:

  • линейная выражающая зависимость количества информации в сообщении от его длины,   т. е. например, книга несет больше информации, чем одна ее страница;
  • экспоненциальная выражающая зависимость количества информации в сообщении от возможных перестановок одних и тех же элементов этого сообщения, так, например, если источник сообщения имеет словарный запас в 1000 слов и формирует сообщение длинной 50 слов, то количество возможных сообщений будет равно 501000.

Чтобы учесть обе этих зависимости принимается логарифмическая шкала  для оценки количества информации. Исходя из выше сказанного количество информации в сообщении будет определятся:

I(ai) = logb 1/P(ai) = -logb P(ai);

где I(ai) — количество информации в сообщении ai;

P(ai) — вероятность появления сообщения ai.

Выбор основания логарифма определяет единицу измерения количества информации. Для удобства в качестве основания в системах с двоичными кодами используется основание b=2 и тогда информация измеряется в битах — бинарных или двоичных единицах (от английских слов binary digit). Таким образом, количество информации определяется как:

I(ai) = -log2 P(ai); бит                                                                 (8)

Из данного выражения следует, что один бит информации это:

P(ai) = 0,5I(ai)= -log2 0,5=1 бит.

т. е. 1 бит ? это количество информации, которое несет сообщение с вероятностью P(ai)=0,5.

Термин бит используется в вычислительной и импульсной технике, поскольку там используются сообщения формируемые двумя равновероятными символами 1 и 0.

Как следует из выражения, количество информации не может быть отрицательным.

 Энтропия источника

Большинство реальных источников формирует сообщения с различным количеством информации, однако, при решении практических задач необходимо знать среднее количество информации приходящееся на одно сообщение. Среднее количество информации определяется как математическое ожидание количества информации в сообщении.

где Ма — количество возможных сообщений источника.

Величина Н(А) называется энтропией источника и характеризует среднее количество информации приходящейся на одно сообщение.

Приведенное выражение используется для определения энтропии источников дискретных сообщений. Для непрерывных сообщений а(t) энтропия теоретически стремится к бесконечности, т. к.

сообщение может принимать бесконечное число значений, следовательно P(ai)®0, а  I(ai)®?.

Однако если сообщение подвергнуть дискретизации и представить его конечным числом квантованных значений по уровню L, то можно определить среднее количество информации в одном отсчете (энтропию отсчета):

где pi — вероятность появления в квантованном сообщении i-го уровня.

Lкв — количество уровней квантования.

Если осуществить предельный переход устремив L к бесконечности, то получится величина, называемая дифференциальной энтропией.

Энтропия является объективной информационной характеристикой источника сообщений. Она всегда положительна.

Свойства энтропии.

10 Энтропия равна нулю, если одно сообщение достоверно (P(ai)=1), а другие не возможны.

20 Энтропия максимальна, когда все сообщения равновероятны, и растет с увеличением равновероятных сообщений.

30 Энтропия обладает свойством аддитивности, т. е. энтропии различных источников можно складывать.

 Избыточность источника

Под избыточностью понимают наличие в сообщении «лишних» элементов, т. е. элементов не несущих смысловой нагрузки (например, союзы, предлоги). Данные элементы могут быть восстановлены за счет статистических взаимосвязей между другими элементами сообщения. Например, союзы, предлоги и знаки препинания можно восстановить, зная правила построения предложений. Таким образом:

избыточность — это мера сокращения сообщения без потери информации, за счет статистических взаимосвязей между элементами сообщения.

Количественной мерой информации является коэффициент избыточности:

cи= [Hmax(A) ? H(A)]/Hmax(A)                                               (12)

где Н(А) — энтропия, вычисленная на основе учета статистических характеристик сообщений;

Hmax(A) — максимальная энтропия источника, которая согласно второму свойству равна:

Hmax(A)= log2 Ma; бит/сообщ.                                                 (13)

Наличие избыточности при передаче сообщений имеет свои положительные и отрицательные стороны. Сообщение, обладающее избыточности требует большего времени передачи и, соответственно большего времени занятия канала. Однако повышение избыточности приводит к увеличению помехоустойчивости сообщения. Она способствует обнаружению и исправлению ошибок в принятых сообщениях.

Это связано с тем, что для формирования сообщения используются не все возможные комбинации символов, а лишь определенные (разрешенные), которые заносятся в специальные справочники (словари). При приеме сообщения с элементами (словами) которых нет в справочниках говорит о наличии ошибки и ошибочный элемент может быть заменен похожим по написанию или подходящим по смыслу.

Все языки обладают избыточностью равной cи»0,5.

 Производительность источника

Производительность источника — это среднее количество информации создаваемое источником в единицу времени.

Производительность источника дискретных сообщений определяется как:

H’д.с.(А)=Н(А)/tср; бит/с                                                          (14)

где tср — средняя длительность сообщения:

tср=tн/n; с                                                                                   (15)

где tн — время, в течении которого было сформировано n сообщений.

Производительность источника непрерывных сообщений определяется как:

H’н.с.(А)=fд Hотсч(А); бит/с                                                    (16)

где fд — частота дискретизации (2Fmax).

Если сообщение квантуется равновероятными уровнями, т. е. pi=1/L, то производительность источника может быть определена как:

H’н.с.(А)=fд log2 L; бит/с                                                          (17)

Запись опубликована в рубрике Теория с метками энтропия. Добавьте в закладки постоянную ссылку.

Источник: http://conture.by/post/284

7.1.2. Информационные характеристики источников дискретных сообщений

15. Непрерывный источник сообщений. Производительность и избыточность непрерывного источника.

Основнымиинформационными параметрами дискретныхисточников сообщений являются энтропия,избыточность ипроизводительность.

Энтропиядискретных источников сообщений

Сцелью определения того какой из двухисточников «информативнее» определяютэнтропию каждого из них и полученные значениясравнивают между собой.

Например.Первый источник сообщения выдает 5равновероятных сообщений. Второйисточник выдает пять сообщений соследующим рядом распределениявероятностей:

.

Используявыражения (7.7) для определения энтропиидискретных событий, получим:

а) для первогоисточника

,

б) для второгоисточника

Такимобразом, так как энтропия первогоисточника сообщений больше второго, томожно сделать вывод: первый источник«информативнее» второго.

Сравнениеполученных значений энтропий для первого и второго источниковпоказывает, что энтропия максимальна,если сообщения равновероятны.

Ещеменьшей будет энтропия при наличиикорреляции (связи) между сообщениями(элементами сообщений).

Избыточностьдискретных источников сообщений

Сообщения,энтропия которых максимальна, переноситмаксимальное количество информации.Т. е. эти сообщения являются оптимальнымис точки зрения наибольшего количествапередаваемой информации. Энтропияисточника сообщений максимальна (и,следовательно, он вырабатываетмаксимальное количество информации всреднем на один символ), когда все символыалфавита источника равновероятны инезависимы.

Проанализируемалфавит русского языка. Если не делатьразличий между буквами «е» и «ё», твердыми мягким знаками, то можно считать, чтов русском алфавите содержится 31 буква.С учетом того, что между отдельнымисловами необходим знак «пробел» нужнопередавать 32 символа.

Считаем символыравновероятными и независимыми, исредняя энтропия на символ будетмаксимальна и равна

[бит/символ].

Т.е. каждая буквапредставима 5-ю битами.

Еслибуквы передаются не хаотически, асоставляют связный текст, то появлениеих неравновероятно (вероятность появлениябуквы «О» в 45 раз больше, чем буквы»Ф»). Энтропия при этом уменьшается.Для русского языка с учетом различныхвероятностей появления букв (символов)бит/символ.

Помимо неравновероятности появления букв,буквы в тексте зависимы. Так, послегласных не может появиться «Ь»,мала вероятность сочетания более трёхсогласных подряд. Например, послесочетания «ПР» наиболее вероятнопоявление одной из гласных «И», «О»,«Е».

Таким образом, зная одну предыдущуюбукву, можно предугадать какой будетпоследующая буква. Поэтому ее появлениене представит большой неожиданностиили новизны. С учетом связи между двумясимволами энтропия уменьшается дозначения бит/символ. Между тремя символами — дозначения бит/символ.

И, наконец, между восемьюсимволами — до значения бит/симв., и далее остается неизменной.

Принеизменном объеме информации, приходящейсяв среднем на одно сообщение, уменьшениеэнтропии относительноее максимально возможного при данномалфавите значения ,вызывает необходимость увеличенияколичества символов, необходимых дляпередачи одного сообщения.

При энтропииоказалосьнеобходимо в среднем на одно сообщениесимволов. Вместе с тем при передачесообщения с энтропией,необходимо увеличить число символовна величину ,т.е. передаватьсимволов в среднем на сообщение. Числосимволов называютизбыточным.

Меравозможного сокращения (без потериинформации) сообщения, например вследствиеиспользования статистических взаимосвязеймежду его элементами, называетсяизбыточностью сообщения.Количественно избыточность оцениваютотношением числа избыточных символов в сообщениик их общему числу

(7.8)

или

. (7.9)

Для русского языкаизбыточность составляет

.

Избыточностьпоказывает, какая часть букв в слове незагружена информацией.

Заметим, чтоизбыточность величина безразмерная.

Полезнали избыточность?Однозначного ответа на этот вопрос нет.Избыточность приводит к увеличениювремени передачи сообщения за счеттого, что необходима передачадополнительного числа символов. Этоприводит так же к излишней загрузкеканалов связи.

Но некоторая избыточностьбывает полезной для обеспечения требуемойнадежности связи повышениемпомехоустойчивости передачи сообщений.Следует отметить, что у всех европейскихязыков избыточность примерно одинакова.

Избыточность разговорных языковсформировалась в результате длительнойобщественной практики и позволяетвосстанавливать целые слова и фразы при их искажениях под воздействиемразличных мешающих факторов.

Простейшим методомуменьшения избыточности являются широкоприменяемые при передаче телеграфноготекста сокращения. Исключенные предлогии союзы без труда восстанавливаютсяполучателем по общей конструкции фразы,падежным окончаниям и т.п.

Дляполного устранения избыточностинеобходимо осуществить согласованиеканала связи и источника сообщенияпутем статистического кодирования.Основная идея статистического кодированиясостоит в том, что наиболее частовстречающимся сообщениям присваиваютсякороткие кодовые комбинации. Примеромстатистического кодирования можетслужить телеграфный код Морзе.

Уменьшениеизбыточности, обусловленное наличиемстатистических связей между буквами,может быть достигнуто кодированием неотдельных элементарных сообщений(например, букв, а составных из нихсравнительно длинных последовательностей(блоков)). Статистические связи междублоками значительно слабее межбуквенныхсвязей.

Подобный метод уменьшения межбуквенных статистических связей,т.е. корреляции между буквами частоназывают декорреляцией укрупнением. Внастоящее время рассмотренные методыуменьшения избыточности еще широко неиспользуются.

Причинами этого являютсясравнительная сложность аппаратуры,реализующей кодирование и декодированиесигналов, а также задержка в передачеинформации, возникающая при укрупненииэлементарных сообщений в сравнительнодлинные блоки.

Производительностьдискретных источников сообщений

Зачастуюнекоторые источники передают сообщенияс фиксированной скоростью передачикаждого элемента, затрачивается всреднем время на каждое сообщение.

Производительностьюисточника называется суммарная энтропиясообщений передаваемых за единицувремени. Математически это определениезаписывается в следующем виде

. (7.10)

Источник: https://studfile.net/preview/3047367/page:4/

Энтропия и производительность дискретного источника сообщений

15. Непрерывный источник сообщений. Производительность и избыточность непрерывного источника.

МПС СССР

ВСЕСОЮЗНЫЙ ЗАОЧНЫЙ ИНСТИТУТ

ИНЖЕНЕРОВ ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА

Одобрено кафедрой Автоматики,

Телемеханики

И связи

Теоретические основы транспортной связи

Задание на контрольную работу N 1 с методическими указаниями для студентов 1Y курса

Специальности

Автоматика, телемеханика и связь на железнодорожном транспорте

Москва-1987

Общие указания

Дисциплина «Теоретические основы транспортной связи» ставит задачей рассмотреть вопросы преобразования сообщений и сигналов и дать количественную оценку качества работы системы транспортной связи, независимо от их технического назначения и физической природы передаваемых сообщений.

Для успешной творческой работы в области производства и эксплуатации средств железнодорожной телемеханики и связи современный инженер должен быть в достаточной степени знаком с теоретическими основами транспортной связи, позволяющими, не прибегать к дорогостоящим экспериментам, установить при помощи расчетов количественную основу для поиска оптимальных решений в инженерной практике. Даже когда в силу определенных особенностей решаемой задачи более целесообразным оказывается экспериментальный подход, знание принципов, лежащих в основе предмета, позволит выбрать оптимальные направления проводимых экспериментов и дать количественную оценку полученных результатов.

Предмет устанавливает количественные характеристики информации, формирует условия согласования источников информации с каналами связи, определяет информационные параметры каналов связи, развивает идеи о применении кодирования для повышения помехоустойчивости передачи по каналам связи шумами, рассматривает вопросы построения оптимальных кодов для передачи информации при отсутствии помех в каналах связи.

Работу по изучению дисциплины «Теоретические основы транспортной связи» следует начинать с подбора литературы, рекомендованной программой. Затем можно приступить к изучению соответствующих разделов курса и выполнению контрольной работы, состоящей из трех задач.

Каждый студент выполняет контрольную работу в соответствии с индивидуальным заданием. Номер варианта выбирается по шифру студента.

Задание на контрольную работу и методические указания к решению задач

Задача 1

Количественное определение информации.

Энтропия и производительность дискретного источника сообщений

Количество информации I (ai), содержащееся в символе ai, выбираемом из ансамбля {ai} (i=1,2,3,…,K), где К – объем алфавита, с вероятностью P(αi), причем P(αi) = 1, определяется по формуле

I (αi) = -Iog2 P (αi).

Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.

Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации – это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.

Средне количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание дискретной случайной величины I (αi), определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) (αi).

H(A) = M{I(ai)} = — .

Эта величина называется энтропией источника независимых сообщений.

Одной из информационных характеристик дискретного источника является избыточность

pu= 1 —

Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов.

Если источник без памяти, т.е. последовательно передаваемые символы независимы, все символы равновероятны P(αi) = 1/K, то Н(А) и избыточность pи=0.

Если в единицу времени источник выдает в среднем υи символов (скорость источника υи), то среднее количество информации, создаваемой источником в единицу времени,

H´(A) = υи H(A) = H(A),

Где Тср – средняя длительность одного символа.

Характеристику H´(A) называют производительностью дискретного источника. Источник называется стационарным, если описывающие его вероятностные характеристики не меняются во времени.

1. Источник сообщений выдает символы из ансамбля А={αi} (где i = 1,2,,3,4,5) с вероятностями, представленными в табл.1 в зависимости от последней цифры шифра.

Таблица 1

Параметр Последняя цифра шифра
P(α1) 0,2 0,3 0,25 0,15 0,1 0,2 0,45 0,15 0,2 0,05
P(α2) 0,3 0,2 0,35 0,2 0,45 0,25 0,15 0,4 0,11 0,45
P(α3) 0,25 0,15 0,1 0,3 0,25 0,35 0,2 0,1 0,45 0,25
P(α4) 0,15 0,1 0,1 0,15 0,1 0,05 0,15 0,15 0,05 0,15
P(α5) 0,1 0,25 0,2 0,2 0,1 0,15 0,05 0,2 0,3 0,1

Найти количество информации, содержащейся в каждом из символов источника при их независимом выборе (источник без памяти).

Вычислить энтропию и избыточность заданного источника, используя прил.1,2.

2. Показать, что при равных объемах алфавитов К, энтропия Н(А) имеет максимальное значение Нмакс(А) = Iog2K при равновероятных символах.

3. Описать физические характеристики дискретных каналов и сигналов, а также процесс преобразования дискретных сообщений в электрические сигналы.

Не нашли то, что искали? Воспользуйтесь поиском:

Источник: https://studopedia.ru/6_51729_entropiya-i-proizvoditelnost-diskretnogo-istochnika-soobshcheniy.html

Uchebnik-free
Добавить комментарий