RUS ENG

Свирид Ю. В. Основы теории информации

Свирид Ю. В. Основы теории информации: курс лекций / Ю. В. Свирид. - 2-е изд., испр. и доп. - Минск :БГУ, 2010 - 151 с.

ISBN 978-985-518-378-6

Курс лекций содержит введение в теорию информации и ее приложения. Понятие информации рассмотрено с синтаксической, семантической и прагма­ тической точек зрения, а также в связи с колмогоровской сложностью объектов. На основе понятия о типичных последовательностях доказаны три фундаментальные теоремы кодирования - о сжатии данных, о передаче данных и о сжатии и передаче данных. Рассмотрены некоторые важные каналы связи и вы числена их пропускная способность. Приведено описание и доказательство оптимальности ряда алгоритмов сжатия данных. Даны теоретико-информа ционные основы криптологии.

Для студентов и аспирантов математических, физических и инженерных специальностей университета.


Оглавление

 

От автора

4

Введение

7

Глава 1. Что такое информация?

14

1.1. Некоторые понятия из теории вероятностей

14

1.2. Информация и энтропия

17

1.3. Семантическая и прагматическая информация

29

1.4. Дифференциальная и относительная энтропия

33

1.5. Максимум энтропии

37

1.6. Энтропия дискретных случайных процессов

41

1.7. Эргодические и марковские случайные процессы

45

1.8. Колмогоровская сложность

53

1.9. Задачи

56

Глава 2. Фундаментальные теоремы кодирования

61

2.1. Типичные последовательности

61

2.2. Сжатие данных и избыточность

64

2.3. Совместно-типичные последовательности

67

2.4. Лемма об обработке данных и лемма Фано

71

2.5. Теорема о передаче данных

74

2.6. Теорема о сжатии и передаче данных

81

2.7. Пропускная способность дискретных каналов связи

84

2.8. Гауссовский канал

92

2.9. Задачи

96

Глава 3. Кодирование источника сообщений

99

3.1. Классы кодов источника и неравенство Крафта

99

3.2. Оптимальность кодов, алгоритмы Фано и Шеннона

107

3.3. Алгоритм Хаффмена

114

3.4. Алгоритм Танстелла

116

3.5. Арифметическое кодирование

120

3.6. Префиксное кодирование натуральных чисел

123

3.7. Алгоритм Рябко - Элайеса

125

3.8. Алгоритм Лемпеля - Зива

128

3.9. Задачи

134

Глава 4. Теоретико-информационные основы криптологии

138

4.1. Классические системы шифрования

138

4.2. Основы теории Шеннона о защите информации

142

4.3. Задачи

145

Библиографические ссылки

146

Предметный указатель

148

Другие сайты факультетаСтруктураОбразованиеМагистратураНаукаМеждународное сотрудничествоСтудентуНИРСАСовет молодых ученыхОлимпиадыАбитуриентуШкольникуЦентр
Компетенций
по ИТ
Microsoft
Imagine Premium
ИсторияИздания факультетаПрофбюро ФПМИПерсональные страницыФотогалереи Газета ФПМыНаши партнеры