Лекції з курсу ТІК
Вейцбліт О.Й.
Надіслав: Gnedkova Olga (24 листопада 2011р.)
Факультет комп'ютерних наук, фізики та математики :: Дисципліни кафедри комп’ютерних наук та програмної інженерії :: Теорія інформації та кодування
Анотація

Курс лекцій з дисципліни "Теорія інформації та кодування"

Лекції з дисципліни

Лекція №1

Тема. Інформація та інформаційні процеси

Мета: надати загальні відомості про склад дисципліни "Теорія інформації та кодування", математичні моделі каналів зв'язку

План

  1. Повідомлення та інформація
  2. Моделі інформаційних систем
  3. Математичні моделі каналу зв'язку
  4. Предмет теорії інформації та кодування

Lecture_1.doc

 

Лекція №2

Тема. Ансамблі та джерела повідомлень

Мета: отримати загальні відомості про об'єкти дисципліни "Теорія інформації та кодування", матемтаичні моделі каналів зв'язку

План

  1. Основний об'єкт теорії інформації
  2. Дискретні та неперервні канали зв'язку
  3. Повна група подій у математичній статистиці
  4. Формальне визначення об'єкту теорії інформації

Lecture_2.doc

 

Лекція №3

Тема. Кількісна міра інформації

Мета: отримати загальні відомості про методи вимірювання інформації, тим, як вона вимір.ється у дисципліні "Теорія інформації та кодування", у математичних моделях каналів зв'язку

План

  1. Статистичний підхід до вимірювання інформації
  2. Основні принципи теорії інформації щодо її вимірювання
  3. Функції, що відповідають основним принципам
  4. Формула для вимірювання статистичної інформації

Lecture_3.doc

 

Лекція №4

Тема. Безумовна ентропія

Мета: ознайомитися з поняттями ентропії, безумовна ентропія, з тим, як визначається середня кількість інформації у повідомленні ансамблю

План

  1. Закон великих чисел матемтаичної статистики
  2. Математичне очікування кількості інформації по ансамблю
  3. Безумовна ентропія
  4. Основні властивості безумовної ентропії

Lecture_4.doc

 

Лекція №5

Тема. Умовна ентропія

Мета: ознайомити з понятям умовної ентропії, з тим, яку роль відіграє вона для вимірювання інформації, втрат інформації.

План

  1. Умовні ймовірності та ансамбль джерела
  2. Часткова та загальна умовна ентропія
  3. Основні властивості умовної ентропії
  4. Інформаційний зміст умовної ентропії

Lecture_5.doc

 

Лекція №6

Тема. Продуктивність дискретного джерела

Мета: ознайомити з поняттям продуктивності дискретного джерела, з тим, яку роль відіграє вона для вимірювання інформації, втрат інформації.

План

  1. Матриця умоних ймовірностей джерела
  2. Формула ентропії об'єднання двох джерел
  3. Основні властивості енропії об'єднання двох джерел
  4. Продуктивність дискретного джерела

Lecture_6.doc

 

Лекція №7

Тема. Пропускна здатність каналу

Мета: ознайомити з поняттям пропускна здатність каналу, з тим, яку роль відіграє вона для вимірювання інформації, втрат інформації.

План

  1. Інформаційні втрати при передачі повідомлень по дискретному каналу
  2. Формула середньої кількості інформації про джерело у повідомленні спостерігача
  3. Пропускна здатність дискретного каналу
  4. Пропускна здатність каналу без завад

Lecture_7.doc

 

Лекція №8

Тема. Інформаційні втрати при передачі інформації по каналу зв'язку

Мета: отримати загальні відомості про інформаційні втрати при передачі інформації по каналу зв'язку, про методи боротьби з перешкодами при передачі інформації

План

  1. Зміст загальної умовної ентропії
  2. Властивості загальної умовної ентропії при передачі інформації по каналу зв'язку
  3. Швидкість передачі даних
  4. Оптимальна продуктивність каналу та умови її досягнення

Lecture_8.doc

 

Лекція №9

Тема. Теорема Шеннона про кодування дискретного джерела

Мета: ознайомити з теоремою Шеннона про кодування дискретного джерела та її практичне застосування

План

  1. Теорема Шеннона про кодування дискретного джерела
  2. Типові послідовності повідомлень
  3. Умови виконання теореми Шеннона
  4. Оптимальне кодування

Lecture_9.doc