Основы теории информации

Учебное пособие

В качестве основного учебника, на базе которого посторена программа, был взят "О.В. Мотовилова Основы теории информации Учебно-методическое пособие для студентов и преподавателей специальности 230701 Прикладная информатика (по отраслям)"

Он хоть и не для специальности 09.02.06, но он достаточно простой, в отличии от многих других пособий. Это очень важно, ведь в 09.02.06 уделяется очень мало времени для теории информации, хотя она необходима, как минимум, для базового понимания, как передается и хранится информация (имеется в виду теоретическая, математическая часть проблемы). Прикладная часть проблемы передачи, хранения и обработки информации дается на дисциплине Технологии физического уровня передачи данных, Архитектура аппаратных средств и т.д.

Ещё у меня есть презенташка

Тематический план

Наименование разделов и тем	Содержание учебного материала и формы организации деятельности обучающихся	Уровень освоения	Объем часов	Осваиваемые элементы компетенций
1	2	3	4	5
Раздел 1. Информация, свойства информации и её измерение
Тема 1.1 Базовые понятия теории информации	Содержание учебного материала			ОК ПК ОК ПК ОК ПК
	Понятия информации, данных и знаний. Виды информации. Формы представления информации. Свойства информации.	1	2
Тема 1.2 Меры и единицы измерения информации	Содержание учебного материала			ОК ПК ОК ПК ОК ПК
	Подходы к определению понятия «количества информации». Единицы измерения информации и соотношения между ними. Способы измерения информации.	1	2
	Практическая работа 1
	Вероятностный подход к измерению информации с использованием языка программирования Python	2	4
	Самостаятельная работа 1
	Вероятностный подход к измерению информации с использованием языка программирования Python	3	1
	Практическая работа 2
	Кибернетический подход к измерению информации с использованием языка программирования Python	2	4
	Самостаятельная работа 2
	Кибернетический подход к измерению информации с использованием языка программирования Python	3	1
Раздел 2. Кодирование различных видов информации
Тема 2.1 Принципы кодирования и декодирования информации	Содержание учебного материала			ОК ПК ОК ПК ОК ПК
	Область действия, предмет и задачи теории кодирования. Абстрактный алфавит. Понятие код, кодирование, декодирование. Схема передачи информации в случае перекодировки.	1	2
Тема 2.2 Системы счисления	Содержание учебного материала			ОК ПК ОК ПК ОК ПК
	Понятие системы счисления. Виды систем счисления. Перевод чисел из одной системы счисления в другую.	1	4
	Практическая работа 3
	Перевод чисел из одной системы счисления в другую с использованием языка программирования Python	2	2
	Самостоятельная работа 3
	Перевод чисел из одной системы счисления в другую с использованием языка программирования Python	3	2
Тема 2.3 Способы кодирования различных видов информации	Содержание учебного материала			ОК ПК ОК ПК ОК ПК
	Представление числовой информации	1	4
	Практическая работа 4
	Кодирование числовой информации с использованием языка программирования Python	2	4
	Самостоятельная работа 4
	Кодирование числовой информации с использованием языка программирования Python	3	2
	Содержание учебного материала
	Представление символьной информации	1	2
	Практическая работа 5
	Кодирование символьной информации с использованием языка программирования Python	2	2
	Самостоятельная работа 5
	Кодирование символьной информации с использованием языка программирования Python	3	2
	Содержание учебного материала
	Представление графической информации	1	4
	Практическая работа 6
	Кодирование графической информации с использованием языка программирования Python	2	2
	Самостоятельная работа 6
	Кодирование графической информации с использованием языка программирования Python	3	2
	Содержание учебного материала
	Представление звуковой информации	1	2
	Практическая работа 7
	Кодирование звуковой информации с использованием языка программирования Python	2	2
	Самостоятельная работа 7
	Кодирование звуковой информации с использованием языка программирования Python	3	2
Раздел 3. Основы передачи данных по каналам связи
Тема 3.1 Каналы связи и виды источников	Содержание учебного материала			ОК ПК ОК ПК ОК ПК
	Каналы связи и виды источников. Классификация каналов связи. Модуляция и демодуляция. Виды модуляции. Технические характеристики канала связи. Показатели эффективности систем связи.	1	4
Тема 3.2 Кодирование информации при передаче по дискретному каналу	Содержание учебного материала			ОК ПК ОК ПК ОК ПК
	Виды кодирования информации. Первая и вторая теорема Шеннона. Теорема Котельникова. Классификация кодов. Коды с исправлением ошибок. Коды с обнаружением ошибок.	1	4
Тема 3.3 Способы сжатия и архивации информации	Содержание учебного материала			ОК ПК ОК ПК ОК ПК
	Сущность и методы эффективного кодирования	1	2
	Реализация метода Шеннона-Фано	1	4
	Практическая работа 8
	Реализация метода Шеннона-Фано	2	4
	Самостоятельная работа 8
	Реализация метода Шеннона-Фано	3	2
	Содержание учебного материала
	Реализация метода Хаффмана	1	4
	Практическая работа 9
	Реализация метода Хаффмана	2	4
	Самостоятельная работа 9
	Реализация метода Хаффмана	3	2
Консультации			4
Экзамен			8
Всего			90

Контрольно-оценочные средства промежуточной аттестации

Вопросы для подготовки:

1. Перечислите атрибутивные свойства информации, дайте их краткую характеристику.
2. Сформулируйте правило перевода дробных чисел из десятичной системы счисления в любую позиционную.
3. Дайте классификацию информации по различным признакам (по способу представления, по способу восприятия, по массовому значению). Приведите примеры.
4. Дайте классификацию каналов связи по физическим признакам.
5. В чем состоит процесс дискретизации информации и в каких случаях он используется? Приведите примеры.
6. Дайте классификацию каналов связи по способу передачи информации.
7. Приведите примеры информационных процессов в природе и технике в соответствии с универсальной схемой передачи информации.
8. Дайте классификацию каналов связи по форме представления передаваемой информации.
9. Какие формы представления информации существуют? Раскройте их основные характеристики.
10. Дайте классификацию каналов связи по времени существования.
11. Раскройте сущность понятия «количество информации».
12. Что такое модуляция?
13. Изобразите универсальную схему передачи информации в случае кодирования и объясните её.
14. Дайте определение протокола передачи данных.
15. Дайте определения понятий «информация», «данные», «знания» – как базовых понятий в информатике. Раскройте их взаимосвязь. Приведите примеры.
16. Что такое основание системы счисления?
17. Перечислите атрибутивные свойства информации, дайте их краткую характеристику.
18. Сформулируйте правило перевода дробных чисел из десятичной системы счисления в любую позиционную.
19. Какие форматы используются для представления чисел в памяти компьютера? В каком формате представляются целые числа в памяти ЭВМ?
20. В чем состоит основная идея алгоритма Хаффмана?
21. В чем состоит основная идея алгоритма Шеннона-Фано?
22. Нарисуйте универсальную схему передачи информации в случае кодирования. Охарактеризуйте назначение используемых в схеме устройств.
23. Назовите существующие единицы измерения информации и соотношения между ними.
24. Перечислите прагматические свойства информации, дайте их краткую характеристику.
25. Сформулируйте правило перевода смешанных чисел из двоичной системы счисления в восьмеричную, шестнадцатеричную.
26. В чем состоит процесс дискретизации информации и в каких случаях он используется? Приведите примеры.
27. Приведите примеры информационных процессов в природе и технике в соответствии с универсальной схемой передачи информации.

Форма промежуточной аттестации: Экзамен (по билетам)

Билет 1

1. В школьной библиотеке 30 стеллажей с книгами. На каждом стеллаже 7 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
2. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
3. Дайте классификацию информации по различным признакам (по способу представления, по способу восприятия, по массовому значению). Приведите примеры.
4. Записать внутреннее представление числа 168,375 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. На экране с разрешающей способностью 240 х 320 высвечиваются только 256-цветные изображения. Какой минимальный объем видеопамяти необходим для хранения изображения?
6. Дайте классификацию каналов связи по физическим признакам.
7. Дано текстовое сообщение:

УМ – ЭТО ДУХОВНОЕ ОРУЖИЕ ЧЕЛОВЕКА

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 2

1. В корзине лежат 67 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?
2. Объем сообщения, содержащего 4096 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?
3. В чем состоит процесс дискретизации информации и в каких случаях он используется? Приведите примеры.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой D9711 восстановить само число при 4х байтовой ячейке.
5. Для хранения изображения размером 64х32 точек выделен 16 Кбайт памяти. Определите, какое максимальное число цветов допустимо использовать в этом случае.
6. Дайте классификацию каналов связи по способу передачи информации.
7. Дано текстовое сообщение:

ПОДУМАЛ – РЕШИ, РЕШИЛ – ДЕЙСТВУЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 3

1. Какое количество информации несет сообщение о том, что встреча назначена на 17 ноября в 13.27?
2. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?
3. Приведите примеры информационных процессов в природе и технике в соответствии с универсальной схемой передачи информации.
4. Записать внутреннее представление числа 254,1285 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. 128-цветный рисунок содержит 720 байт информации. Из скольких точек он состоит?
6. Дайте классификацию каналов связи по форме представления передаваемой информации.
7. Дано текстовое сообщение:

ПОИСК ИСТИНЫ ВАЖНЕЕ, ЧЕМ ОБЛАДАНИЕ ИСТИНОЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 4

1. При угадывании целого числа в некотором диапазоне было получено 64 бита информации. Сколько чисел содержит этот диапазон?
2. Сообщение занимает 8 страницы и содержит 1/32 Гбайта информации. На каждой станице записано 256 символов. Какова мощность использованного алфавита?
3. Какие формы представления информации существуют? Раскройте их основные характеристики.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой E5612 восстановить само число при 4х байтовой ячейке.
5. Объем свободной памяти на диске – 0,04 Гб, разрядность звуковой платы – 32. Какова длительность звучания цифрового аудиофайла, записанного с частотой дискретизации 44100 Гц?
6. Дайте классификацию каналов связи по времени существования.
7. Дано текстовое сообщение:

ЧЕМ БОЛЬШЕ УЗНАЕШЬ, ТЕМ СИЛЬНЕЕ СТАНЕШЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 5

1. Сообщение о том, что ваш друг живет на 10 этаже, несет 6 бита информации. Сколько этажей в доме?
2. ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, содержащий примерно 1,5 х 1023 нуклеотидов?
3. Раскройте сущность понятия «количество информации».
4. Записать внутреннее представление числа 113,475 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. Рассчитайте время звучания моноаудиофайла, если при 32-битном кодировании и частоте дискретизации 44,1 кГц его объем равен 1400 Кбайт.
6. Что такое модуляция?
7. Дано текстовое сообщение:

СЛУЧАЙНОСТЬ ЕСТЬ ВЫБРАВШАЯ НАС ЗАКОНОМЕРНОСТЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 6

1. Была получена телеграмма: «Встречайте, вагон 14». Известно, что в составе поезда 32 вагонов. Какое количество информации было получено?
2. Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 4 символа, второй – 128 символа. Во сколько раз отличается количество информации в текстах?
3. Изобразите универсальную схему передачи информации в случае кодирования и объясните её.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой F9811 восстановить само число при 4х байтовой ячейке.
5. Оцените информационный объем моноаудиофайла (в килобайтах) длительностью звучания 3 минуты, если «глубина» кодирования и частота дискретизации звукового сигнала равны соответственно: 32 бит и 16 кГц.
6. Дайте определение протокола передачи данных.
7. Дано текстовое сообщение:

ОБРАЗОВАННЫЙ ЧЕЛОВЕК НЕ ЧИТАЕТ – ОН ПЕРЕЧИТЫВАЕТ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 7

1. В школьной библиотеке 25 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
2. Информационное сообщение объемом 3 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
3. Дайте определения понятий «информация», «данные», «знания» – как базовых понятий в информатике. Раскройте их взаимосвязь. Приведите примеры.
4. Записать внутреннее представление числа 178,325 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. На экране с разрешающей способностью 640 х 320 высвечиваются только 256-цветные изображения. Какой минимальный объем видеопамяти необходим для хранения изображения?
6. Что такое основание системы счисления?
7. Дано текстовое сообщение:

УМ – ЭТО ДУХОВНОЕ ОРУЖИЕ ЧЕЛОВЕКА

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 8

1. В корзине лежат 63 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?
2. Объем сообщения, содержащего 2018 символов, составил 1/4 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?
3. Перечислите атрибутивные свойства информации, дайте их краткую характеристику.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой D9721 восстановить само число при 4х байтовой ячейке.
5. Для хранения изображения размером 128х200 точек выделен 8 Кбайт памяти. Определите, какое максимальное число цветов допустимо использовать в этом случае.
6. Сформулируйте правило перевода дробных чисел из десятичной системы счисления в любую позиционную.
7. Дано текстовое сообщение.

ПОДУМАЛ – РЕШИ, РЕШИЛ – ДЕЙСТВУЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 9

1. Какое количество информации несет сообщение о том, что встреча назначена на 18 ноября в 14.59?
2. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 6348 байтов информации и занимает 6 страниц. Сколько символов в строке?
3. Какие форматы используются для представления чисел в памяти компьютера? В каком формате представляются целые числа в памяти ЭВМ?
4. Записать внутреннее представление числа 254,1285 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. 128-цветный рисунок содержит 360 байт информации. Из скольких точек он состоит?
6. В чем состоит основная идея алгоритма Хаффмана?
7. Дано текстовое сообщение:

ПОИСК ИСТИНЫ ВАЖНЕЕ, ЧЕМ ОБЛАДАНИЕ ИСТИНОЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 10

1. При угадывании целого числа в некотором диапазоне было получено 128 бита информации. Сколько чисел содержит этот диапазон?
2. Сообщение занимает 8 страницы и содержит 1/4 Кбайта информации. На каждой станице записано 256 символов. Какова мощность использованного алфавита?
3. В чем состоит основная идея алгоритма Шеннона-Фано?
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой E5632 восстановить само число при 4х байтовой ячейке.
5. Объем свободной памяти на диске – 0,02 Гб, разрядность звуковой платы – 32. Какова длительность звучания цифрового аудиофайла, записанного с частотой дискретизации 44100 Гц?
6. Нарисуйте универсальную схему передачи информации в случае кодирования. Охарактеризуйте назначение используемых в схеме устройств.
7. Дано текстовое сообщение:

ЧЕМ БОЛЬШЕ УЗНАЕШЬ, ТЕМ СИЛЬНЕЕ СТАНЕШЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 11

1. Сообщение о том, что ваш друг живет на 13 этаже, несет 8 бита информации. Сколько этажей в доме?
2. ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, содержащий примерно 1,5 х 10²³ нуклеотидов?
3. Назовите существующие единицы измерения информации и соотношения между ними.
4. Записать внутреннее представление числа 123,425 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. Рассчитайте время звучания моноаудиофайла, если при 16-битном кодировании и частоте дискретизации 44,1 кГц его объем равен 1024 Кбайт.
6. Перечислите прагматические свойства информации, дайте их краткую характеристику.
7. Дано текстовое сообщение:

СЛУЧАЙНОСТЬ ЕСТЬ ВЫБРАВШАЯ НАС ЗАКОНОМЕРНОСТЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 12

1. Была получена телеграмма: «Встречайте, вагон 14». Известно, что в составе поезда 32 вагонов. Какое количество информации было получено?
2. Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 4 символа, второй – 128 символа. Во сколько раз отличается количество информации в текстах?
3. Какие формы представления информации существуют? Раскройте их основные характеристики.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой F9811 восстановить само число при 4х байтовой ячейке.
5. Оцените информационный объем моноаудиофайла (в килобайтах) длительностью звучания 3 минуты, если «глубина» кодирования и частота дискретизации звукового сигнала равны соответственно: 32 бит и 16 кГц.
6. Сформулируйте правило перевода смешанных чисел из двоичной системы счисления в восьмеричную, шестнадцатеричную.
7. Дано текстовое сообщение:

ОБРАЗОВАННЫЙ ЧЕЛОВЕК НЕ ЧИТАЕТ – ОН ПЕРЕЧИТЫВАЕТ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 13

1. В школьной библиотеке 30 стеллажей с книгами. На каждом стеллаже 7 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
2. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
3. Дайте классификацию информации по различным признакам (по способу представления, по способу восприятия, по массовому значению). Приведите примеры.
4. Записать внутреннее представление числа 168,375 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. На экране с разрешающей способностью 240 х 320 высвечиваются только 256-цветные изображения. Какой минимальный объем видеопамяти необходим для хранения изображения?
6. Дайте классификацию каналов связи по физическим признакам.
7. Дано текстовое сообщение:

УМ – ЭТО ДУХОВНОЕ ОРУЖИЕ ЧЕЛОВЕКА

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 14

1. В корзине лежат 67 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?
2. Объем сообщения, содержащего 4096 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?
3. В чем состоит процесс дискретизации информации и в каких случаях он используется? Приведите примеры.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой D9711 восстановить само число при 4х байтовой ячейке.
5. Для хранения изображения размером 64х32 точек выделен 16 Кбайт памяти. Определите, какое максимальное число цветов допустимо использовать в этом случае.
6. Дайте классификацию каналов связи по способу передачи информации.
7. Дано текстовое сообщение:

ПОДУМАЛ – РЕШИ, РЕШИЛ – ДЕЙСТВУЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 15

1. Какое количество информации несет сообщение о том, что встреча назначена на 17 ноября в 13.27?
2. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?
3. Приведите примеры информационных процессов в природе и технике в соответствии с универсальной схемой передачи информации.
4. Записать внутреннее представление числа 254,1285 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. 128-цветный рисунок содержит 720 байт информации. Из скольких точек он состоит?
6. Дайте классификацию каналов связи по форме представления передаваемой информации.
7. Дано текстовое сообщение:

ПОИСК ИСТИНЫ ВАЖНЕЕ, ЧЕМ ОБЛАДАНИЕ ИСТИНОЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 16

1. При угадывании целого числа в некотором диапазоне было получено 64 бита информации. Сколько чисел содержит этот диапазон?
2. Сообщение занимает 8 страниц и содержит 1/32 Гбайта информации. На каждой странице записано 256 символов. Какова мощность использованного алфавита?
3. Какие формы представления информации существуют? Раскройте их основные характеристики.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой E5612 восстановить само число при 4-байтовой ячейке.
5. Объем свободной памяти на диске – 0,04 Гб, разрядность звуковой платы – 32. Какова длительность звучания цифрового аудиофайла, записанного с частотой дискретизации 44100 Гц?
6. Дайте классификацию каналов связи по времени существования.
7. Дано текстовое сообщение:

ЧЕМ БОЛЬШЕ УЗНАЕШЬ, ТЕМ СИЛЬНЕЕ СТАНЕШЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 17

1. Сообщение о том, что ваш друг живет на 10 этаже, несет 6 бит информации. Сколько этажей в доме?
2. ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, содержащий примерно 1,5×10231,5×1023 нуклеотидов?
3. Раскройте сущность понятия «количество информации».
4. Записать внутреннее представление числа 113,475 в форме с плавающей точкой при 4-байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. Рассчитайте время звучания моноаудиофайла, если при 32-битном кодировании и частоте дискретизации 44,1 кГц его объем равен 1400 Кбайт.
6. Что такое модуляция?
7. Дано текстовое сообщение:

СЛУЧАЙНОСТЬ ЕСТЬ ВЫБРАВШАЯ НАС ЗАКОНОМЕРНОСТЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 18

1. Была получена телеграмма: «Встречайте, вагон 14». Известно, что в составе поезда 32 вагонов. Какое количество информации было получено?
2. Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 4 символа, второй – 128 символа. Во сколько раз отличается количество информации в текстах?
3. Изобразите универсальную схему передачи информации в случае кодирования и объясните её.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой F9811 восстановить само число при 4х байтовой ячейке.
5. Оцените информационный объем моноаудиофайла (в килобайтах) длительностью звучания 3 минуты, если «глубина» кодирования и частота дискретизации звукового сигнала равны соответственно: 32 бит и 16 кГц.
6. Дайте определение протокола передачи данных.
7. Дано текстовое сообщение:

ОБРАЗОВАННЫЙ ЧЕЛОВЕК НЕ ЧИТАЕТ – ОН ПЕРЕЧИТЫВАЕТ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 19

1. В школьной библиотеке 25 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
2. Информационное сообщение объемом 3 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
3. Дайте определения понятий «информация», «данные», «знания» – как базовых понятий в информатике. Раскройте их взаимосвязь. Приведите примеры.
4. Записать внутреннее представление числа 178,325 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. На экране с разрешающей способностью 640 х 320 высвечиваются только 256-цветные изображения. Какой минимальный объем видеопамяти необходим для хранения изображения?
6. Что такое основание системы счисления?
7. Дано текстовое сообщение:

УМ – ЭТО ДУХОВНОЕ ОРУЖИЕ ЧЕЛОВЕКА

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 20

1. В корзине лежат 63 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?
2. Объем сообщения, содержащего 2018 символов, составил 1/4 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?
3. Перечислите атрибутивные свойства информации, дайте их краткую характеристику.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой D9721 восстановить само число при 4х байтовой ячейке.
5. Для хранения изображения размером 128х200 точек выделен 8 Кбайт памяти. Определите, какое максимальное число цветов допустимо использовать в этом случае.
6. Сформулируйте правило перевода дробных чисел из десятичной системы счисления в любую позиционную.
7. Дано текстовое сообщение:

ПОДУМАЛ – РЕШИ, РЕШИЛ – ДЕЙСТВУЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 21

1. Какое количество информации несет сообщение о том, что встреча назначена на 18 ноября в 14.59?
2. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 6348 байтов информации и занимает 6 страниц. Сколько символов в строке?
3. Какие форматы используются для представления чисел в памяти компьютера? В каком формате представляются целые числа в памяти ЭВМ?
4. Записать внутреннее представление числа 254,1285 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. 128-цветный рисунок содержит 360 байт информации. Из скольких точек он состоит?
6. В чем состоит основная идея алгоритма Хаффмана?
7. Дано текстовое сообщение:

ПОИСК ИСТИНЫ ВАЖНЕЕ, ЧЕМ ОБЛАДАНИЕ ИСТИНОЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 22

1. При угадывании целого числа в некотором диапазоне было получено 128 бита информации. Сколько чисел содержит этот диапазон?
2. Сообщение занимает 8 страницы и содержит 1/4 Кбайта информации. На каждой станице записано 256 символов. Какова мощность использованного алфавита?
3. В чем состоит основная идея алгоритма Шеннона-Фано?
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой E5632 восстановить само число при 4х байтовой ячейке.
5. Объем свободной памяти на диске – 0,02 Гб, разрядность звуковой платы – 32. Какова длительность звучания цифрового аудиофайла, записанного с частотой дискретизации 44100 Гц?
6. Нарисуйте универсальную схему передачи информации в случае кодирования. Охарактеризуйте назначение используемых в схеме устройств.
7. Дано текстовое сообщение:

ЧЕМ БОЛЬШЕ УЗНАЕШЬ, ТЕМ СИЛЬНЕЕ СТАНЕШЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 23

1. Сообщение о том, что ваш друг живет на 13 этаже, несет 8 бита информации. Сколько этажей в доме?
2. ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, содержащий примерно 1,5 х 1023 нуклеотидов?
3. Назовите существующие единицы измерения информации и соотношения между ними.
4. Записать внутреннее представление числа 123,425 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. Рассчитайте время звучания моноаудиофайла, если при 16-битном кодировании и частоте дискретизации 44,1 кГц его объем равен 1024 Кбайт.
6. Перечислите прагматические свойства информации, дайте их краткую характеристику.
7. Дано текстовое сообщение:

СЛУЧАЙНОСТЬ ЕСТЬ ВЫБРАВШАЯ НАС ЗАКОНОМЕРНОСТЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 24

1. Была получена телеграмма: «Встречайте, вагон 14». Известно, что в составе поезда 32 вагонов. Какое количество информации было получено?
2. Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 4 символа, второй – 128 символа. Во сколько раз отличается количество информации в текстах?
3. Какие формы представления информации существуют? Раскройте их основные характеристики.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой F9811 восстановить само число при 4х байтовой ячейке.
5. Оцените информационный объем моноаудиофайла (в килобайтах) длительностью звучания 3 минуты, если «глубина» кодирования и частота дискретизации звукового сигнала равны соответственно: 32 бит и 16 кГц.
6. Сформулируйте правило перевода смешанных чисел из двоичной системы счисления в восьмеричную, шестнадцатеричную.
7. Дано текстовое сообщение:

ОБРАЗОВАННЫЙ ЧЕЛОВЕК НЕ ЧИТАЕТ – ОН ПЕРЕЧИТЫВАЕТ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 25

1. В школьной библиотеке 30 стеллажей с книгами. На каждом стеллаже 7 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
2. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
3. Дайте классификацию информации по различным признакам (по способу представления, по способу восприятия, по массовому значению). Приведите примеры.
4. Записать внутреннее представление числа 168,375 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. На экране с разрешающей способностью 240 х 320 высвечиваются только 256-цветные изображения. Какой минимальный объем видеопамяти необходим для хранения изображения?
6. Дайте классификацию каналов связи по физическим признакам.
7. Дано текстовое сообщение:

УМ – ЭТО ДУХОВНОЕ ОРУЖИЕ ЧЕЛОВЕКА

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 26

1. В корзине лежат 67 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?
2. Объем сообщения, содержащего 4096 символов, составил 1/8 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?
3. В чем состоит процесс дискретизации информации и в каких случаях он используется? Приведите примеры.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой D9711 восстановить само число при 4х байтовой ячейке.
5. Для хранения изображения размером 64х32 точек выделен 16 Кбайт памяти. Определите, какое максимальное число цветов допустимо использовать в этом случае.
6. Дайте классификацию каналов связи по способу передачи информации.
7. Дано текстовое сообщение:

ПОДУМАЛ – РЕШИ, РЕШИЛ – ДЕЙСТВУЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 27

1. Какое количество информации несет сообщение о том, что встреча назначена на 17 ноября в 13.27?
2. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?
3. Приведите примеры информационных процессов в природе и технике в соответствии с универсальной схемой передачи информации.
4. Записать внутреннее представление числа 254,1285 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления. 5.128-цветный рисунок содержит 720 байт информации. Из скольких точек он состоит?
5. Дайте классификацию каналов связи по форме представления передаваемой информации.
6. Дано текстовое сообщение:

ПОИСК ИСТИНЫ ВАЖНЕЕ, ЧЕМ ОБЛАДАНИЕ ИСТИНОЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 28

1. При угадывании целого числа в некотором диапазоне было получено 64 бита информации. Сколько чисел содержит этот диапазон?
2. Сообщение занимает 8 страницы и содержит 1/16 Гбайта информации. На каждой станице записано 256 символов. Какова мощность использованного алфавита?
3. Какие формы представления информации существуют? Раскройте их основные характеристики.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой E5612 восстановить само число при 4х байтовой ячейке.
5. Объем свободной памяти на диске – 0,04 Гб, разрядность звуковой платы – 32. Какова длительность звучания цифрового аудиофайла, записанного с частотой дискретизации 44100 Гц?
6. Дайте классификацию каналов связи по времени существования.
7. Дано текстовое сообщение:

ЧЕМ БОЛЬШЕ УЗНАЕШЬ, ТЕМ СИЛЬНЕЕ СТАНЕШЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 29

1. Сообщение о том, что ваш друг живет на 10 этаже, несет 6 бита информации. Сколько этажей в доме?
2. ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, содержащий примерно 1,5 х 1023 нуклеотидов?
3. Раскройте сущность понятия «количество информации».
4. Записать внутреннее представление числа 113,475 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. Рассчитайте время звучания моноаудиофайла, если при 32-битном кодировании и частоте дискретизации 44,1 кГц его объем равен 1400 Кбайт.
6. Что такое модуляция?
7. Дано текстовое сообщение:

СЛУЧАЙНОСТЬ ЕСТЬ ВЫБРАВШАЯ НАС ЗАКОНОМЕРНОСТЬ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 30

1. Была получена телеграмма: «Встречайте, вагон 14». Известно, что в составе поезда 32 вагонов. Какое количество информации было получено?
2. Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 4 символа, второй – 128 символа. Во сколько раз отличается количество информации в текстах?
3. Изобразите универсальную схему передачи информации в случае кодирования и объясните её.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой F9811 восстановить само число при 4х байтовой ячейке.
5. Оцените информационный объем моноаудиофайла (в килобайтах) длительностью звучания 3 минуты, если «глубина» кодирования и частота дискретизации звукового сигнала равны соответственно: 32 бит и 16 кГц.
6. Дайте определение протокола передачи данных.
7. Дано текстовое сообщение:

ОБРАЗОВАННЫЙ ЧЕЛОВЕК НЕ ЧИТАЕТ – ОН ПЕРЕЧИТЫВАЕТ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 31

1. В школьной библиотеке 25 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
2. Информационное сообщение объемом 3 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
3. Дайте определения понятий «информация», «данные», «знания» – как базовых понятий в информатике. Раскройте их взаимосвязь. Приведите примеры.
4. Записать внутреннее представление числа 178,325 в форме с плавающей точкой при 4х байтовой ячейке. Записать шестнадцатеричную форму внутреннего представления.
5. На экране с разрешающей способностью 640 х 320 высвечиваются только 256-цветные изображения. Какой минимальный объем видеопамяти необходим для хранения изображения?
6. Что такое основание системы счисления?
7. Дано текстовое сообщение:

УМ – ЭТО ДУХОВНОЕ ОРУЖИЕ ЧЕЛОВЕКА

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Билет 32

1. В корзине лежат 63 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?
2. Объем сообщения, содержащего 2018 символов, составил 1/4 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?
3. Перечислите атрибутивные свойства информации, дайте их краткую характеристику.
4. По шестнадцатеричной форме внутреннего представления числа в форме с плавающей точкой D9721 восстановить само число при 4х байтовой ячейке.
5. Для хранения изображения размером 128х200 точек выделен 8 Кбайт памяти. Определите, какое максимальное число цветов допустимо использовать в этом случае.
6. Сформулируйте правило перевода дробных чисел из десятичной системы счисления в любую позиционную.
7. Дано текстовое сообщение:

ПОДУМАЛ – РЕШИ, РЕШИЛ – ДЕЙСТВУЙ

а) Определить, сколько бит занимает исходное текстовое сообщение;
б) Построить эффективный код сообщения методом Шеннона-Фано, определить объем закодированного сообщения и эффективность кода;
в) Построить эффективный код сообщения методом Хаффмана и определить объем закодированного сообщения и эффективность кода.

Критерии оценки

ВНИМАНИЕ!

Некоторые задания с подлянкой. У них решение либо может отсутствовать, либо могут быть странные цифры в ответе. Так и задумано!

Примите это к сведению!

Оценка «отлично» выставляется обучающемуся, если:

• глубоко и прочно усвоил программный материал курса
• исчерпывающе, последовательно, четко и логически стройно его излагает
• умеет тесно увязывать теорию с практикой
• свободно справляется с задачами и вопросами
• не затрудняется с ответами при видоизменении заданий
• правильно обосновывает принятые решения

Оценка «хорошо» выставляется обучающемуся, если:

• твердо знает материал курса
• грамотно и по существу излагает его
• не допускает существенных неточностей в ответе на вопрос
• правильно применяет теоретические положения при решении практических вопросов и задач
• владеет необходимыми навыками и приемами их выполнения

Оценка «удовлетворительно» выставляется обучающемуся, если:

• имеет знания только основного материала
• не усвоил деталей материала
• допускает неточности и недостаточно правильные формулировки
• нарушает логическую последовательность в изложении
• испытывает затруднения при выполнении задач

Оценка «неудовлетворительно» выставляется обучающемуся, если:

• не знает значительной части программного материала
• допускает существенные ошибки
• неуверенно, с большими затруднениями решает практические задачи
• не справляется с задачами самостоятельно

Оценка не выставляется обучающемуся, если:

• не явился на дифференцированный зачет
• отказался от его сдачи
• не знает программный материал

БУНКЕР

Лабораторная работа: Применение утилиты xxd для анализа информации в рамках теории информации

---

Цель работы

Изучить основные понятия теории информации (энтропия, избыточность, кодирование) и освоить применение утилиты xxd для анализа структуры данных, оценки энтропии и исследования свойств информационных потоков.

---

Оборудование и программное обеспечение

• Операционная система: Linux (Ubuntu/Debian)
• Утилиты: xxd (входит в пакет vim-common), dd, gzip, awk, bc
• Тестовые файлы: текстовые файлы в разных кодировках, сжатые данные, случайные данные
• Дополнительно: Python 3 (для вычисления энтропии)

---

Теоретическая часть

Основные понятия теории информации

1. Энтропия Шеннона
   Мера неопределенности или "случайности" данных:
   $H(X)=-\sum _{i=1}^{n}p(x_i){\log }_{2}p(x_i)$
   где $p(x_i)$ — вероятность появления символа $x_i$.

2. Избыточность
   $R=1-\frac{H(X)}{H_{max}}$, где $H_{max}={\log }_{2}N$ (N — мощность алфавита).
   Показывает, насколько эффективно используется информационный канал.

3. Кодирование
   Представление информации в виде последовательности символов с минимальной избыточностью (например, коды Хаффмана).

Утилита xxd

xxd — консольная утилита для создания hex-дампов файлов и обратного преобразования. Позволяет:

• Отображать содержимое файлов в шестнадцатеричном формате
• Анализировать структуру бинарных данных
• Изучать кодировки текста
• Выявлять паттерны в данных

Основные опции:

• -p — pure hex без адресов и текста
• -c — количество столбцов
• -l — длина вывода
• -r — обратное преобразование (hex → бинарные данные)

---

Ход работы

Подготовка данных

1. Создание тестовых файлов:

   # Файл с повторяющимися символами (низкая энтропия)
   echo "AAAAAAAAAAAAAAAAAAAAAAAA" > low_entropy.txt
   
   # Случайные данные (высокая энтропия)
   dd if=/dev/urandom bs=1 count=32 of=high_entropy.bin 2>/dev/null
   
   # Текст в UTF-8
   echo "Привет, мир! Hello, world!" > utf8.txt

2. Проверка кодировок:

   file utf8.txt
   # Должно вернуть: utf8.txt: UTF-8 Unicode text

---

Задание 1: Анализ структуры текстового файла

1. Создание hex-дампа:

   xxd low_entropy.txt

   Пример вывода:

   00000000: 4141 4141 4141 4141 4141 4141 4141 4141  AAAAAAAAAAAAAAAA
   00000010: 4141 4141 4141 4141 0a                   AAAAAAA.

2. Анализ:

   • Символ A в ASCII = 41 (hex)
   • Перевод строки = 0a
   • Повторяющийся паттерн указывает на низкую энтропию

---

Задание 2: Сравнение кодировок

1. Hex-дамп ASCII-файла:

   echo -n "Hello" > ascii.txt
   xxd ascii.txt

   Вывод:

   00000000: 4865 6c6c 6f                             Hello

2. Hex-дамп UTF-8 файла с кириллицей:

   xxd utf8.txt

   Фрагмент вывода:

   00000000: d09f d180 d0b8 d0b2 d0b5 d182 2c20 d0bc  ..........., .m

   Анализ:

   • Каждый кириллический символ кодируется 2 байтами в UTF-8
   • Буква "П" = d0 9f, "р" = d1 80 и т.д.

3. Вывод:
   UTF-8 использует переменную длину кодирования, что увеличивает избыточность по сравнению с ASCII для латинских символов, но позволяет кодировать весь Юникод.

---

Задание 3: Оценка энтропии через xxd

1. Извлечение hex-данных:

   xxd -p -c 1 low_entropy.txt | tr -d '\n' > low_entropy.hex
   # Содержимое: 414141...410a

2. Подсчет частот символов (с помощью awk):

   xxd -p low_entropy.txt | 
   cut -c10- | 
   tr -d ' \n' | 
   grep -oE '.{2}' | 
   sort | 
   uniq -c

   Вывод:

     24 41
      1 0a

3. Ручной расчет энтропии для low_entropy.txt:

   • Вероятность 41: $ p = 24/25 = 0.96 $
   • Вероятность 0a: $ p = 1/25 = 0.04 $
   • $H=-(0.96{\log }_{2}0.96+0.04{\log }_{2}0.04)\approx 0.24$ бит/символ

4. Автоматический расчет (сохраните скрипт как entropy.sh):

   #!/bin/bash
   xxd -p $1 | cut -c10- | tr -d ' \n' | grep -oE '.{2}' | 
   sort | uniq -c | 
   awk 'BEGIN {sum=0; total=0} 
        {total += $1; counts[$2] = $1} 
        END {
            for (byte in counts) {
                p = counts[byte]/total;
                sum -= p * log(p)/log(2);
            }
            print "Энтропия:", sum, "бит/байт"
        }'

   Запуск: chmod +x entropy.sh && ./entropy.sh high_entropy.bin

   Результат для случайных данных: ~7.9 бит/байт (максимум 8 бит/байт)

Почему в Задании 3 ручной и автоматический расчёты энтропии дают разные значения

В Задании 3 "Оценка энтропии через xxd" студенты могут столкнуться с ситуацией, когда ручной расчёт энтропии для файла low_entropy.txt даёт значение около 0.24 бит/байт, а автоматический расчёт через скрипт entropy.sh показывает другое значение. Это не ошибка, а следствие разных подходов к измерению энтропии. Разберём причины подробно.

---

Основные причины расхождения

1. Разные уровни анализа данных

Ручной расчёт:

• Рассматривает байты в hex-представлении как символы алфавита
• Для файла low_entropy.txt с содержимым AAAAAAAAAAAAAAAAAAAAAAAA\n:
  • Символ 41 (буква 'A') встречается 24 раза
  • Символ 0a (перевод строки) встречается 1 раз
  • Всего символов: 25
  • Энтропия рассчитывается как:
    $ H = - (0.96 \log_2 0.96 + 0.04 \log_2 0.04) \approx 0.24 $ бит/символ

Автоматический расчёт:

• Анализирует реальные байты в файле (не их hex-представление)
• Для того же файла:
  • Байт 0x41 (буква 'A') встречается 24 раза
  • Байт 0x0A (перевод строки) встречается 1 раз
  • Всего байтов: 25
  • Энтропия рассчитывается как:
    $ H = - (0.96 \log_2 0.96 + 0.04 \log_2 0.04) \approx 0.24 $ бит/байт

Важно: В данном конкретном случае значения должны совпадать, так как мы анализируем одни и те же данные. Если наблюдается расхождение, это указывает на одну из следующих проблем.

---

2. Проблемы с обработкой hex-дампа в скрипте

Скрипт entropy.sh содержит потенциальные "подводные камни":

xxd -p $1 | cut -c10- | tr -d ' \n' | grep -oE '.{2}' | 
sort | uniq -c | 
awk 'BEGIN {sum=0; total=0} 
     {total += $1; counts[$2] = $1} 
     END {
         for (byte in counts) {
             p = counts[byte]/total;
             sum -= p * log(p)/log(2);
         }
         print "Энтропия:", sum, "бит/байт"
     }'

Критические моменты:

1. cut -c10- — обрезает первые 9 символов каждой строки hex-дампа

   • В некоторых версиях xxd структура вывода может отличаться
   • Может привести к потере данных или искажению

2. grep -oE '.{2}' — разбивает hex-строку на пары символов

   • Корректно работает только если длина hex-строки кратна 2
   • При нечётной длине последний символ будет проигнорирован

3. Обработка перевода строки:

   • При использовании echo "AAA..." > file добавляется символ \n (0x0A)
   • Но при использовании echo -n "AAA..." > file символ \n отсутствует
   • Это влияет на общее количество байтов

---

3. Пример расчёта с выявленной проблемой

Создание файла:

echo "AAAAAAAAAAAAAAAAAAAAAAAA" > low_entropy.txt
# На самом деле создаётся файл с 24 'A' + символ перевода строки = 25 байт

Ручной расчёт:

• 24 байта 0x41 → вероятность 24/25 = 0.96
• 1 байт 0x0A → вероятность 1/25 = 0.04
• $ H = - (0.96 \log_2 0.96 + 0.04 \log_2 0.04) = 0.243 $ бит/байт

Что происходит в скрипте:

1. xxd -p low_entropy.txt → выводит 414141...410a (50 hex-символов)
2. cut -c10- → может обрезать часть данных (зависит от версии xxd)
3. grep -oE '.{2}' → разбивает на пары: 41,41,41,...,41,0a (25 пар)
4. Подсчёт частот: 41 — 24 раза, 0a — 1 раз
5. Расчёт энтропии: 0.243 бит/байт

Если значения различаются, вероятные причины:

• В файле больше байтов, чем ожидалось (например, при создании через текстовый редактор добавляются служебные символы)
• Ошибка в обработке hex-дампа (некорректная работа cut -c10-)
• Проблема с кодировкой (например, файл сохранён в UTF-8 с BOM)

---

Как убедиться в корректности расчётов

1. Проверка точного содержимого файла

xxd -g 1 low_entropy.txt

Это покажет точное содержимое файла в байтах, без интерпретации.

Пример корректного вывода:

00000000: 41 41 41 41 41 41 41 41 41 41 41 41 41 41 41 41  AAAAAAAAAAAAAAAA
00000010: 41 41 41 41 41 41 41 41 0a                       AAAAAAA.

2. Модифицированный скрипт для точного расчёта

#!/bin/bash
# Точный подсчёт энтропии напрямую из бинарных данных
cat $1 | 
LC_ALL=C tr -c -d '\000-\377' | 
od -t x1 -An -v | 
tr -d ' \n' | 
grep -o .. | 
sort | uniq -c | 
awk 'BEGIN {total=0; sum=0} 
     {total += $1; counts[$2] = $1} 
     END {
         for (byte in counts) {
             p = counts[byte]/total;
             sum -= p * log(p)/log(2);
         }
         printf "Энтропия: %.6f бит/байт\n", sum;
     }'

Преимущества нового скрипта:

• Не зависит от формата вывода xxd
• Обрабатывает файл как поток байтов
• Корректно работает с любыми бинарными данными

---

Объяснение для студентов

Когда вы видите расхождение между ручным и автоматическим расчётом энтропии, это обычно связано с разным пониманием того, что считать "символом" в формуле Шеннона:

1. В теории информации энтропия всегда рассчитывается для реальных байтов данных, а не для их hex-представления.

2. Ручной расчёт в лабораторной работе использует hex-коды (41, 0a) как символы алфавита, что технически верно, но может запутать, так как:

   • Hex-код 41 — это представление байта 0x41, а не сам байт
   • Формула энтропии должна применяться к реальным данным, а не к их отображению

3. Корректный подход:

   • Энтропия файла low_entropy.txt = 0.24 бит/байт
   • Это означает, что в среднем на хранение каждого байта данных требуется всего 0.24 бита информации
   • Остальные 7.76 бит/байт — избыточность, которую можно устранить сжатием

---

Практическое упражнение для понимания

1. Создайте файл с точно известным содержимым:

   printf "AAAA\n" > test.txt
   # 4 'A' (0x41) + 1 '\n' (0x0A) = 5 байт

2. Рассчитайте энтропию вручную:

   • p(0x41) = 4/5 = 0.8
   • p(0x0A) = 1/5 = 0.2
   • H = -(0.8·log₂0.8 + 0.2·log₂0.2) = 0.7219 бит/байт

3. Проверьте через утилиту ent:

   ent test.txt

   Ожидаемый результат:

   Entropy = 0.721928 bits per byte.

4. Сравните с вашим скриптом:

   ./entropy.sh test.txt

   Результат должен совпадать с ручным расчётом и выводом ent.

---

Выводы

1. Расхождение в значениях обычно вызвано:

   • Неправильной обработкой hex-дампа в скрипте
   • Неточным определением состава файла (например, неучтённые символы)
   • Разным пониманием единиц измерения (бит/символ vs бит/байт)

2. Для корректного анализа:

   • Всегда проверяйте точное содержимое файла через xxd -g 1
   • Используйте утилиту ent как эталон для сравнения

3. Образовательная ценность:

   • Эта "проблема" отлично демонстрирует, как важно чётко определить алфавит и единицы измерения при работе с теорией информации
   • Показывает разницу между данными и их представлением

Запомните: Энтропия — свойство самих данных, а не способа их отображения. Hex-кодирование, base64 или другие преобразования могут изменить вид данных, но не их информационную энтропию.

---

Задание 4: Анализ сжатых данных

1. Создание архива:

   gzip -k low_entropy.txt

2. Сравнение hex-дампов:

   xxd low_entropy.txt     # Повторяющиеся 41
   xxd low_entropy.txt.gz  # Случайные байты (высокая энтропия)

   Наблюдение:
   Сжатие устраняет избыточность, увеличивая энтропию данных до предела (8 бит/байт для идеального сжатия).

3. Проверка степени сжатия:

   ls -l low_entropy.txt low_entropy.txt.gz

   Результат:
   Исходный файл: 25 байт → Сжатый: 32 байта (но для больших файлов сжатие даст выигрыш)

---

Задание 5: Восстановление данных через xxd

1. Создание hex-дампа с сохранением в файл:

   xxd utf8.txt > utf8.hex

2. Модификация hex-данных (замена "Hello" на "Bye"):

   sed -i 's/48656c6c6f/427965/g' utf8.hex

3. Обратное преобразование:

   xxd -r utf8.hex > modified.txt
   cat modified.txt
   # Вывод: Привет, мир! Bye, world!

4. Вывод:
   xxd позволяет точно модифицировать бинарные данные, что важно для анализа целостности информации.

---

Анализ результатов

Тип данных	Энтропия (бит/байт)	Избыточность	Наблюдения
Повторяющиеся символы	0.24	97%	Высокая избыточность, идеально сжимается
Случайные данные	7.9	<1%	Близко к теоретическому максимуму
Текст UTF-8	4.8	40%	Зависит от языка и структуры текста
Сжатый файл	7.8	2.5%	Сжатие устраняет избыточность

Ключевые выводы:

1. Энтропия напрямую связана с "случайностью" данных.
2. Сжатие работает за счет устранения избыточности (уменьшения энтропии исходных данных).
3. Hex-анализ через xxd позволяет визуализировать распределение байтов и оценивать информационные характеристики.

---

Возможные ошибки и решения

Проблема	Причина	Решение
Некорректный hex-дамп	Неправильная кодировка	Укажите кодировку через iconv перед xxd
Ошибка в расчете энтропии	Нет данных для анализа	Убедитесь, что файл не пустой
Символы отображаются некорректно	Бинарные данные в текстовом режиме	Используйте xxd -p для чистого hex

---

Выводы

1. xxd — мощный инструмент для практического применения теории информации:

   • Позволяет визуализировать структуру данных на уровне байтов
   • Упрощает оценку энтропии и избыточности
   • Демонстрирует принципы кодирования и сжатия

2. Эксперименты подтверждают теоретические положения:

   • Высокая избыточность → низкая энтропия → хорошее сжатие
   • Случайные данные имеют энтропию, близкую к 8 бит/байт

3. Анализ hex-дампов критичен для:

   • Анализа файловых форматов
   • Отладки проблем с кодировками
   • Исследования эффективности алгоритмов сжатия

---

Контрольные вопросы

1. Почему энтропия случайных данных близка к 8 бит/байт?
   Потому что каждый байт (256 возможных значений) имеет равномерное распределение, и $ H_{max} = \log_2 256 = 8 $.

2. Как определить кодировку файла через xxd?
   По signature (BOM): UTF-8 начинается с ef bb bf, UTF-16 — с ff fe.

3. Почему сжатые файлы имеют высокую энтропию?
   Сжатие устраняет избыточность, делая распределение байтов более равномерным.

4. Как xxd помогает в анализе целостности данных?
   Позволяет проверить контрольные суммы и выявить битовые искажения через сравнение hex-дампов.

---

Дополнительное задание

1. Сгенерируйте файл с энтропией ровно 4 бит/байт:

   # Каждый байт содержит только 16 возможных значений (4 бита)
   for i in {0..15}; do printf "\x$(printf %x $i)"; done > 4bit_entropy.bin
   ./entropy.sh 4bit_entropy.bin

   Ожидаемый результат: Энтропия ≈ 4.0 бит/байт

2. Объясните результат:
   Мощность алфавита = 16, $ H_{max} = \log_2 16 = 4 $, равномерное распределение дает $ H = 4 $.

---

Задание 6: Анализ энтропии с помощью утилиты ent

Установка и подготовка

1. Установка ent:

   sudo apt update && sudo apt install ent -y

2. Проверка работы:

   ent /dev/urandom | head -n 5

   Пример вывода:

   Entropy = 7.999809 bits per byte.
   Optimum compression would reduce the size of this 2048 byte file by 0 percent.
   Chi square distribution for 2048 samples is 268.56, and randomly would exceed this value 25.00 percent of the times.
   Arithmetic mean value of data bytes is 127.5049 (127.5 = random).
   Monte Carlo value for Pi is 3.140030534 (error 0.05 percent).

Практический анализ

1. Сравнение энтропии разных типов данных:

   # Текстовый файл
   ent low_entropy.txt
   
   # Случайные данные
   ent high_entropy.bin
   
   # Сжатый файл
   ent low_entropy.txt.gz

2. Интерпретация результатов:

   • Для low_entropy.txt:

     Entropy = 0.576737 bits per byte.
     Optimum compression would reduce the size of this 25 byte file by 92 percent.

     Низкая энтропия подтверждает высокую избыточность (92% потенциального сжатия).

   • Для high_entropy.bin:

     Entropy = 7.857363 bits per byte.
     Optimum compression would reduce the size of this 32 byte file by 1 percent.

     Энтропия близка к теоретическому максимуму (8 бит/байт), сжатие практически невозможно.

3. Визуализация распределения байтов:

   ent -t low_entropy.txt | tail -n +3 | head -n 256 > entropy_data.csv

   Этот CSV-файл можно открыть в электронной таблице для построения гистограммы распределения байтов.

---

Задание 7: Поиск структур в бинарных файлах с помощью binwalk

Установка и подготовка

1. Установка binwalk:

   sudo apt install binwalk -y

2. Создание тестового архива с вложенным изображением:

   echo "Секретные данные" > secret.txt
   tar -czf archive.tar.gz secret.txt
   cat archive.tar.gz /usr/share/icons/gnome/48x48/apps/utilities-terminal.png > container.bin

Анализ структуры файла

1. Поиск известных сигнатур:

   binwalk container.bin

   Вывод:

   DECIMAL       HEXADECIMAL     DESCRIPTION
   --------------------------------------------------------------------------------
   0             0x0             gzip compressed data, was "secret.txt", last modified: ...
   123           0x7B            POSIX tar archive (GNU)
   10240         0x2800          PNG image, 48 x 48, 8-bit/color RGBA, non-interlaced

2. Экстракция вложенных файлов:

   binwalk -e container.bin
   ls _container.bin.extracted/
   # Вывод: 2800.png  7B.tar.gz

3. Комбинация с xxd для детального анализа:

   # Просмотр сигнатуры PNG в hex-формате
   xxd container.bin | grep -A 5 "00002800"

   Фрагмент вывода:

   00002800: 8950 4e47 0d0a 1a0a 0000 000d 4948 4452  .PNG........IHDR

   Сигнатура PNG начинается с байтов 89 50 4E 47 0D 0A 1A 0A, что подтверждает обнаружение binwalk.

---

Задание 8: Комбинированный анализ (xxd + ent + binwalk)

Сценарий: Анализ зашифрованного файла

1. Создание тестовых данных:

   # Исходный текст
   echo "Конфиденциальная информация для анализа" > source.txt
   
   # Шифрование (симулируем зашифрованные данные)
   openssl enc -aes-256-cbc -nosalt -pass pass:password -in source.txt -out encrypted.bin

2. Последовательный анализ:

   # Шаг 1: Базовый анализ через ent
   echo "=== Анализ через ent ==="
   ent source.txt encrypted.bin
   
   # Шаг 2: Поиск структур через binwalk
   echo -e "\n=== Анализ через binwalk ==="
   binwalk encrypted.bin
   
   # Шаг 3: Детальный просмотр через xxd
   echo -e "\n=== Hex-анализ через xxd ==="
   xxd -l 64 encrypted.bin

3. Интерпретация результатов:

   • ent для source.txt:

     Entropy = 4.356257 bits per byte.

     Типичная энтропия для текстовых данных.

   • ent для encrypted.bin:

     Entropy = 7.992188 bits per byte.

     Энтропия близка к максимальной, что характерно для зашифрованных данных.

   • binwalk не обнаружит известных сигнатур в зашифрованном файле, так как шифрование устраняет паттерны.

   • xxd покажет случайное распределение байтов без явных паттернов.

4. Вывод:
   Комбинация инструментов позволяет отличить зашифрованные данные от сжатых или текстовых:

   • Высокая энтропия (ent)
   • Отсутствие сигнатур (binwalk)
   • Случайное распределение байтов (xxd)

---

Дополнение раздела "Анализ результатов"

Метод анализа	Что выявляет	Пример применения в теории информации
xxd	Структуру данных на уровне байтов	Визуализация паттернов, анализ кодировок
ent	Количественные показатели энтропии	Оценка эффективности сжатия, обнаружение шифрования
binwalk	Скрытые структуры и вложенные данные	Анализ избыточности в сложных форматах

Типичные сценарии комбинированного анализа:

1. Оценка эффективности сжатия:

   • Низкая энтропия (ent) + повторяющиеся паттерны (xxd) → высокая степень сжатия
   • Высокая энтропия (ent) + отсутствие паттернов (xxd) → низкая степень сжатия

2. Обнаружение скрытых данных:

   • Наличие сигнатур (binwalk) в неожиданном месте
   • Локальные изменения энтропии (ent на сегментах)

3. Анализ шифрования:

   • Энтропия близка к 8 бит/байт (ent)
   • Отсутствие сигнатур (binwalk)
   • Равномерное распределение байтов (xxd)

---

Дополнение раздела "Выводы"

1. Комбинированный подход (xxd + ent + binwalk) обеспечивает:

   • Качественный анализ: визуализация структуры данных через xxd
   • Количественную оценку: точный расчет энтропии через ent
   • Контекстный анализ: обнаружение скрытых структур через binwalk

2. Практическое применение в теории информации:

   • Верификация теоретических моделей на реальных данных
   • Экспериментальная проверка границы Шеннона для конкретных типов данных
   • Анализ эффективности различных алгоритмов кодирования

3. Преимущества перед отдельным использованием инструментов:

   • xxd без ent не дает количественной оценки энтропии
   • ent без xxd скрывает визуальные паттерны
   • binwalk без xxd не позволяет детально изучить обнаруженные структуры

---

Новые контрольные вопросы

1. Как определить, содержит ли файл зашифрованные данные, используя ent и xxd?
   Высокая энтропия (близкая к 8 бит/байт) в ent и отсутствие повторяющихся паттернов в xxd-выводе.

2. Почему binwalk может не обнаружить сигнатуру в сжатом файле?
   Если алгоритм сжатия изменяет или удаляет сигнатуру, либо если файл зашифрован перед сжатием.

3. Как с помощью ent проверить гипотезу о равномерном распределении байтов?
   Через хи-квадрат тест: значение близкое к 50% указывает на равномерное распределение.

4. В чем преимущество использования xxd перед hexedit при анализе больших файлов?
   xxd работает в конвейере с другими утилитами (grep, awk), что позволяет автоматизировать анализ, в то время как hexedit ориентирован на интерактивное редактирование.

---

Дополнительное задание: Анализ эффективности кодирования

1. Создайте файлы с разными типами кодирования:

   # ASCII
   echo "Hello world" > ascii.txt
   
   # Base64
   base64 ascii.txt > base64.txt
   
   # Hex (через xxd)
   xxd -p ascii.txt > hex.txt

2. Сравните энтропию и размеры:

   for file in ascii.txt base64.txt hex.txt; do
       echo -n "$file: "
       ls -l $file | awk '{print $5 " bytes"}'
       ent -c $file | grep Entropy
   done

3. Проанализируйте результаты:

   • Base64 увеличивает размер на ~33%, но сохраняет высокую энтропию
   • Hex-кодирование удваивает размер и снижает энтропию
   • Энтропия в битах на исходный символ остается постоянной

4. Теоретический расчет:

   • Для ASCII: $H_{ASCII}=H_{base64}\times \frac{6}{8}$
   • Проверьте соответствие теории и практики

---

Заключение: Комбинация xxd, ent и binwalk предоставляет мощный инструментарий для практического применения теории информации. Эти утилиты позволяют не только визуализировать и количественно оценивать информационные свойства данных, но и решать прикладные задачи анализа файловых форматов, оценки эффективности кодирования и обнаружения скрытых паттернов. Эксперименты с этими инструментами подтверждают фундаментальные положения теории информации, делая абстрактные концепции (энтропия, избыточность, кодирование) осязаемыми и измеримыми.