Подходы к определению количества информации. Количество же информации является мерой уменьшения неопределенности знания при получении информационных сообщений. Т. и. в ее количеств. В основе Т. и. лежит определенный способ измерения количества информации, содержащейся в какихлибо данных (сообщениях).

Круг задач теории информации представляется с помощью структурной схемы, типичной системы передачи или хранения информации. В схеме источником является любой объект вселенной, порождающий сообщения, которые должны быть перемещены в пространстве и времени. Модулятор преобразовывает сообщения, формируемые кодером канала, в сигналы, согласованные с физической природой канала связи или средой накопителя информации.

Информацию можно выразить как и свойство объектов, так и результат их взаимодействия. На данный момент принято считать, что информация существует независимо от того, воспринимается она или нет, но проявляется только при взаимодействии. Но стоит упомянуть, что вклад в формулировку и построение теории информации также был внесён и многими другими выдающимися учёными.

Эргономичность — свойство, характеризующее удобство формы или объема информации с точки зрения данного потребителя. Адекватность — свойство информации однозначно соответствовать отображаемому объекту или явлению. Адекватность оказывается для потребителя внутренним свойством информации, проявляющем себя через релевантность и достоверность.

Структура информации достаточно сложна и может включать различные комбинации информационных совокупностей, обладающих определённым содержанием. Логарифм по основанию 2 ввиду того, что подсчёт информации требуется в основном в компьютерной технике, где информация хранится в двоичной системе счисления. Это гипотетическая модель кодирования информации «без потерь», которая проходит через канал связи без шума, сжатием информации.

Количество информации

5. Секретная связь, системы защиты информации от несанкционированного доступа. Информационная энтропия() — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании.

2. Содержательный подход к измерению информации

Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той части информации, которая точно известна в сообщении. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Так, для измерения длины в качестве единицы выбран метр, для измерения массы — килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.

Смотреть что такое «ТЕОРИЯ ИНФОРМАЦИИ» в других словарях:

Например, на экзамене вы берете экзаменационный билет, и учитель сообщает, что зрительное информационное сообщение о его номере несет 5 битов информации. Информационная емкость знака. Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю.

Что же такое информация?

Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации «бит» (bit) получила свое название ОТ английского словосочетания «Binary digiT» — «двоичная цифра». Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).

Немного теории…

Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации. Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро. А возможно ли объективно измерить количество информации?

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Легко заметить, что если вероятности p1, …, pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binarydigit — двоичная цифра). За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений.

Эти понятия в известной степени соответствуют интуитивным представлениям о количеств. В 1928 амер. специалист по связи Р. Хартли предложил меру информации, к-рая не зависела от способов передачи и формы сигналов в передающих каналах, а также от содержания и психологич. Выбор основания логарифма а обусловливается областью применения меры информации; и т.к. с развитием вычислит. 2. Наиболее простой выбор – выбор между двумя равными возможностями, дает одну двоичную единицу информации, или бит (сокр. от англ. binary digit); при m=2, log22=1.

Тогда сообщения любых реальных источников информации, дискретных или непрерывных, можно представить конечным набором чисел или кодовых знаков, выбранных из конечного алфавита. По матем. выражению, мера количества информации совпадает с известной мерой энтропии в статистич. В семантической Т. и. пытаются преодолеть специфику абстрактных подходов и ввести количеств. В отличие от матем. Т. и., различные варианты теории семантич.

Формула (1.1) связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Определяя роль и место информации в системе диалектико-материалистич. При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Читайте также: