Энтропия в теории информации представляет собой …
|
|
меру неопределенности состояния системы | |
|
|
множество исходов эксперимента | ||
|
|
последовательность символов некоторого алфавита, предназначенную для передачи | ||
|
|
физический процесс, несущий сообщение о каком-либо событии, состоянии объекта наблюдения |
Решение:
Энтропия в теории информации – мера хаотичности информации или мера внутренней неупорядоченности информации, связана с вероятностью появления тех или иных символов при передаче сообщений.
Впервые понятия «энтропия» и «информация» связал Клод Шеннон в 1948 г. Принято считать, что любая система стремится к состоянию равновесия, то есть растет энтропия системы. Другими словами, энтропия максимальна в опытах, где все исходы равновероятны. Однако второе начало термодинамики (закон сохранения энтропии и информации) требует компенсировать рост энтропии. Информация и является средством компенсации, так как при получении информации уменьшается неопределенность, то есть энтропия системы.
Энтропия в теории информации – мера хаотичности информации или мера внутренней неупорядоченности информации, связана с вероятностью появления тех или иных символов при передаче сообщений.
Впервые понятия «энтропия» и «информация» связал Клод Шеннон в 1948 г. Принято считать, что любая система стремится к состоянию равновесия, то есть растет энтропия системы. Другими словами, энтропия максимальна в опытах, где все исходы равновероятны. Однако второе начало термодинамики (закон сохранения энтропии и информации) требует компенсировать рост энтропии. Информация и является средством компенсации, так как при получении информации уменьшается неопределенность, то есть энтропия системы.
