?

Log in

No account? Create an account

Previous Entry | Next Entry

Энтропия держит цепко

Сади Карно первым понял, что не вся энергия может быть превращена в работу, а Рудольф Клаузиус придумал слово «энтропия» для обозначения этой неуловимой части. Количественно информация – это и есть изменение энтропии (с обратным знаком); по крайней мере, Шеннон с фон Нойманом именно так ее и определили.


Больше всего меня беспокоило подходящее имя. Сначала я хотел говорить об «информации», но это слово уж слишком затасканное, поэтому я склонялся в пользу «меры неопределенности». Когда я рассказал об этом Джону фон Нойману, у него возникла идея получше. Фон Нойман сказал мне: «Ты должен назвать это «энтропией», по двум причинам. Во-первых, твоя «мера неопределенности» уже была использована в статистической механике под тем самым именем. Во-вторых и в-главных, никто не знает, что такое на самом деле энтропия, так что в любом обсуждении преимущество будет на твоей стороне».

Недавняя работа японцев, подковавших блоху приручивших демона Максвелла, наделала много переполоху в популярной прессе. Но, как и во всяком вечном двигателе, процесс получения энергии из информации у них был сопряжен с потреблением гораздо большей энергии извне. Как заметил автор комментария, помещенного издателями вместе с оригинальной публикацией: «Этот эксперимент подобен производству крошечного количества энергии путем термоядерного синтеза в реакторе, требующем колоссального энергообеспечения».


Карикатура Арье Бен-Наима
на знаменитый разговор Шеннона и фон Ноймана (отсюда)

Posts from This Journal by “информация” Tag

Comments

(no subject) - re_xor - Nov. 6th, 2014 11:36 pm (UTC) - Expand
egovoru
Nov. 7th, 2014 12:43 pm (UTC)
Спасибо за наводку. Действительно, он написал по крайней мере полдюжины книг про энтропию, и их вроде вполне можно раздобыть, несмотря на то, что издает он их почему-то в Сингапуре ;)

Нашла даже в сети главу одной из них - вот, если тоже захотите взглянуть; сама я ее пока не прочла.
evgeniirudnyi
Nov. 7th, 2014 04:24 pm (UTC)
Глава в целом неплохая. Только вот данное утверждение совершенно неправильно

"it should be mentioned that the concept of entropy is defined in thermodynamics only for equilibrium states"

Также непонятен поиск дескрипторов (замены для энтропии). Энтропия - это хорошо определенная функция состояния, которая прекрасно измеряется и применяется на практике. Какие еще дескрипторы нужны и зачем?
(no subject) - re_xor - Nov. 7th, 2014 10:23 pm (UTC) - Expand
evgeniirudnyi
Nov. 8th, 2014 08:43 am (UTC)
Такая логика как раз не проходит. Рассмотрим например утверждение, что в изолированной системе энтропия достигает максимума. Если взять точку зрения автора, то максимум достигается по отношению только к равновесным системам, что явно не так. Максимум достигается по отношению ко всем возможных состояниям, как равновесным, так и неравновесным.
(no subject) - re_xor - Nov. 8th, 2014 09:19 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 08:29 am (UTC) - Expand
egovoru
Nov. 8th, 2014 01:15 pm (UTC)
"Какие еще дескрипторы нужны и зачем"

Возможно, автору просто не нравится само это слово, его греческое происхождение. Этакая "Беседа любителей русского слова" ;)

Конечно, приятно, когда смысл термина отражается в его звучании - как, например, в нашем языке в случае "силы" и "давления". Но, скажем, выступать против иноязычной "температуры" уже никому не приходит в голову - она уже вполне укоренилась в обиходе. Как заметил уважаемый a_gorb, слово "энтропия" тоже весьма популярно, так что, наверное, действительно нет нужды искать ему какую-то замену.
egovoru
Nov. 8th, 2014 01:56 pm (UTC)
Кажется (но я еще не дочитала главу до конца), автор, как и Вы, не склонен считать, что термодинамическая и теоретически-информационная энтропия - это одно и то же; собственно, именно это он и считает основанием для необходимости переименования энтропии:

"However, once we do that, we should be careful not to reuse the same term for another concept as this will cause a huge confusion. That is exactly what happened when Shannon himself accepted the suggestion to rename his measure “entropy.”"



Edited at 2014-11-08 01:56 pm (UTC)
evgeniirudnyi
Nov. 8th, 2014 02:34 pm (UTC)
Нет, судя по названием его книг, например

A farewell to entropy: statistical thermodynamics based on information

он считает возможным заменить энтропию на информацию. Хотя возможно на этом пути он дает свое собственное определение информации. Было бы интересно найти краткое описание его идеи.

Просто вначале он показывает, что другие дескрипторы такие как хаос не способны заменить энтропию.
(no subject) - egovoru - Nov. 8th, 2014 03:01 pm (UTC) - Expand
(no subject) - re_xor - Nov. 7th, 2014 10:17 pm (UTC) - Expand
egovoru
Nov. 8th, 2014 03:33 pm (UTC)
Я ее прочла. Кажется, эта его книжка действительно именно о том, в чем я хотела бы разобраться, и пишет он вполне внятно - так что еще раз Вам спасибо. К сожалению, подробное рассмотрение связи между термодинамической и шенноновской энтропиями он обещает в последующих главах, которые издатели не сочли нужным выложить в сети :(
evgeniirudnyi
Nov. 7th, 2014 04:41 pm (UTC)
На скору руку я не нашел ничего такого, чтобы понять идею автора. Сам по себе он похоже знает термодинамику, что уже неплохо.

Хочу отметить только одно обстоятельство. Энтропия например зависит от температуры и давления. Если отождествить ее с информацией, то получится, что информация также зависит от температуры и давления. Было бы интересно узнать, как автор справляется с этим вопросом.
egovoru
Nov. 8th, 2014 03:40 pm (UTC)
Он считает, что термодинамическая энтропия - частный случай шенноновской; см. выше цитаты из его текста.

Edited at 2014-11-08 03:41 pm (UTC)
evgeniirudnyi
Nov. 9th, 2014 08:35 am (UTC)
На этом пути надо все-таки вначале разобраться с тем, что такое информация. Вот например в термодинамических таблицах вы найдете колонки с энтропией. Знакомы ли вы с термодинамическими таблицами?

Я лично не вижу никакого смысла в замене слова энтропия в данном контексте на информация. На этот вопрос я пока не видел ни одного разумного ответа. Что означает например выражение "информация в одном моле серебра при стандартных условиях"?
egovoru
Nov. 9th, 2014 01:59 pm (UTC)
"не вижу никакого смысла в замене слова энтропия в данном контексте на информация"

Но ведь и автор этого вовсе не предлагает ;)
(no subject) - evgeniirudnyi - Nov. 9th, 2014 02:21 pm (UTC) - Expand
(no subject) - egovoru - Nov. 9th, 2014 02:27 pm (UTC) - Expand
(no subject) - egovoru - Nov. 28th, 2014 03:32 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 28th, 2014 07:42 pm (UTC) - Expand
(no subject) - egovoru - Nov. 29th, 2014 01:10 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 30th, 2014 07:22 pm (UTC) - Expand
(no subject) - a_gorb - Nov. 30th, 2014 07:09 pm (UTC) - Expand
(no subject) - egovoru - Dec. 1st, 2014 12:07 am (UTC) - Expand
(no subject) - a_gorb - Dec. 1st, 2014 05:22 pm (UTC) - Expand
(no subject) - egovoru - Dec. 2nd, 2014 03:12 am (UTC) - Expand
(no subject) - a_gorb - Dec. 2nd, 2014 06:59 pm (UTC) - Expand
(no subject) - egovoru - Dec. 2nd, 2014 07:16 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 4th, 2014 07:22 pm (UTC) - Expand
(no subject) - egovoru - Dec. 5th, 2014 01:21 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 5th, 2014 06:37 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 09:12 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 6th, 2014 10:15 am (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 10:49 am (UTC) - Expand
(no subject) - egovoru - Dec. 6th, 2014 01:26 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 02:26 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 6th, 2014 05:33 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 8th, 2014 04:50 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 8th, 2014 08:36 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 10th, 2014 08:02 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 10th, 2014 08:26 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 13th, 2014 10:57 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 13th, 2014 03:57 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 10:14 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 14th, 2014 10:58 am (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 11:06 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 14th, 2014 02:22 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 05:34 pm (UTC) - Expand
(no subject) - egovoru - Dec. 14th, 2014 05:45 pm (UTC) - Expand
(no subject) - praeinant - Dec. 12th, 2014 10:12 am (UTC) - Expand
(no subject) - a_gorb - Dec. 12th, 2014 01:12 pm (UTC) - Expand
egovoru
Nov. 29th, 2014 02:03 pm (UTC)
Добралась до одной из его книжек, ссылка на несколько глав из которой ведет из моего последнего поста. Остальная часть книжки представляет собой упражнения в комбинаторике, которые я пропустила, решив, что мне и так известно то, что автор хочет ими сказать ;) А вот почему он решил, что статистический характер второго начала исключает однонаправленность времени, я не поняла - по-моему, это просто неверно?