?

Log in

No account? Create an account

Previous Entry | Next Entry

Энтропия держит цепко

Сади Карно первым понял, что не вся энергия может быть превращена в работу, а Рудольф Клаузиус придумал слово «энтропия» для обозначения этой неуловимой части. Количественно информация – это и есть изменение энтропии (с обратным знаком); по крайней мере, Шеннон с фон Нойманом именно так ее и определили.


Больше всего меня беспокоило подходящее имя. Сначала я хотел говорить об «информации», но это слово уж слишком затасканное, поэтому я склонялся в пользу «меры неопределенности». Когда я рассказал об этом Джону фон Нойману, у него возникла идея получше. Фон Нойман сказал мне: «Ты должен назвать это «энтропией», по двум причинам. Во-первых, твоя «мера неопределенности» уже была использована в статистической механике под тем самым именем. Во-вторых и в-главных, никто не знает, что такое на самом деле энтропия, так что в любом обсуждении преимущество будет на твоей стороне».

Недавняя работа японцев, подковавших блоху приручивших демона Максвелла, наделала много переполоху в популярной прессе. Но, как и во всяком вечном двигателе, процесс получения энергии из информации у них был сопряжен с потреблением гораздо большей энергии извне. Как заметил автор комментария, помещенного издателями вместе с оригинальной публикацией: «Этот эксперимент подобен производству крошечного количества энергии путем термоядерного синтеза в реакторе, требующем колоссального энергообеспечения».


Карикатура Арье Бен-Наима
на знаменитый разговор Шеннона и фон Ноймана (отсюда)

Posts from This Journal by “информация” Tag

Comments

evgeniirudnyi
Nov. 6th, 2014 01:02 pm (UTC)
Обратите внимание, что Шеннон не отождествлял термодинамическую и информационную энтропии. В своей статье он просто упомянул, что его уравнение напоминает уравнение Больцмана без каких либо заключений по этому поводу.

Один из первых, кто отождествил две энтропии был Edwin T. Jaynes

E. T. Jaynes, Information theory and statistical mechanics, Phys. Rev. Part I: 106, 620–630 (1957), Part II: 108, 171–190 (1957)

Первая часть мне даже понравилась, но далее во второй части он дал субъективную интерпретации энтропии (энтропия - мера незнания человека) и я на этом прекратил чтение. Тем не менее следует отметить, что работы Jaynes крайне популярны в кругах ИИ.
egovoru
Nov. 6th, 2014 01:06 pm (UTC)
Да, насколько я понимаю, Шеннон вообще совершенно не интересовался термодинамикой. Что же касается субъективных интерпретаций, то я пока еще в этом не разобралась. Хотелось бы найти грамотное, но популярное изложение ;)
evgeniirudnyi
Nov. 6th, 2014 03:14 pm (UTC)
Вот например, что пишет Jaynes:

"При такой интерпретации выражение необратимый процесс означает семантическое недоразумение: не физический процесс является необратимым, а наше неспособность следовать за процессом. Второй закон термодинамики при этом становится просто утверждением, что хотя наша информация о состоянии системы может быть утеряна разными путями, единственный путь увеличить информацию заключается в проведении последующих измерений."

Кто как хочет, так и понимает. Или вот еще из статьи Jaynes

"Важно понять, что тенденция к возрастанию энтропии не является следствием законов физики как таковых ... Возрастание энтропии может произойти неизбежно как следствие нашего неполного знания сил, действующих на систему, или это может быть абсолютное произвольное действие с нашей стороны."

Я лично решил, что такое понять я не могу. Однако посмотрите на число цитирований статей Jaynes. Людям похоже нравится такой поворот дел.

Следует правда сказать, что в квантовой механике ситуация не лучше: без наблюдателя никуда.

Я меня были несколько обсуждений на эту тему на everything-list и я задокументировал мои примеры, которые показывают с моей точки зрения неправомерность отождествления двух энтропий, в заметке Entropy and Information.
egovoru
Nov. 7th, 2014 12:33 pm (UTC)
Боюсь, что упомянутые Вами статьи Джейнса далеко за пределами моих возможностей - нашла их сети, но они, конечно, для профессионалов, для меня выглядят устрашающе :(

Но, насколько я поняла из приведенных Вами цитат, он тяготеет к некоему более симметричному миру, чем тот, в котором действует второй закон термодинамики.

"неправомерность отождествления двух энтропий"

А не могли бы Вы дать конкретную ссылку, а то я не знаю, что такое "everything-list"?
evgeniirudnyi
Nov. 7th, 2014 02:37 pm (UTC)
У граждан, которые занимаются статистической механикой, действительно остаются иллюзии, что можно еще найти лазейку, чтобы побороть второй закон. Ведь статистическая механика например не запрещает ситуацию, когда стакан воды, стоящий в комнате, самопроизвольно закипает.

Поиск

Everything List - Google Groups

приводит к everything-list. Там правда разная публика и разное качество постов. Иногда впрочем бывает занятно.
(no subject) - re_xor - Nov. 6th, 2014 11:36 pm (UTC) - Expand
egovoru
Nov. 7th, 2014 12:43 pm (UTC)
Спасибо за наводку. Действительно, он написал по крайней мере полдюжины книг про энтропию, и их вроде вполне можно раздобыть, несмотря на то, что издает он их почему-то в Сингапуре ;)

Нашла даже в сети главу одной из них - вот, если тоже захотите взглянуть; сама я ее пока не прочла.
evgeniirudnyi
Nov. 7th, 2014 04:24 pm (UTC)
Глава в целом неплохая. Только вот данное утверждение совершенно неправильно

"it should be mentioned that the concept of entropy is defined in thermodynamics only for equilibrium states"

Также непонятен поиск дескрипторов (замены для энтропии). Энтропия - это хорошо определенная функция состояния, которая прекрасно измеряется и применяется на практике. Какие еще дескрипторы нужны и зачем?
(no subject) - re_xor - Nov. 7th, 2014 10:23 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 8th, 2014 08:43 am (UTC) - Expand
(no subject) - re_xor - Nov. 8th, 2014 09:19 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 08:29 am (UTC) - Expand
egovoru
Nov. 8th, 2014 01:15 pm (UTC)
"Какие еще дескрипторы нужны и зачем"

Возможно, автору просто не нравится само это слово, его греческое происхождение. Этакая "Беседа любителей русского слова" ;)

Конечно, приятно, когда смысл термина отражается в его звучании - как, например, в нашем языке в случае "силы" и "давления". Но, скажем, выступать против иноязычной "температуры" уже никому не приходит в голову - она уже вполне укоренилась в обиходе. Как заметил уважаемый a_gorb, слово "энтропия" тоже весьма популярно, так что, наверное, действительно нет нужды искать ему какую-то замену.
egovoru
Nov. 8th, 2014 01:56 pm (UTC)
Кажется (но я еще не дочитала главу до конца), автор, как и Вы, не склонен считать, что термодинамическая и теоретически-информационная энтропия - это одно и то же; собственно, именно это он и считает основанием для необходимости переименования энтропии:

"However, once we do that, we should be careful not to reuse the same term for another concept as this will cause a huge confusion. That is exactly what happened when Shannon himself accepted the suggestion to rename his measure “entropy.”"



Edited at 2014-11-08 01:56 pm (UTC)
(no subject) - evgeniirudnyi - Nov. 8th, 2014 02:34 pm (UTC) - Expand
(no subject) - egovoru - Nov. 8th, 2014 03:01 pm (UTC) - Expand
(no subject) - re_xor - Nov. 7th, 2014 10:17 pm (UTC) - Expand
(no subject) - egovoru - Nov. 8th, 2014 03:33 pm (UTC) - Expand
evgeniirudnyi
Nov. 7th, 2014 04:41 pm (UTC)
На скору руку я не нашел ничего такого, чтобы понять идею автора. Сам по себе он похоже знает термодинамику, что уже неплохо.

Хочу отметить только одно обстоятельство. Энтропия например зависит от температуры и давления. Если отождествить ее с информацией, то получится, что информация также зависит от температуры и давления. Было бы интересно узнать, как автор справляется с этим вопросом.
egovoru
Nov. 8th, 2014 03:40 pm (UTC)
Он считает, что термодинамическая энтропия - частный случай шенноновской; см. выше цитаты из его текста.

Edited at 2014-11-08 03:41 pm (UTC)
(no subject) - evgeniirudnyi - Nov. 9th, 2014 08:35 am (UTC) - Expand
(no subject) - egovoru - Nov. 9th, 2014 01:59 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 02:21 pm (UTC) - Expand
(no subject) - egovoru - Nov. 9th, 2014 02:27 pm (UTC) - Expand
(no subject) - egovoru - Nov. 28th, 2014 03:32 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 28th, 2014 07:42 pm (UTC) - Expand
(no subject) - egovoru - Nov. 29th, 2014 01:10 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 30th, 2014 07:22 pm (UTC) - Expand
(no subject) - a_gorb - Nov. 30th, 2014 07:09 pm (UTC) - Expand
(no subject) - egovoru - Dec. 1st, 2014 12:07 am (UTC) - Expand
(no subject) - a_gorb - Dec. 1st, 2014 05:22 pm (UTC) - Expand
(no subject) - egovoru - Dec. 2nd, 2014 03:12 am (UTC) - Expand
(no subject) - a_gorb - Dec. 2nd, 2014 06:59 pm (UTC) - Expand
(no subject) - egovoru - Dec. 2nd, 2014 07:16 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 4th, 2014 07:22 pm (UTC) - Expand
(no subject) - egovoru - Dec. 5th, 2014 01:21 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 5th, 2014 06:37 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 09:12 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 6th, 2014 10:15 am (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 10:49 am (UTC) - Expand
(no subject) - egovoru - Dec. 6th, 2014 01:26 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 02:26 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 6th, 2014 05:33 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 8th, 2014 04:50 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 8th, 2014 08:36 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 10th, 2014 08:02 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 10th, 2014 08:26 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 13th, 2014 10:57 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 13th, 2014 03:57 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 10:14 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 14th, 2014 10:58 am (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 11:06 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 14th, 2014 02:22 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 05:34 pm (UTC) - Expand
(no subject) - egovoru - Dec. 14th, 2014 05:45 pm (UTC) - Expand
(no subject) - praeinant - Dec. 12th, 2014 10:12 am (UTC) - Expand
(no subject) - a_gorb - Dec. 12th, 2014 01:12 pm (UTC) - Expand
egovoru
Nov. 29th, 2014 02:03 pm (UTC)
Добралась до одной из его книжек, ссылка на несколько глав из которой ведет из моего последнего поста. Остальная часть книжки представляет собой упражнения в комбинаторике, которые я пропустила, решив, что мне и так известно то, что автор хочет ими сказать ;) А вот почему он решил, что статистический характер второго начала исключает однонаправленность времени, я не поняла - по-моему, это просто неверно?