?

Log in

No account? Create an account

Previous Entry | Next Entry

Энтропия держит цепко

Сади Карно первым понял, что не вся энергия может быть превращена в работу, а Рудольф Клаузиус придумал слово «энтропия» для обозначения этой неуловимой части. Количественно информация – это и есть изменение энтропии (с обратным знаком); по крайней мере, Шеннон с фон Нойманом именно так ее и определили.


Больше всего меня беспокоило подходящее имя. Сначала я хотел говорить об «информации», но это слово уж слишком затасканное, поэтому я склонялся в пользу «меры неопределенности». Когда я рассказал об этом Джону фон Нойману, у него возникла идея получше. Фон Нойман сказал мне: «Ты должен назвать это «энтропией», по двум причинам. Во-первых, твоя «мера неопределенности» уже была использована в статистической механике под тем самым именем. Во-вторых и в-главных, никто не знает, что такое на самом деле энтропия, так что в любом обсуждении преимущество будет на твоей стороне».

Недавняя работа японцев, подковавших блоху приручивших демона Максвелла, наделала много переполоху в популярной прессе. Но, как и во всяком вечном двигателе, процесс получения энергии из информации у них был сопряжен с потреблением гораздо большей энергии извне. Как заметил автор комментария, помещенного издателями вместе с оригинальной публикацией: «Этот эксперимент подобен производству крошечного количества энергии путем термоядерного синтеза в реакторе, требующем колоссального энергообеспечения».


Карикатура Арье Бен-Наима
на знаменитый разговор Шеннона и фон Ноймана (отсюда)

Posts from This Journal by “информация” Tag

  • – Одно из двух, – прошелестел он

    Популярное изложение идеи Джона Уилера «It from bit» («Все из бита»), уже давно меня интригующей, нашлось в книжке Леонарда Сасскинда. Сасскинд…

  • Лишь символ – все бренное, что в мире сменяется

    Позвольте, уважаемые, задать вам такой вопрос: сколько информации содержит молекула ДНК, состоящая из 10 нуклеотидов? Большинство из вас, вероятно,…

  • Не надо мне числа

    Замена классического бита на квантовый не помогла мне приблизиться к пониманию тех, кто полагает, что «в основе мира лежит информация».…

Comments

( 87 comments — Leave a comment )
evgeniirudnyi
Nov. 6th, 2014 01:02 pm (UTC)
Обратите внимание, что Шеннон не отождествлял термодинамическую и информационную энтропии. В своей статье он просто упомянул, что его уравнение напоминает уравнение Больцмана без каких либо заключений по этому поводу.

Один из первых, кто отождествил две энтропии был Edwin T. Jaynes

E. T. Jaynes, Information theory and statistical mechanics, Phys. Rev. Part I: 106, 620–630 (1957), Part II: 108, 171–190 (1957)

Первая часть мне даже понравилась, но далее во второй части он дал субъективную интерпретации энтропии (энтропия - мера незнания человека) и я на этом прекратил чтение. Тем не менее следует отметить, что работы Jaynes крайне популярны в кругах ИИ.
egovoru
Nov. 6th, 2014 01:06 pm (UTC)
Да, насколько я понимаю, Шеннон вообще совершенно не интересовался термодинамикой. Что же касается субъективных интерпретаций, то я пока еще в этом не разобралась. Хотелось бы найти грамотное, но популярное изложение ;)
evgeniirudnyi
Nov. 6th, 2014 03:14 pm (UTC)
Вот например, что пишет Jaynes:

"При такой интерпретации выражение необратимый процесс означает семантическое недоразумение: не физический процесс является необратимым, а наше неспособность следовать за процессом. Второй закон термодинамики при этом становится просто утверждением, что хотя наша информация о состоянии системы может быть утеряна разными путями, единственный путь увеличить информацию заключается в проведении последующих измерений."

Кто как хочет, так и понимает. Или вот еще из статьи Jaynes

"Важно понять, что тенденция к возрастанию энтропии не является следствием законов физики как таковых ... Возрастание энтропии может произойти неизбежно как следствие нашего неполного знания сил, действующих на систему, или это может быть абсолютное произвольное действие с нашей стороны."

Я лично решил, что такое понять я не могу. Однако посмотрите на число цитирований статей Jaynes. Людям похоже нравится такой поворот дел.

Следует правда сказать, что в квантовой механике ситуация не лучше: без наблюдателя никуда.

Я меня были несколько обсуждений на эту тему на everything-list и я задокументировал мои примеры, которые показывают с моей точки зрения неправомерность отождествления двух энтропий, в заметке Entropy and Information.
(no subject) - egovoru - Nov. 7th, 2014 12:33 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 7th, 2014 02:37 pm (UTC) - Expand
(no subject) - re_xor - Nov. 6th, 2014 11:36 pm (UTC) - Expand
(no subject) - egovoru - Nov. 7th, 2014 12:43 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 7th, 2014 04:24 pm (UTC) - Expand
(no subject) - re_xor - Nov. 7th, 2014 10:23 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 8th, 2014 08:43 am (UTC) - Expand
(no subject) - re_xor - Nov. 8th, 2014 09:19 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 08:29 am (UTC) - Expand
(no subject) - egovoru - Nov. 8th, 2014 01:15 pm (UTC) - Expand
(no subject) - egovoru - Nov. 8th, 2014 01:56 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 8th, 2014 02:34 pm (UTC) - Expand
(no subject) - egovoru - Nov. 8th, 2014 03:01 pm (UTC) - Expand
(no subject) - re_xor - Nov. 7th, 2014 10:17 pm (UTC) - Expand
(no subject) - egovoru - Nov. 8th, 2014 03:33 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 7th, 2014 04:41 pm (UTC) - Expand
(no subject) - egovoru - Nov. 8th, 2014 03:40 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 08:35 am (UTC) - Expand
(no subject) - egovoru - Nov. 9th, 2014 01:59 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 02:21 pm (UTC) - Expand
(no subject) - egovoru - Nov. 9th, 2014 02:27 pm (UTC) - Expand
(no subject) - egovoru - Nov. 28th, 2014 03:32 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 28th, 2014 07:42 pm (UTC) - Expand
(no subject) - egovoru - Nov. 29th, 2014 01:10 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 30th, 2014 07:22 pm (UTC) - Expand
(no subject) - a_gorb - Nov. 30th, 2014 07:09 pm (UTC) - Expand
(no subject) - egovoru - Dec. 1st, 2014 12:07 am (UTC) - Expand
(no subject) - a_gorb - Dec. 1st, 2014 05:22 pm (UTC) - Expand
(no subject) - egovoru - Dec. 2nd, 2014 03:12 am (UTC) - Expand
(no subject) - a_gorb - Dec. 2nd, 2014 06:59 pm (UTC) - Expand
(no subject) - egovoru - Dec. 2nd, 2014 07:16 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 4th, 2014 07:22 pm (UTC) - Expand
(no subject) - egovoru - Dec. 5th, 2014 01:21 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 5th, 2014 06:37 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 09:12 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 6th, 2014 10:15 am (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 10:49 am (UTC) - Expand
(no subject) - egovoru - Dec. 6th, 2014 01:26 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 6th, 2014 02:26 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 6th, 2014 05:33 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 8th, 2014 04:50 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 8th, 2014 08:36 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 10th, 2014 08:02 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 10th, 2014 08:26 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 13th, 2014 10:57 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 13th, 2014 03:57 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 10:14 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 14th, 2014 10:58 am (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 11:06 am (UTC) - Expand
(no subject) - evgeniirudnyi - Dec. 14th, 2014 02:22 pm (UTC) - Expand
(no subject) - a_gorb - Dec. 14th, 2014 05:34 pm (UTC) - Expand
(no subject) - egovoru - Dec. 14th, 2014 05:45 pm (UTC) - Expand
(no subject) - praeinant - Dec. 12th, 2014 10:12 am (UTC) - Expand
(no subject) - a_gorb - Dec. 12th, 2014 01:12 pm (UTC) - Expand
(no subject) - egovoru - Nov. 29th, 2014 02:03 pm (UTC) - Expand
a_gorb
Nov. 6th, 2014 04:37 pm (UTC)
Эпиграф (не относящийся к делу, но забавный):
«… низко склонив голову над этим почтенным документом, я не без труда прочитал выцветший текст:
ТЕЛЕЦ ГАММА ПЛАНЕТ ДО ЧЕРТА НО СЛАВА БОГУ БЕЗЛЮДНЫХ В ПЕРИГЕЛИИ БОЛОТИСТЫЕ В АФЕЛИИ ОБЛЕДЕНЕЛЫЕ ВСЕ ЭТО ПАСКУДНАЯ ЭНТРОПИЯ И НИЧЕГО БОЛЬШЕ ТОЧКА

Я еще раз взглянул на архаический астротелекс, и словно пелена упала с моих глаз: я понял, что название ЭНТЕРОПИЯ возникло просто из «паскудной энтропии», перевранной каким-то делопроизводителем»
[Станислав Лем. Осмотр на месте]

”Рудольф Клаузиус придумал слово "энтропия" для обозначения этой неуловимой части.”
Не совсем так, но это не важно.
”Как заметил автор комментария, помещенного издателями вместе с оригинальной публикацией: "Этот эксперимент подобен производству крошечного количества энергии путем слияния ядер в реакторе, требующем колоссального энергообеспечения".”
Это камушек в огород не упомянутых японцев, а скорее в область исследований контролируемого термоядерного синтеза. Ну, или в обоих. Так, что замечательный многозначный комментарий.

Хотя мне вот лично не понятно, почему иногда так «носятся» с этой энтропией. Ведь штука очень простая. Вот бросили штук сто монет. Все упали орлами – энтропия минимальна. Примерно поровну орлами и решками – энтропия максимальна. Вот собственно и все содержание энтропии.


Edited at 2014-11-06 04:51 pm (UTC)
evgeniirudnyi
Nov. 7th, 2014 06:45 am (UTC)
В вашем пример с монетами термодинамическая энтропия не меняется.

1) Энтропия одной монеты не меняется при переходе из состояния орел в решка.

2) Энтропия системы является суммой энтропий подсистем. Энтропия, как и энергия являются аддитивными функциями.
verum_corpus
Nov. 7th, 2014 02:20 pm (UTC)
2) Если я правильно понимаю, в волновой (квантовой) механике это не так.
evgeniirudnyi
Nov. 7th, 2014 02:25 pm (UTC)
А что, в квантовой механике существует энтропия?

Или квантовая механика подходит к описанию коллекции монет в конфигурации орёл - решка?
(no subject) - verum_corpus - Nov. 7th, 2014 02:32 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 7th, 2014 03:19 pm (UTC) - Expand
(no subject) - verum_corpus - Nov. 7th, 2014 04:05 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 7th, 2014 04:14 pm (UTC) - Expand
a_gorb
Nov. 7th, 2014 08:43 pm (UTC)
”энтропия не меняется”
Меняется

”1) Энтропия одной монеты не меняется при переходе из состояния орел в решка.”
Да, энтропия состояния одной монеты орел или состояния решка будет одной и той же. Удобно ее принять равной нулю.

”2) Энтропия системы является суммой энтропий подсистем.”
Да. Если мы возьмем сто орлов, то по-прежнему будет энтропия ноль. Так же будет ноль, если мы возьмем сто решек.

”Энтропия, как и энергия являются аддитивными функциями.”
Да. Но аддитивность здесь надо понимать аккуратно, она может оказаться разной для энергии и энтропии.
evgeniirudnyi
Nov. 8th, 2014 08:38 am (UTC)
Если вы согласны с утверждениеями 1) и 2), то каким образом вы пришли к выводу, что энтропия меняется? Ваша логика осталась мне непонятной.
(no subject) - a_gorb - Nov. 8th, 2014 06:23 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 08:44 am (UTC) - Expand
(no subject) - a_gorb - Nov. 9th, 2014 10:50 am (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 11:08 am (UTC) - Expand
(no subject) - egovoru - Nov. 9th, 2014 02:14 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 9th, 2014 02:26 pm (UTC) - Expand
(no subject) - a_gorb - Nov. 9th, 2014 04:04 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Nov. 10th, 2014 07:59 pm (UTC) - Expand
egovoru
Nov. 7th, 2014 01:04 pm (UTC)
"ВСЕ ЭТО ПАСКУДНАЯ ЭНТРОПИЯ"

Действительно, едва ли какое другое понятие физики может похвастаться такой популярностью в народе ;) Тимур Кибиров вон даже целую поэму про нее написал - это оттуда я взяла свое заглавие ;)

"Не совсем так, но это не важно"

Если не так, то поправьте, пожалуйста - а то я, конечно, давно подзабыла и то немногое, что знала из физики. Я имела в виду просто вот это: dU = TdS - PdV.

"Это камушек в огород не упомянутых японцев"

Похоже, однако, что эта предосторожность редакции мало помогла: большинство анонсов этой работы в популярной прессе описывает ее, как изобретение вечного двигателя ;)

"Ведь штука очень простая"

Насколько я понимаю, фон Нойман именно это и имел в виду: что шенноновское определение энтропии интуитивно более понятно, чем больцмановское, и уж тем более чем макроскопическое (которое вовсе, на мой взгляд, непонятно).

"почему иногда так «носятся» с этой энтропией"

Этот мой текст - продолжение нашей беседы с уважаемым re_xor о том, лежат ли "биты" в основе мира. Это он рассказал мне про этих "демонических" японцев - в ответ на мое замечание, что информацию нельзя непосредственно обратить в энергию/массу, т.е., материю. Соответственно, я и решила припомнить - а почему, собственно, нельзя?




evgeniirudnyi
Nov. 7th, 2014 03:03 pm (UTC)
"фон Нойман именно это и имел в виду: что шенноновское определение энтропии интуитивно более понятно, чем больцмановское, и уж тем более чем макроскопическое (которое вовсе, на мой взгляд, непонятно)"

В этом состоит основная проблема с энтропией. Люди почему-то думают, что концепция энтропии в статистической механике более понятна, чем в классической термодинамике. Далее как следствие классическая термодинамика игнорируется, что в свою очередь приводит к крайне странным высказываниям, которые уже просто невозможно понять.

Нельзя забывать, что термодинамика была создана для решения практических задач. Попробуйте решить эти задачи, начав с уравнения Больцмана. Ведь ничего же не получится.

Простой пример - расслаивание раствора. Недавно я в ходе обсуждения с биосемиотиками написал Entropy and Miscibility Gap: Tutorial for Biologists, где есть все уравнения для крайне простого случая. Попробуйте решить эту задачу с использованием уравнения Больцмана. Тогда разговор будет более предметным.
egovoru
Nov. 8th, 2014 01:03 pm (UTC)
"Попробуйте решить эту задачу с использованием уравнения Больцмана"

Конечно, для решения разных задач требуются разные модели, и термодинамика здесь не исключение.

Здесь у меня задача - попытаться понять логику тех, кто считает, что в основе мира лежит информация. Перекинуть мостик от информации к циклу Карно как-то сложнее, чем к статистической механике.
(no subject) - evgeniirudnyi - Nov. 8th, 2014 01:11 pm (UTC) - Expand
a_gorb
Nov. 7th, 2014 08:38 pm (UTC)
”Я имела в виду просто вот это: dU = TdS - PdV.”
Ок. Это я просто придирался, извините. Я же и сказал «не совсем так», а не «не так»:). Разница между энергией и работой, как вы справедливо написали, это TdS, а не dS.

”большинство анонсов этой работы в популярной прессе описывает ее, как изобретение вечного двигателя ;)”
Обычное дело со стороны журналистов.

”шенноновское определение энтропии интуитивно более понятно, чем больцмановское, и уж тем более чем макроскопическое (которое вовсе, на мой взгляд, непонятно).”
Ну кому что понятнее:)

”Этот мой текст - продолжение нашей беседы”
Тут я не про вас, а вообще …, т.е. имел в виду, что «едва ли какое другое понятие физики может похвастаться такой популярностью в народе». А вот почему это так, вопрос интересный.
egovoru
Nov. 8th, 2014 01:19 pm (UTC)
"А вот почему это так, вопрос интересный"

Возможно, все дело в той формулировке второго закона, которая гласит, что в замкнутой системе беспорядок может только возрастать - такая перспектива вызывает уж очень конкретную эмоциональную реакцию в приложении к обыденной жизни ;)
(no subject) - a_gorb - Nov. 8th, 2014 06:28 pm (UTC) - Expand
(no subject) - egovoru - Nov. 8th, 2014 06:31 pm (UTC) - Expand
(no subject) - a_gorb - Nov. 9th, 2014 10:59 am (UTC) - Expand
(no subject) - egovoru - Nov. 9th, 2014 02:12 pm (UTC) - Expand
(no subject) - egovoru - Nov. 29th, 2014 02:12 pm (UTC) - Expand
( 87 comments — Leave a comment )