?

Log in

No account? Create an account

Previous Entry | Next Entry

Энтропия держит цепко

Сади Карно первым понял, что не вся энергия может быть превращена в работу, а Рудольф Клаузиус придумал слово «энтропия» для обозначения этой неуловимой части. Количественно информация – это и есть изменение энтропии (с обратным знаком); по крайней мере, Шеннон с фон Нойманом именно так ее и определили.


Больше всего меня беспокоило подходящее имя. Сначала я хотел говорить об «информации», но это слово уж слишком затасканное, поэтому я склонялся в пользу «меры неопределенности». Когда я рассказал об этом Джону фон Нойману, у него возникла идея получше. Фон Нойман сказал мне: «Ты должен назвать это «энтропией», по двум причинам. Во-первых, твоя «мера неопределенности» уже была использована в статистической механике под тем самым именем. Во-вторых и в-главных, никто не знает, что такое на самом деле энтропия, так что в любом обсуждении преимущество будет на твоей стороне».

Недавняя работа японцев, подковавших блоху приручивших демона Максвелла, наделала много переполоху в популярной прессе. Но, как и во всяком вечном двигателе, процесс получения энергии из информации у них был сопряжен с потреблением гораздо большей энергии извне. Как заметил автор комментария, помещенного издателями вместе с оригинальной публикацией: «Этот эксперимент подобен производству крошечного количества энергии путем термоядерного синтеза в реакторе, требующем колоссального энергообеспечения».


Карикатура Арье Бен-Наима
на знаменитый разговор Шеннона и фон Ноймана (отсюда)

Posts from This Journal by “информация” Tag

Comments

evgeniirudnyi
Nov. 8th, 2014 08:38 am (UTC)
Если вы согласны с утверждениеями 1) и 2), то каким образом вы пришли к выводу, что энтропия меняется? Ваша логика осталась мне непонятной.
a_gorb
Nov. 8th, 2014 06:23 pm (UTC)
Сначала ответим на вопрос, что является макросостоянием. Я этого специально не оговорил из-за краткости и считая, что об этом можно догадаться из контекста.

Пусть макросостояние заключается том, что все монеты лежат орлами. Такое состояние реализуется одним способом. Любая подсистема системы из 100 монет также находится в этом же самом состоянии и тоже реализуемым одним способом. Т.е. сто орлов, как и один орел будут обладать нулевой энтропией.

Теперь пусть у нас макросостояние заключается в том, что примерно половина из 100 монет лежат орлами. Тут уже будет очень много возможных реализаций этого макросостояния. Соответственно, энтропия будет большой. Если мы разобьем 100 монет на подсистемы в том же самом макросостоянии, то число реализаций всей системы будет произведением числа реализаций подсистем, а энтропия, понятное дело, будет суммой.
---
Об аккуратном обращении с аддитивностью.
Рассмотрим еще такой пример, пусть 50 монет лежащих орлами и еще 50 монет лежащих поровну орлами и решками. Энтропия первой подсистемы ноль, второй – некая величина. Перемешаем монеты, получим состояние 25 монет из 100 лежат орлами. Останется ли число реализаций этого нового состояния таким же как и прежде?
evgeniirudnyi
Nov. 9th, 2014 08:44 am (UTC)
Я привел вам аргумент, который показывает, что энтропия двух систем

I) 50 монет лежащих орлами

II) 50 монет лежащих поровну орлами и решками

совпадает между собой. Если вы хотите сказать, что это не так, то вы должны указать, что неправильно в моих утверждения и соотвествующим образом их исправить. Обратите только внимание, что мои утверждения полностью согласуются с законами классической термодинамики.

В вашем рассуждении совершенно непонятно, каким образом число комбинаций связано с термодинамической энтропией. Ну можно посчитать число комбинаций. При чем тут однако энтропия системы, которая определяется вторым началом термодинамики? Вполне возможно, что вы говорите про какую-то другую энтропию. Вы пожалуйста более четко определите, какую энтропию вы рассматриваете и как она связана со вторым началом.
a_gorb
Nov. 9th, 2014 10:50 am (UTC)
”что неправильно в моих утверждения и соотвествующим образом их исправить”
На мой взгляд, неправильно так выделять подсистему. Т.е. при выделении подсистемы ее макросостояние не должно меняться. Приведу такой вот пример. Возьмем идеальный газ. Выделим в качестве подсистем молекулы имеющие определенную скорость (от v до v+dv), или еще утрируя и приближая к выделению одной монеты, выберем в качестве подсистемы одну молекулу. Для этих подсистем найдем число реализаций макросотояния, возьмем их логарифмы и сложим. Получим ли мы в этом случае правильную энтропию газа? Я думаю, что нет.

Поэтому, когда у вас все монеты лежат орлами, то любая часть также лежит орлами, и, таким образом, в качестве подсистемы можно взять любую часть, хоть одну монету. В случи 50 на 50 так уже сделать нельзя.

”каким образом число комбинаций связано с термодинамической энтропией”
Что бы перейти к термодинамике нужно сначала ввести энергию системы. Вот тогда уже можно будет найти температуру системы через энергию и энтропию. Предполагаю, что это можно сделать и на примере с монетами. (Кстати, надо будет сделать, возможно получится наглядный пример, если уже это не сделано:))

”Вы пожалуйста более четко определите, какую энтропию вы рассматриваете”
Энтропия есть логарифм число способов, которыми может быть реализовано данное макросостояние системы.
evgeniirudnyi
Nov. 9th, 2014 11:08 am (UTC)
Хорошое предложение. Рассмотрите пожалуйста ваш пример с точки зрения энергия и температуры. Положение орел-решка никак не влияет ни на энергию системы, на на ее температуру. Следовательно энтропия одна и таже.

Я по-моему понял вашу ошибку. Вы берете определение энтропии из ее интерпретации в рамках статистической термодинамике. При этом вы забываете, как там это определение получается. Путь к такому определению начинается с гипотезы об эргодичности рассматриваемой механической системы. Рассматриваемая же вами система не эргодична, поэтому ваша комбинаторика никак не связана с энтропий.
egovoru
Nov. 9th, 2014 02:14 pm (UTC)
А что же такое "эргодичность системы"? Звучит как-то легкомысленно ;)
evgeniirudnyi
Nov. 9th, 2014 02:26 pm (UTC)
Идея статистической механики заключается в том, чтобы заменить среднее по времени средним по ансамблю. Это однако возможно только тогда, когда среднее по времени совпадает со средним по ансамблю, или другими словами система является эргодичной.

Я не знаю буквального значения слова эргодичный. Почему оно вызвало у вас такую реакцию? Вы встречали его в других контекстах?
a_gorb
Nov. 9th, 2014 04:04 pm (UTC)
”Хорошое предложение. Рассмотрите пожалуйста ваш пример с точки зрения энергия и температуры.”
Ок. Привожу в виде картинки, т.к. ЖЖ плохо приспособлен для формул.

Энтропия

Но, кажется, я понял ход ваших рассуждений. Если рассматривать монеты как изолированные, т.е. макросостояние есть в этом случае просто указание как лежит каждая из монет, то тогда ваши рассуждения совершенно верны.
evgeniirudnyi
Nov. 10th, 2014 07:59 pm (UTC)
Я так понял, что мы обсуждаем монеты, лежащие на столе. В качестве термодинамической системы скажем рассматривается объем, касающийся стола и заключающий в себя монеты и воздух. Монеты в данной системе не изолированные, они вполне могут обмениваться энергией с воздухом и столом. Также можно допустить, что монеты касаются друг друга, на этом пути монеты могут также обмениваться энергией между собой.

Можно узнать, к какой реальной системе относятся ваши выкладки? К описанной выше или к другой? Я лично не могу себе представить, чтобы поворот монеты с орла на решку изменил температуру в системе выше.

В целом вы исходите из среднего по ансамблю. В системе, описанной выше, средние по ансамблю будут не репрезентативны, поскольку система не эргодична. Не могли бы вы пожалуйста изложить вашу точку зрения на эргодичность системы при рассмотрении среднего по ансамблю? Можно ли применять средние по ансамблю, если система не эргодична?