?

Log in

No account? Create an account

Previous Entry | Next Entry

Энтропия держит цепко

Сади Карно первым понял, что не вся энергия может быть превращена в работу, а Рудольф Клаузиус придумал слово «энтропия» для обозначения этой неуловимой части. Количественно информация – это и есть изменение энтропии (с обратным знаком); по крайней мере, Шеннон с фон Нойманом именно так ее и определили.


Больше всего меня беспокоило подходящее имя. Сначала я хотел говорить об «информации», но это слово уж слишком затасканное, поэтому я склонялся в пользу «меры неопределенности». Когда я рассказал об этом Джону фон Нойману, у него возникла идея получше. Фон Нойман сказал мне: «Ты должен назвать это «энтропией», по двум причинам. Во-первых, твоя «мера неопределенности» уже была использована в статистической механике под тем самым именем. Во-вторых и в-главных, никто не знает, что такое на самом деле энтропия, так что в любом обсуждении преимущество будет на твоей стороне».

Недавняя работа японцев, подковавших блоху приручивших демона Максвелла, наделала много переполоху в популярной прессе. Но, как и во всяком вечном двигателе, процесс получения энергии из информации у них был сопряжен с потреблением гораздо большей энергии извне. Как заметил автор комментария, помещенного издателями вместе с оригинальной публикацией: «Этот эксперимент подобен производству крошечного количества энергии путем термоядерного синтеза в реакторе, требующем колоссального энергообеспечения».


Карикатура Арье Бен-Наима
на знаменитый разговор Шеннона и фон Ноймана (отсюда)

Posts from This Journal by “информация” Tag

Comments

evgeniirudnyi
Nov. 7th, 2014 06:45 am (UTC)
В вашем пример с монетами термодинамическая энтропия не меняется.

1) Энтропия одной монеты не меняется при переходе из состояния орел в решка.

2) Энтропия системы является суммой энтропий подсистем. Энтропия, как и энергия являются аддитивными функциями.
verum_corpus
Nov. 7th, 2014 02:20 pm (UTC)
2) Если я правильно понимаю, в волновой (квантовой) механике это не так.
evgeniirudnyi
Nov. 7th, 2014 02:25 pm (UTC)
А что, в квантовой механике существует энтропия?

Или квантовая механика подходит к описанию коллекции монет в конфигурации орёл - решка?
verum_corpus
Nov. 7th, 2014 02:32 pm (UTC)
Ну можно представить, например, вместо монет спины электронов в атоме (?).
evgeniirudnyi
Nov. 7th, 2014 03:19 pm (UTC)
Видите, мы имеем случай, когда ситуцию в макромире нельзя переносить на микромир. Или если хотите, когда ситуацию из микромира нельзя переность на макромир.
verum_corpus
Nov. 7th, 2014 04:05 pm (UTC)
IMHO энтропия 100 монет не зависит от их поворотов не потому, что энтропия - аддитивная функция, а потому, что между монетами нет физического взаимодействия.
evgeniirudnyi
Nov. 7th, 2014 04:14 pm (UTC)
Аддитивность и отсутствие взаимодействия связаны между собой. Ведь аддитивность означает, что энергия системы - это сумма энергий подсистем

U = U1 + U2 + U3 ...

В термодинамике пренебрегают взаимодействиями между подсистемами.

a_gorb
Nov. 7th, 2014 08:43 pm (UTC)
”энтропия не меняется”
Меняется

”1) Энтропия одной монеты не меняется при переходе из состояния орел в решка.”
Да, энтропия состояния одной монеты орел или состояния решка будет одной и той же. Удобно ее принять равной нулю.

”2) Энтропия системы является суммой энтропий подсистем.”
Да. Если мы возьмем сто орлов, то по-прежнему будет энтропия ноль. Так же будет ноль, если мы возьмем сто решек.

”Энтропия, как и энергия являются аддитивными функциями.”
Да. Но аддитивность здесь надо понимать аккуратно, она может оказаться разной для энергии и энтропии.
evgeniirudnyi
Nov. 8th, 2014 08:38 am (UTC)
Если вы согласны с утверждениеями 1) и 2), то каким образом вы пришли к выводу, что энтропия меняется? Ваша логика осталась мне непонятной.
a_gorb
Nov. 8th, 2014 06:23 pm (UTC)
Сначала ответим на вопрос, что является макросостоянием. Я этого специально не оговорил из-за краткости и считая, что об этом можно догадаться из контекста.

Пусть макросостояние заключается том, что все монеты лежат орлами. Такое состояние реализуется одним способом. Любая подсистема системы из 100 монет также находится в этом же самом состоянии и тоже реализуемым одним способом. Т.е. сто орлов, как и один орел будут обладать нулевой энтропией.

Теперь пусть у нас макросостояние заключается в том, что примерно половина из 100 монет лежат орлами. Тут уже будет очень много возможных реализаций этого макросостояния. Соответственно, энтропия будет большой. Если мы разобьем 100 монет на подсистемы в том же самом макросостоянии, то число реализаций всей системы будет произведением числа реализаций подсистем, а энтропия, понятное дело, будет суммой.
---
Об аккуратном обращении с аддитивностью.
Рассмотрим еще такой пример, пусть 50 монет лежащих орлами и еще 50 монет лежащих поровну орлами и решками. Энтропия первой подсистемы ноль, второй – некая величина. Перемешаем монеты, получим состояние 25 монет из 100 лежат орлами. Останется ли число реализаций этого нового состояния таким же как и прежде?
evgeniirudnyi
Nov. 9th, 2014 08:44 am (UTC)
Я привел вам аргумент, который показывает, что энтропия двух систем

I) 50 монет лежащих орлами

II) 50 монет лежащих поровну орлами и решками

совпадает между собой. Если вы хотите сказать, что это не так, то вы должны указать, что неправильно в моих утверждения и соотвествующим образом их исправить. Обратите только внимание, что мои утверждения полностью согласуются с законами классической термодинамики.

В вашем рассуждении совершенно непонятно, каким образом число комбинаций связано с термодинамической энтропией. Ну можно посчитать число комбинаций. При чем тут однако энтропия системы, которая определяется вторым началом термодинамики? Вполне возможно, что вы говорите про какую-то другую энтропию. Вы пожалуйста более четко определите, какую энтропию вы рассматриваете и как она связана со вторым началом.
a_gorb
Nov. 9th, 2014 10:50 am (UTC)
”что неправильно в моих утверждения и соотвествующим образом их исправить”
На мой взгляд, неправильно так выделять подсистему. Т.е. при выделении подсистемы ее макросостояние не должно меняться. Приведу такой вот пример. Возьмем идеальный газ. Выделим в качестве подсистем молекулы имеющие определенную скорость (от v до v+dv), или еще утрируя и приближая к выделению одной монеты, выберем в качестве подсистемы одну молекулу. Для этих подсистем найдем число реализаций макросотояния, возьмем их логарифмы и сложим. Получим ли мы в этом случае правильную энтропию газа? Я думаю, что нет.

Поэтому, когда у вас все монеты лежат орлами, то любая часть также лежит орлами, и, таким образом, в качестве подсистемы можно взять любую часть, хоть одну монету. В случи 50 на 50 так уже сделать нельзя.

”каким образом число комбинаций связано с термодинамической энтропией”
Что бы перейти к термодинамике нужно сначала ввести энергию системы. Вот тогда уже можно будет найти температуру системы через энергию и энтропию. Предполагаю, что это можно сделать и на примере с монетами. (Кстати, надо будет сделать, возможно получится наглядный пример, если уже это не сделано:))

”Вы пожалуйста более четко определите, какую энтропию вы рассматриваете”
Энтропия есть логарифм число способов, которыми может быть реализовано данное макросостояние системы.
evgeniirudnyi
Nov. 9th, 2014 11:08 am (UTC)
Хорошое предложение. Рассмотрите пожалуйста ваш пример с точки зрения энергия и температуры. Положение орел-решка никак не влияет ни на энергию системы, на на ее температуру. Следовательно энтропия одна и таже.

Я по-моему понял вашу ошибку. Вы берете определение энтропии из ее интерпретации в рамках статистической термодинамике. При этом вы забываете, как там это определение получается. Путь к такому определению начинается с гипотезы об эргодичности рассматриваемой механической системы. Рассматриваемая же вами система не эргодична, поэтому ваша комбинаторика никак не связана с энтропий.
egovoru
Nov. 9th, 2014 02:14 pm (UTC)
А что же такое "эргодичность системы"? Звучит как-то легкомысленно ;)
(no subject) - evgeniirudnyi - Nov. 9th, 2014 02:26 pm (UTC) - Expand
a_gorb
Nov. 9th, 2014 04:04 pm (UTC)
”Хорошое предложение. Рассмотрите пожалуйста ваш пример с точки зрения энергия и температуры.”
Ок. Привожу в виде картинки, т.к. ЖЖ плохо приспособлен для формул.

Энтропия

Но, кажется, я понял ход ваших рассуждений. Если рассматривать монеты как изолированные, т.е. макросостояние есть в этом случае просто указание как лежит каждая из монет, то тогда ваши рассуждения совершенно верны.
(no subject) - evgeniirudnyi - Nov. 10th, 2014 07:59 pm (UTC) - Expand