?

Log in

No account? Create an account

Previous Entry | Next Entry

Клод Шеннон, разрабатывая свою теорию, заведомо отказался от учета смысла высказывания при оценке его информационного содержания: «Сообщения могут иметь смысл, то есть соответствовать определенным физическим объектам или понятиям. Этот семантический аспект коммуникации не имеет никакого значения с инженерной точки зрения. Важен только выбор одного конкретного сообщения из множества возможных», пишет он в своей знаменитой статье.


А вот Рассел Стендиш предлагает другой подход: «Информация зависит от наблюдателя. Для человека, не знающего английского, «Ромео и Джульетта» будет просто ничего не значащей белибердой. Роль наблюдателя состоит в том, чтобы привязать значение к описанию, создать информацию из данных.<...> Количество информации, содержащейся в конкретном наборе данных, определяется подсчетом числа описаний, при помощи которых можно передать их смысл – чем меньше описаний, тем больше информации содержат данные».

То, что такие разные вещи называют одним словом «информация» – источник многих недоразумений. Скажем, некоторые саркастически вопрошают: ну, расшифровали последовательность человеческого генома, а что изменилось? Не понимая, что эта последовательность – информация à la Шеннон. Чтобы превратить ее в информацию по Стендишу, потребуются еще десятилетия, а то и столетия работы.


Гугл празднует столетие со дня рождения Клода Шеннона. Мне особенно нравится, какой «чубчик кучерявый» ему сделали гугло-художники :)

Posts from This Journal by “информация” Tag

Comments

egovoru
Aug. 29th, 2015 06:22 pm (UTC)
"Я уже говорил про субъективность вероятностей"

Да, я помню, что мы с Вами уже обсуждали эту тему, но она кажется мне такой интересной, что я решила вынести ее в отдельный пост.

"И кстати, эту проблему еще можно переформулировать в терминах синтаксиса (Шеннон) и семантики (Стендиш)."

Собственно, Стендиш ведь и пишет об этом в своей книжке: "For our system of interest, we suppose there to be two languages, which we call the syntactic and the semantic. <...> They both can be used to describe the system, both have their own domain of applicability, and are consistent with each other, yet do not share a common vocabulary."

Однако, его пример - статистическая механика как синтаксическое описание газа и классическая термодинамика как семантическое - не совсем точен: ведь термодинамика точно так же претендует на объективное, т.е., независимое от наблюдателя, описание, разве нет?

В его определении информации как меры смысла меня смущает предлагаемый способ ее измерения: как практически определить, сколькими способами можно передать один и тот же смысл? Скажем, смысл "Войны и мира"? Ведь у каждого читателя свой такой способ?
(no subject) - re_xor - Aug. 29th, 2015 08:42 pm (UTC) - Expand
egovoru
Aug. 30th, 2015 12:52 pm (UTC)
"Кстати, он там говорит о сложности, а не информации"

Да, но в своей книжке он ссылается именно на эту статью, когда вводит семантическое понятие информации.

Прочла первую ее часть. Предложение вычесть из числа всех возможных описаний число описаний, которые кажутся эквивалентными наблюдателю, чтобы сделать понятие информации более осмысленным, кажется мне вполне разумным.

Но как все-таки подсчитать число всех возможных описаний? Ведь интуитивно кажется, что их можно предложить бесконечное число. Да и что такое "описание"? Когда речь идет об "описании" числа, т.е., алгоритма, в конце выдающего это число, то все понятно. Но если взять стендишевский пример биологического вида - что такое его описание? Ведь, в отличие от описания числа, описание кошки отнюдь не дает саму кошку - так что нам, очевидно, потребуется какой-то способ установления адекватности описания? И какой же?

Например, "у кошки четыре ноги, позади у нее длинный хвост, но трогать ее не моги за ее малый рост, малый рост" - будет ли это считаться адекватным описанием кошки и входить в то число описаний, которое мы должны подсчитать для определения ее сложности?
(no subject) - re_xor - Aug. 30th, 2015 08:37 pm (UTC) - Expand
egovoru
Aug. 30th, 2015 08:54 pm (UTC)
"Предполагается число описаний для некоторого наблюдателя"

У меня было мелькнула мысль, что он имеет в виду одного конкретного наблюдателя, но не было уверенности, что я поняла это правильно. Действительно, для одного наблюдателя число всех возможных описаний будет конечно - столько, сколько он успеет придумать за свою конечную жизнь.

"То есть генетический код (описание) в итоге дает кошку."

В том-то и дело, что не дает - и здесь опять же сказывается разница между кошкой и числом. Генетический код кошки мы уже знаем - но это не значит, что мы сможем собрать кошку из молекул! Даже если мы синтезируем всю кошкину ДНК - что сейчас технически вполне возможно - кошки мы не получим. "Чистая" ДНК не будет способна ни к собственному удвоению, ни к производству белков - для всего этого ей нужна будет целая клетка, которую будущий котенок получает от матери (а ДНК - от матери и отца). Соответственно, генетический код не является адекватным описанием кошки в том смысле, в котором алгоритм вычисления числа им является.
(no subject) - re_xor - Aug. 30th, 2015 09:26 pm (UTC) - Expand
egovoru
Aug. 30th, 2015 10:19 pm (UTC)
"просто к генетическому коду можно добавить кодовое описание клетки"

Я думаю, что единственное описание, которое было бы полностью аналогично алгоритму, выдающему заданное число, будет то, что имеют в виду энтузиасты телепортации: перечень и пространственные координаты всех атомов, составляющих данную кошку (о виде же, как абстрактной категории, можно вообще забыть). Нечто подобное представлют собой нынешние структурные модели белков - те самые, которые составляют на основе данных рентгеноскопии. Кощка же будет описанием гигантской совокупности таких моделей.

Вот по такому описанию, имея некий 3D принтер атомарного разрешения, мы, наверное, смогли бы "собрать" кошку из подручных средств - и то при условии, что мы бы умели создавать между заданными атомами заданный тип химической связи (а для этого надо кое-что покруче, чем 3D принтер - я даже не представляю себе, как такое можно было бы технически осуществить: пришлось бы отдельно, кружными химическими путями, создавать индивидуальные молекулы, а потом уж механически объединять их).

Но даже допустим, что в нашем распоряжении есть такая техника. Далее, по Стендишу, нам предстоит исключить эквивалентные описания - то есть, описание кошки с поднятой левой лапой мы должны приравнять к описанию той же кошки с поднятой правой лапой, и т.д. Но для этого нам ведь надо иметь некое эталонное описание, с которым мы будем сравнивать все имеющиеся для того, чтибы решить, что есть "эта" кошка, а что - не эта, а откуда нам его взять?
(no subject) - re_xor - Aug. 31st, 2015 09:03 pm (UTC) - Expand
egovoru
Aug. 31st, 2015 10:36 pm (UTC)
"хорошим приближением (оценкой) будет расчет на основе генетического кода"

Вероятно, для начала имеет смысл попробовать оценить сложность не организма и даже не вида, а самого генома, т.е., считать геном не описанием, а собственно объектом, сложность (информационное содержание) которого мы хотим оценить. Таким образом мы сразу сводим задачу к оценке информационного содержания последовательности символов, т.е., остаемся в пределах хорошо освоенной математиками области.

(Кстати сказать, "генетический код" - это не сама последовательность ДНК, а набор правил соответствия определенных комбинаций нуклеотидов (мономеров ДНК) аминокислотам (мономерам белков), который позволяет "переводить" с языка ДНК на язык белка. Сама последовательность ДНК данного организма или вида будет "геном").
(no subject) - re_xor - Aug. 31st, 2015 11:02 pm (UTC) - Expand
egovoru
Sep. 1st, 2015 12:25 pm (UTC)
Да, я думаю, у биоинформатиков есть какие-то критерии сложности генома, помимо просто числа кодируемых им генов.

Правда, я не очень представляю себе, что могло бы служить "описанием" генома в стендишевском смысле - это как с последовательностью случайных чисел, описанием которой может быть только она сама. Хотя, конечно, последовательность нуклеотидов в геноме далеко не случайна, я не знаю, как его можно было бы описать при помощи более короткого алгоритма.

К геномам обычно составляют не описания, а аннотации - т.е., интерпретации: определяют, какой именно его кусок (ген) кодирует тот или иной белок. Разумеется, этих интерпретаций может быть несколько, и разные наблюдатели (лаборатории) иногда производят различающиеся их варианты, но источниками этого различия бывают ошибки. То есть, в пределе предполагается все же наличие "единственно правильного", объективного способа прочтения - т.е., совсем не то, о чем говорит Стендиш.

Тем не менее, его концепция инфорамции как функции наблюдателя все равно представляется мне интуитивно очень интересным и каким-то многообещающим ;)

(no subject) - re_xor - Sep. 2nd, 2015 01:14 am (UTC) - Expand
egovoru
Sep. 2nd, 2015 01:35 am (UTC)
Да, это вроде бы действительно о методах алгоритмического описания последовательностей ДНК, и, судя по всему, этим активно занимаются.