?

Log in

No account? Create an account

Previous Entry | Next Entry

Клод Шеннон, разрабатывая свою теорию, заведомо отказался от учета смысла высказывания при оценке его информационного содержания: «Сообщения могут иметь смысл, то есть соответствовать определенным физическим объектам или понятиям. Этот семантический аспект коммуникации не имеет никакого значения с инженерной точки зрения. Важен только выбор одного конкретного сообщения из множества возможных», пишет он в своей знаменитой статье.


А вот Рассел Стендиш предлагает другой подход: «Информация зависит от наблюдателя. Для человека, не знающего английского, «Ромео и Джульетта» будет просто ничего не значащей белибердой. Роль наблюдателя состоит в том, чтобы привязать значение к описанию, создать информацию из данных.<...> Количество информации, содержащейся в конкретном наборе данных, определяется подсчетом числа описаний, при помощи которых можно передать их смысл – чем меньше описаний, тем больше информации содержат данные».

То, что такие разные вещи называют одним словом «информация» – источник многих недоразумений. Скажем, некоторые саркастически вопрошают: ну, расшифровали последовательность человеческого генома, а что изменилось? Не понимая, что эта последовательность – информация à la Шеннон. Чтобы превратить ее в информацию по Стендишу, потребуются еще десятилетия, а то и столетия работы.


Гугл празднует столетие со дня рождения Клода Шеннона. Мне особенно нравится, какой «чубчик кучерявый» ему сделали гугло-художники :)

Posts from This Journal by “информация” Tag

  • – Одно из двух, – прошелестел он

    Популярное изложение идеи Джона Уилера «It from bit» («Все из бита»), уже давно меня интригующей, нашлось в книжке Леонарда Сасскинда. Сасскинд…

  • Лишь символ – все бренное, что в мире сменяется

    Позвольте, уважаемые, задать вам такой вопрос: сколько информации содержит молекула ДНК, состоящая из 10 нуклеотидов? Большинство из вас, вероятно,…

  • Не надо мне числа

    Замена классического бита на квантовый не помогла мне приблизиться к пониманию тех, кто полагает, что «в основе мира лежит информация».…

Comments

( 31 comments — Leave a comment )
alek_morse
Aug. 29th, 2015 12:21 am (UTC)
Как сказал Шерлок Холмс:

- Впереди расшифровка. И пусть мне позавидуют все британские египтологи! (с)
vlkamov
Aug. 29th, 2015 03:28 am (UTC)
Иногда И. по второй версии называют "знание", хотя это тоже не совсем верно.
egovoru
Aug. 29th, 2015 10:57 am (UTC)
Да, Стендиш вроде бы имеет в виду именно то, что мы называем "знанием". Правда, это последнее мы вроде бы не стремимся точно подсчитывать (хотя и говорим "много знания - много печали" ;) а вот Стендиш ведь говорит именно о количестве такого рода информации.

Метод, который он предлагает для его определения - подсчет числа способов, которыми можно передать смысл - кажется мне каким-то сомнительным: а что такое "смысл"? И как учитывать, насколько хорошо произошла его передача?

У Стендиша есть специальная статья именно об этом, но я пока ее еще не собралась с духом ее прочесть.
evgeniirudnyi
Aug. 29th, 2015 06:40 am (UTC)
Шеннон решает инженерную задачу, когда требует без ошибок передать заданное количество битов. Чему соответсвует последовательность битов инженера не волнует.
egovoru
Aug. 29th, 2015 11:07 am (UTC)
Да, именно. А как Вы думаете, представление об информации как мере смысла может быть чем-то полезным? Меня, признаться, само слово "смысл" очень смущает: интуитивно вроде бы понятно, что это значит, но попробуй определи его строго!

Да и метод подсчета такой осмысленной информации, который предлагает Стендиш, кажется мне каким-то не слишком практичным: как на деле определить это самое число способов, которыми можно передать смысл? Разве оно заранее задано? Ведь, наверное, можно изобретать все новые и новые такие способы - вроде того, как писатели пишут все новые и новые романы на все те же базовые сюжеты?

У Стендиша есть еще отдельная статья, на которую он ссылается в своей книжке, но я пока что не рискнула ее прочесть.
evgeniirudnyi
Aug. 29th, 2015 11:41 am (UTC)
Не думаю, что смысл можно формализовать. Например, возьмем ваше утверждение

"Чтобы превратить ее [последовательность человеческого генома] в информацию по Стендишу, потребуются еще десятилетия, а то и столетия работы"

Что, собственно говоря, произойдет через десятиления или столетия? Какой смысл выведут из ДНК? Например,

"Мир состоит из атомов"
"Смысл жизни состоит в расшифровке структуры ДНК"
"Биология занимается фундаментальными научными проблемами"

Или вы предполагаете другие смыслы?
egovoru
Aug. 29th, 2015 11:51 am (UTC)
Ну, с геномом-то как раз, мне кажется, достаточно понятно: прояснить его смысл - это значит установить, каким образом работа каждого гена проявляется в свойствах организма ( с учетом того, что многие свойства определяются координированной работой десятков и даже сотен генов, что степень работы гена зависит от условий среды и т.д.).

А вот как быть, например, со смыслом "Войны и мира"? Ведь каждый новый читатель видит в этом романе какой-то свой смысл? Стендиш, правда, и говорит, что информация зависит от читателя - но в то же время подразумевает вроде бы и какой-то объективный смысл?

Тем не менее, его предложение кажется мне интересным, хотя я пока что не очень отчетливо представляю себе, к каким последствиям может привести такая "субъективизация" информации. Оно показалось мне в чем-то созвучным моим собственным рассуждениям о природе идей.

Edited at 2015-08-29 12:15 pm (UTC)
(no subject) - evgeniirudnyi - Aug. 29th, 2015 12:21 pm (UTC) - Expand
(no subject) - egovoru - Aug. 29th, 2015 12:24 pm (UTC) - Expand
(no subject) - evgeniirudnyi - Aug. 29th, 2015 01:56 pm (UTC) - Expand
(no subject) - egovoru - Aug. 29th, 2015 02:06 pm (UTC) - Expand
hyperboreus
Aug. 29th, 2015 02:02 pm (UTC)
Я тоже с сомнением воспринял фразу о "подсчете числа описаний". Всех возможных описаний? Тогда это число будет все время стремиться к бесконечности..
egovoru
Aug. 29th, 2015 02:13 pm (UTC)
Я подозреваю, что здесь опять же сказывается математический платонизм Стендиша - т.е., представление о независимом от нашего сознания существовании математических истин. С его точки зрения, смысл - это не то, что мы привносим в сообщение, а то, что в нем "изначально" содержится. Примерно так, как все возможные следствия уже содержатся в некоей теореме независимо от того, уже додумались мы до них, или еще нет. По-видимому, он думает, что число всех возможных описаний смысла можно как-то заранее подсчитать, но я не поняла, как именно он предлагает это сделать.

Вот в этой статье, возможно, он излагает свои мысли более подробно.

Edited at 2015-08-29 02:18 pm (UTC)
(no subject) - hyperboreus - Aug. 29th, 2015 02:21 pm (UTC) - Expand
(no subject) - egovoru - Aug. 29th, 2015 02:43 pm (UTC) - Expand
egovoru
Apr. 30th, 2016 01:28 pm (UTC)
Сегодня Гугл празднует столетие со дня рождения Шеннона - посмотрите, какой симпатичный дудл они ему нарисовали! Я даже вставила его в этот пост ;)
(no subject) - re_xor - Aug. 29th, 2015 05:41 pm (UTC) - Expand
egovoru
Aug. 29th, 2015 06:22 pm (UTC)
"Я уже говорил про субъективность вероятностей"

Да, я помню, что мы с Вами уже обсуждали эту тему, но она кажется мне такой интересной, что я решила вынести ее в отдельный пост.

"И кстати, эту проблему еще можно переформулировать в терминах синтаксиса (Шеннон) и семантики (Стендиш)."

Собственно, Стендиш ведь и пишет об этом в своей книжке: "For our system of interest, we suppose there to be two languages, which we call the syntactic and the semantic. <...> They both can be used to describe the system, both have their own domain of applicability, and are consistent with each other, yet do not share a common vocabulary."

Однако, его пример - статистическая механика как синтаксическое описание газа и классическая термодинамика как семантическое - не совсем точен: ведь термодинамика точно так же претендует на объективное, т.е., независимое от наблюдателя, описание, разве нет?

В его определении информации как меры смысла меня смущает предлагаемый способ ее измерения: как практически определить, сколькими способами можно передать один и тот же смысл? Скажем, смысл "Войны и мира"? Ведь у каждого читателя свой такой способ?
(no subject) - re_xor - Aug. 29th, 2015 08:42 pm (UTC) - Expand
egovoru
Aug. 30th, 2015 12:52 pm (UTC)
"Кстати, он там говорит о сложности, а не информации"

Да, но в своей книжке он ссылается именно на эту статью, когда вводит семантическое понятие информации.

Прочла первую ее часть. Предложение вычесть из числа всех возможных описаний число описаний, которые кажутся эквивалентными наблюдателю, чтобы сделать понятие информации более осмысленным, кажется мне вполне разумным.

Но как все-таки подсчитать число всех возможных описаний? Ведь интуитивно кажется, что их можно предложить бесконечное число. Да и что такое "описание"? Когда речь идет об "описании" числа, т.е., алгоритма, в конце выдающего это число, то все понятно. Но если взять стендишевский пример биологического вида - что такое его описание? Ведь, в отличие от описания числа, описание кошки отнюдь не дает саму кошку - так что нам, очевидно, потребуется какой-то способ установления адекватности описания? И какой же?

Например, "у кошки четыре ноги, позади у нее длинный хвост, но трогать ее не моги за ее малый рост, малый рост" - будет ли это считаться адекватным описанием кошки и входить в то число описаний, которое мы должны подсчитать для определения ее сложности?
(no subject) - re_xor - Aug. 30th, 2015 08:37 pm (UTC) - Expand
(no subject) - egovoru - Aug. 30th, 2015 08:54 pm (UTC) - Expand
(no subject) - re_xor - Aug. 30th, 2015 09:26 pm (UTC) - Expand
(no subject) - egovoru - Aug. 30th, 2015 10:19 pm (UTC) - Expand
(no subject) - re_xor - Aug. 31st, 2015 09:03 pm (UTC) - Expand
(no subject) - egovoru - Aug. 31st, 2015 10:36 pm (UTC) - Expand
(no subject) - re_xor - Aug. 31st, 2015 11:02 pm (UTC) - Expand
(no subject) - egovoru - Sep. 1st, 2015 12:25 pm (UTC) - Expand
(no subject) - re_xor - Sep. 2nd, 2015 01:14 am (UTC) - Expand
(no subject) - egovoru - Sep. 2nd, 2015 01:35 am (UTC) - Expand
egovoru
Apr. 30th, 2016 01:25 pm (UTC)
Сегодня Гугл празднует столетие со дня рождения Шеннона - посмотрите, какой симпатичный дудл они ему нарисовали! Я даже вставила его в этот пост ;)

Edited at 2016-04-30 01:25 pm (UTC)
( 31 comments — Leave a comment )