Клод Шеннон - NiNa.Az

В Википедии есть статьи о других людях с фамилией Шеннон.

Клод Э́лвуд Ше́ннон (англ. Claude Elwood Shannon; 30 апреля 1916 (1916-04-30), Петоски, Мичиган, США — 24 февраля 2001, Медфорд, Массачусетс, США) — американский инженер, криптоаналитик и математик. Считается «отцом информационного века».

Клод Элвуд Шеннон
англ. Claude Elwood Shannon
Дата рождения	30 апреля 1916(1916-04-30)^[…]
Место рождения	Петоски, Мичиган, США
Дата смерти	24 февраля 2001(2001-02-24)^[…](84 года)
Место смерти	Медфорд, Мидлсекс, Массачусетс, США
Страна	США
Род деятельности	математик, криптограф, специалист в области информатики, изобретатель, преподаватель университета, инженер, генетик
Научная сфера	электротехника, теория информации, кибернетика, математика, криптография
Место работы	Массачусетский технологический институт Bell Labs Институт перспективных исследований
Альма-матер	Мичиганский университет (1936) Массачусетский технологический институт (1940) Gaylord High School^[вд] (1932)
Учёная степень	доктор философии (1940), бакалавр наук (1936) и магистр наук^[вд] (1937)
Научный руководитель	Вэнивар Буш ^[англ.]
Известен как	автор фундаментальных трудов по теории информации, электротехнике и криптографии
Награды и премии	Премия им. А. Нобеля (1940); Премия Морриса Либманна (1949); Медаль Стюарта Баллантайна (1955); Гиббсовская лекция (1963); Медаль Почёта IEEE (1966); Премия Шеннона (1972); Премия Харви (1972); Премия Гарольда Пендера (1978); Медаль Джона Фрица (1983); Премия Киото (1985); Национальный зал славы изобретателей (2004)
Медиафайлы на Викискладе

Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации (в статье «Математическая теория связи»). Кроме того, понятие энтропии было важной особенностью теории Шеннона. Он продемонстрировал, что введённая им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. Статьи Шеннона «Математическая теория связи» и «Теория связи в секретных системах» считаются основополагающими для теории информации и криптографии. Клод Шеннон был одним из первых, кто подошёл к криптографии с научной точки зрения, он первым сформулировал её теоретические основы и ввёл в рассмотрение многие основные понятия. Шеннон внёс ключевой вклад в теорию вероятностных схем, теорию игр, теорию автоматов и теорию систем управления — области наук, входящие в понятие «кибернетика».

Биография

Детство и юность

Клод Шеннон родился 30 апреля 1916 года в городе Петоски (штат Мичиган, США). Отец его, Клод-старший (1862—1934), был бизнесменом, добившимся успеха своими собственными силами, адвокатом и в течение некоторого времени судьёй. Мать Шеннона, Мейбел Вулф Шеннон (1890—1945), была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Отец Шеннона обладал математическим складом ума. Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрёл стиральную машину наряду с другой полезной в сельском хозяйстве техникой. Томас Эдисон был дальним родственником Шеннонов.

Первые шестнадцать лет своей жизни Клод провёл в Гэйлорде (Мичиган), где в 1932 году окончил Гэйлордскую общеобразовательную среднюю школу. В юности он работал курьером в компании Western Union, которая в те годы специализировалась на доставке телеграмм. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолётов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось ремонтировать радиостанции для местного универмага.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

Университетские годы

В 1932 году Шеннон был зачислен в Мичиганский университет, где на одном из курсов познакомился с работами Джорджа Буля. В 1936 году Клод окончил Мичиганский университет, получив степень бакалавра по двум специальностям (математик и электротехник), и устроился в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем. Он выполнял обязанности оператора на механическом вычислительном устройстве, аналоговом компьютере, называемом «дифференциальный анализатор», разработанным его научным руководителем Вэниваром Бушем. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шеннон увидел, что концепции Буля могут получить достойное применение. После того, как он проработал лето 1937 года в Bell Telephone Laboratories, он написал основанную на своей магистерской работе того же года статью «Символический анализ релейных и переключательных схем». ^[англ.] контролировал магистерскую диссертацию, давал полезные советы и критику. Сама статья была опубликована в 1938 году в издании ^[англ.] (AIEE). В этой работе Шеннон показал, что переключающиеся схемы могут быть использованы для замены схем с электромеханическими реле, которые использовались тогда для маршрутизации телефонных вызовов. Затем он расширил эту концепцию, показав, что эти схемы могут решить все проблемы, которые позволяет решить Булева алгебра. Также, в последней главе он представляет заготовки нескольких схем, например, 4-разрядного сумматора. За эту статью Шеннон был награждён Премией имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Доказанная возможность реализовывать любые логические вычисления в электрических цепях легла в основу проектирования цифровых схем. А цифровые цепи — это, как известно, основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов XX столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шеннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT. Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шеннону принять участие в работе по генетике, которую вела . Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шеннона. Сам Шеннон, проведя лето в ^[англ.], заинтересовался нахождением математического фундамента для законов наследования Менделя. Докторская диссертация Шеннона, получившая название «Алгебра теоретической генетики», была завершена весной 1940 года. Однако эта работа не была выпущена в свет вплоть до 1993 года, пока она не появилась в сборнике Шеннона «Collected Papers». Его исследования могли стать весьма важными в противном случае, но бо́льшая часть этих результатов была получена независимо от него. Шеннон получает докторскую степень по математике и степень магистра по электротехнике. После этого он не возвращался к исследованиям в биологии.

Шеннон также был заинтересован в применении математики в информационных системах, таких как системы связи. После очередного лета, проведённого в Bell Labs, в 1940 году Шеннон на один академический год стал научным сотрудником в Институте перспективных исследований в Принстоне, штат Нью-Джерси, США. Там он работал под руководством известного математика Германа Вейля, а также имел возможность обсудить свои идеи с влиятельными учёными и математиками, среди которых был Джон фон Нейман. Он также имел случайные встречи с Альбертом Эйнштейном и Куртом Гёделем. Шеннон свободно работал в различных дисциплинах, и эта способность, возможно, способствовала дальнейшему развитию его математической теории информации.

Военное время

Весной 1941 года он возвращается в компанию Bell Labs в рамках контракта с секцией D-2 (секция систем управления) Национального исследовательского комитета обороны США (NDRC), где он проработает до 1956 года. Со вступлением США во Вторую мировую войну Т. Фрай возглавил работу над программой для систем управления огнём для противовоздушной обороны. Шеннон присоединился к группе Фрая и работал над устройствами обнаружения самолётов противника и наведения на них зенитных установок, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

Также в лаборатории Белл Шеннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию.

Шеннону приписывают изобретение сигнальных ориентированных графов в 1942 году. Он вывел предельную формулу усиления при исследовании функциональной работы аналогового компьютера.

В начале 1943 года Шеннон вступил в контакт с ведущим британским математиком Аланом Тьюрингом. Тьюринг прибыл в Вашингтон, чтобы поделиться с криптоаналитической службой США методами, использующимися тогда в в центре правительственной связи, в Блетчли-парке, чтобы раскрыть шифр, используемый на подводных лодках Кригсмарине в северной части Атлантического океана. Он также заинтересовался шифрованием речи и с этой целью уделил некоторое время «Bell Labs». Шеннон и Тьюринг встретились за чашкой чая. Тьюринг показал Шеннону документ, который теперь известен как «Универсальная машина Тьюринга». Это впечатлило Шеннона, так как многие из идей Тьюринга дополняли его собственные идеи.

В 1945 году, когда война подходила к концу, Национальный исследовательский комитет обороны США выпускал сводку технических отчётов в качестве последнего шага до своего окончательного закрытия. В нём присутствовало специальное эссе под названием «Усреднение данных и прогнозирование для систем управления огнём» совместного соавторства Шеннона, ^[англ.] и ^[англ.], формально относящееся к проблеме усреднения данных в системах управления огнём по аналогии с «проблемой разделения сигнала от помех в системах связи.» Другими словами, они моделировали эту проблему с точки зрения обработки данных и сигналов и тем самым возвестили приход Информационного Века.

В конце войны он подготовил секретный меморандум для Bell Labs под названием «Математическая теория криптографии», датированный сентябрём 1945 года. Эта статья была рассекречена и опубликована в 1949 году как «Теория связи в секретных системах» в Bell System Technical Journal. Не будет преувеличением сказать, что эта статья своим появлением обозначила переход криптографии из искусства в полноценную науку. Шеннон доказал, что криптосистемы одноразовых блокнотов нерушимы с криптографической точки зрения. Он также доказал, что любая криптографически нерушимая система должна иметь по существу те же характеристики, что и одноразовый блокнот: ключ должен быть выбран случайным образом, причём должен быть столь же большим как открытый текст, а также должен никогда не использоваться повторно полностью или частично, и, конечно, храниться в секрете. Теория связи и криптография развивались одновременно, и «они были так близко друг к другу, что невозможно разделить их». Шеннон объявил о своём намерении «развивать эти результаты… в предстоящем меморандуме о передаче информации».

Послевоенное время

В 1948 году обещанный меморандум появился как статья „Математическая теория связи“ в двух частях, соответственно, в июле и октябре в Bell System Technical Journal. Эта работа посвящена проблеме кодирования передаваемой информации. В этой фундаментальной работе Шеннон использовал инструменты теории вероятностей, разработанные Норбертом Винером, которые находились в зарождающейся стадии относительно их применения к теории связи в то время. Также Шеннон ввёл важное определение информационной энтропии как меры неопределённости информации в сообщениях. Эта статья по сути положила начало такой науке, как теория информации.

После 1948 года Шеннон провёл много значимых исследований в теории информации.

Шеннон также занимался изучением теории игр. Он пытался создать всевозможные машины, которые всегда должны были следовать наиболее выигрышным стратегиям. Например, Шеннон занимался разработкой принципов построения шахматных программ (задолго до того, как такие программы начали практически реализовываться специалистами различных стран). В конце 1940-х — начале 1950-х годов он предложил две стратегии поиска наилучшего хода в данной позиции. Одна определяла тотальный перебор возможных ходов с построением разветвлённого дерева вариантов, а вторая — использование шахматных знаний для отсечения малоперспективных вариантов.

Ещё одной сферой приложений интересов Клода Шеннона в теории игр являлась игра в рулетку. Совместно с Эдом Торпом, профессором MIT, Шеннон в 1961 году создал аналоговое вычислительное устройство размером с пачку сигарет, управляемое четырьмя кнопками для ввода информации о скорости вращения колеса рулетки, которое помогало игроку „правильно“ сделать ставку. По утверждению Эда Торпа, это устройство было испытано ими в 1961 году в казино Лас Вегас, обеспечив выигрыш в 44 % (при этом сам факт существования такого устройства авторы хранили в секрете до 1966 года). Некоторые (однако, далеко не все) детали этого устройства были описаны в статье, опубликованной в Review of the Statistical Institute, 1969, vol. 37:3.

В те же 1950-е годы Шеннон создал машину, которая „читала мысли“ при игре в „монетку“: человек загадывал „орёл“ или „решку“, а машина отгадывала с вероятностью выше 1/2, потому что человек никак не может избежать каких-либо закономерностей, которые машина может использовать.

С 1950 по 1956 год Шеннон занимался теорией игр, в том числе созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. В 1952 году Шеннон разработал обучаемую механическую мышку, которая могла находить выход из лабиринта. Также он реализовал шуточную машину „Ultimate Machine“, другое имя которой — „Useless Machine“. Идея этой машины — при переключении выключателя в положение „On“ появляется „палец“, который возвращает этот тумблер в первоначальное положение „Off“. Дополнительно он построил устройство, которое может собирать кубик Рубика.

Шеннон также считается основоположником идеи сжатия информации без потерь и её распаковки. Он разрабатывал теории, которые позволяют убрать всю ненужную избыточность в сообщениях адресанта. Причём, если они отправляются через зашумлённый канал, то всевозможная информация, направленная только на нахождение ошибок при передаче сообщения, может добавиться обратно к сообщению.

Клод Шеннон

Шеннон уходит из Bell Labs в 1956 году, но он продолжает консультировать их. Интересуется приложением теории информации к теории игр и к финансовой математике. Он также продолжает работу в MIT до 1978 года. Шеннон оставил после себя школу учеников. Существовала группа, усердно занимающаяся теорией информации в MIT, которых курировал Шеннон. Студенты видели в нём кумира. Однако Шеннон не преподавал университетские курсы лекций, но довольно часто проводил семинары, на которых он также не любил давать стандартные, изученные им самим вещи. Однако он импровизировал на них и каждый раз получал что-то новое или рассматривал старые задачи с другой, новой стороны. Кстати говоря, Шеннон не любил писать научные статьи по той же самой причине, однако понимал, что это необходимо делать для развития науки.

В конце 1960-х — 1970-е годы он плодотворно занимался финансовой математикой. Сначала он изучал опубликованные данные о пенсионных и других фондах и в итоге собрал электрическую цепь, которая показывала „денежное течение“ в США. Но особенно его заинтересовала теория выбора инвестиционного портфеля. В этой дисциплине Шеннон вместе с ^[англ.] пытался решить проблему распределения активов, сущность которой состоит в следующем: „Как лучше всего диверсифицировать инвестиционный портфель при различных возможностях инвестирования“.

Выйдя на пенсию в 1978 году, Шеннон много времени уделял своему давнему увлечению — жонглированию. Он построил несколько жонглирующих машин и даже создал общую теорию жонглирования (ещё в 1940-х годах он катался, одновременно жонглируя, на одноколёсном велосипеде по коридорам Bell Labs). Например, в 1983 году Шеннон сконструировал машину-жонглёра, сделанную буквально из подручных средств, которая была одета так, чтобы быть похожей на Филдса Уильяма. Машина умела жонглировать тремя металлическими шариками.

В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон произнёс короткую речь, пожонглировал тремя мячиками, а затем раздал сотни и сотни автографов изумлённым его присутствием учёным и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому учёному. Один из участников тогда сказал: „Это было, как если бы сэр Исаак Ньютон появился на конференции по физике“.

В 1993 году выпустил сборник Collected Papers, в которых он собирает 127 написанных им статей с 1938 до 1982 года.

Последние годы жизни

У Шеннона развилась болезнь Альцгеймера, и последние несколько лет своей жизни он провёл в доме престарелых в штате Массачусетс. За ним ухаживала вся семья. Клод Шеннон ушёл из жизни 24 февраля 2001 года. Его жена, Мэри Элизабет Мур Шеннон, заявила в своём некрологе, что если бы это не было необходимо для исследования способов лечения болезни Альцгеймера, то „Он был бы смущён“ всем этим.

Личная жизнь

27 марта, 1949 года, Шеннон женился на Мэри Элизабет Мур Шеннон. Он встретил её, когда она работала аналитиком в Bell Labs. У Мэри и Клода было трое детей: Роберт Джеймс, Андрю Мур и Маргарита Катерина.

Статья „Теория связи в секретных системах“

Работа Шеннона „Теория связи в секретных системах“ (1945) с грифом „секретно“, которую рассекретили и опубликовали лишь в 1949 году, послужила началом обширных исследований в теории кодирования (шифрования) и передачи информации. Именно Клод Шеннон впервые начал изучать криптографию, применяя научный подход. В этой статье системы связи описываются с математической стороны и это имело огромный успех в криптографии.

Также в статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона являются исследования абсолютно криптостойких систем и доказательство их существования, а также существование криптостойких шифров и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надёжным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций.

Статья „Математическая теория связи“

Статья „Математическая теория связи“ была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Перед написанием статьи Шеннон ознакомился с работами Хартли и Найквиста. В статье Шеннон обобщил их идеи, ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения ${\displaystyle M}$, Хартли и Найквист предлагали использовать логарифмическую функцию ${\displaystyle I=\log \left(M\right)}$.

Шеннон разделил системы связи на несколько частей следующим образом:

1. Источник информации
2. Передатчик
3. Канал
4. Приёмник
5. Пункт назначения

Шеннон группировал системы связи в три категории: дискретные, непрерывные и смешанные, причём утверждая, что дискретный случай — основа остальных двух, но имеет бо́льшее применение.

Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Шеннон стал рассматривать источник сообщений как множество всех возможных сообщений, а канал — как множество всевозможных шумов.

Шеннон ввёл понятие информационной энтропии, аналогичное энтропии из термодинамики, которое является мерой неопределённости информации. Также Шеннон определил бит как количество полученной информации (или уменьшенной энтропии) при нахождении ответа на вопрос, в котором возможны только два варианта ответа (например, „да“ или „нет“), причём оба — с одинаковой вероятностью (если нет — то количество полученной информации будет меньше одного бита).

Первая теорема в его статье описывает связь по каналу без шума следующим образом:

Пусть источник сообщений имеет энтропию ${\displaystyle H}$ (бит на символ), а ${\displaystyle C}$ — пропускная способность канала (бит в секунду). Тогда возможно такое кодирование информации, при котором средняя скорость передачи через данный канал будет равняться ${\displaystyle C/H-\epsilon }$ символов в секунду, где ${\displaystyle \epsilon }$ — сколь угодно малая величина. Дополнительно, средняя скорость передачи данных не может быть больше ${\displaystyle C/H}$.

Главная идея этой теоремы состоит в том, что количество информации, которое возможно передать, зависит от энтропии или, другими словами, случайности сообщений источника. Следовательно, основываясь на статистической характеристике источника сообщений, возможно кодировать информацию так, чтобы достичь максимальную скорость, которую позволяет достичь канал, то есть желаемую пропускную способность канала. Это было революционное утверждение, так как инженеры ранее полагали, что максимум информации исходного сигнала, которое можно передать через среду, зависит от таких факторов, как, например, частота, но никак не свойства сигнала.

Вторая теорема Шеннона описывает связь в зашумлённом канале. Шеннон утверждает:

Пусть источник сообщений имеет энтропию ${\displaystyle H}$ на одну секунду, а ${\displaystyle C}$ — пропускная способность канала. Если ${\displaystyle H\leq C}$, то возможно такое кодирование информации, при котором данные источника будут переданы через канал со сколь угодно малым количеством ошибок. Если ${\displaystyle H>C}$, то возможно кодирование, при котором неоднозначность полученной информации будет меньше, чем ${\displaystyle H-C+\epsilon }$, где ${\displaystyle \epsilon }$ — сколь угодно малая величина. Дополнительно, не существует методов кодирования, которые дадут неоднозначность меньше чем ${\displaystyle H-C}$.

Идея, которую высказал Шеннон, заключается в том, что не важно, как „шумит“ канал, всё равно существует способ кодирования, позволяющий безошибочно передать информацию через канал (пока выполняется ${\displaystyle H<C}$). И эта идея является революционной, поскольку люди до этого считали, что существует какой-то порог значения шума в канале, что передача желаемой информации становится невозможна.

Он вывел формулу для скорости передачи информации источником сообщений ${\displaystyle R}$ и для пропускной способности канала ${\displaystyle C}$, размерность каждой скорости — бит в секунду. Как следствие из предыдущей теоремы верно следующее утверждение:

Пусть ${\displaystyle R}$ — скорость передачи информации источником сообщений, а ${\displaystyle C}$ — пропускная способность канала. Тогда ${\displaystyle R<C}$, и что возможно такое кодирование информации, при котором ^[англ.] будет меньше любой заранее выбранной положительной константы ${\displaystyle \epsilon }$. В его доказательстве фигурирует множество всевозможных кодирований сообщений источника в потоки бит, и он показал, что случайно выбранное из этого множества кодирование будет обладать желаемым указанным выше свойством с высокой вероятностью.

Другими словами: любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале.

После опубликования этой статьи учёные старались найти такие кодирования, которые работают так же хорошо, как и „случайное кодирование Шеннона“. Конечно же, в настоящее время существуют кодирования, дающие пропускную способность, близкую к пределу Шеннона.

Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами. Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ телевидения в полосе частот, которую занимает обычный сигнал аналогового телевидения.

Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приёма позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.

В своих работах Шеннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 1940-х годов настоящей сенсацией в научных кругах. Данная работа, как и работы, в которых исследовалась потенциальная помехоустойчивость, дали начало огромному числу исследований, продолжающихся и по сей день, уже более полувека. Учёные из СССР и США (СССР — Пинскер, Хинчин, Добрушин, Колмогоров; США — Галлагер, ^[англ.], ) дали строгую трактовку изложенной Шенноном теории.

На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передаётся по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.

Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведённые за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.

Теоремы Шеннона

Граница Шеннона

В теории информации, по традиции, утверждения типа „для любого кода имеет место некоторое свойство“ называются обратными теоремами, а утверждения типа „Существует код с заданным свойством“ — прямыми теоремами.

• Прямая и обратная теорема Шеннона для канала без шума — о максимальной скорости передачи кодовых символов в канале без шума и о наименьшем среднем числе кодовых символов, приходящихся на одно символ (сообщение) источника, которыми может быть закодирована информация источника без потерь (однозначное декодирование).
• Прямая и обратная теоремы Шеннона для источника без памяти — о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.
• Прямая и обратная теоремы Шеннона для канала с шумом — о максимальной скорости создания информации и существовании кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю (при увеличении длины блока).
• Теорема Шеннона — Хартли — формула, связывающая пропускную способность канала c аддитивным белым гауссовым шумом с шириной полосы пропускания канала и отношением сигнал-шум.
• Теорема Найквиста — Шеннона (в русскоязычной литературе — теорема Котельникова) — об однозначном восстановлении сигнала по его дискретным отсчётам.

Награды и почётные звания

1939 — ^[англ.] 1949 — Премия Морриса Либманна 1954 — Магистр наук Йельского университета 1955 — Медаль Стюарта Баллантайна, Институт Франклина 1956 — 1961 — Почётный доктор Мичиганского университета 1962 — Медаль Почёта Университета Райса 1962 — Почётный доктор Принстонского университета 1962 — 1963 — Гиббсовская лекция 1964 — Почётный доктор Эдинбургского университета 1964 — Почётный доктор Питтсбургского университета 1966 — Медаль Почёта IEEE 1966 — Национальная научная медаль, вручена президентом Л. Джонсоном 1967 — ^[англ.] 1970 — Почётный доктор Северо-Западного университета

1972 — Премия Шеннона 1972 — Премия Харви, Технион 1975 — Иностранный член Нидерландской королевской академии наук (KNAW) 1978 — Почётный доктор Оксфордского университета 1978 — Премия Жозеф Мари Жаккара 1978 — Премия Гарольда Пендера 1982 — Почётный доктор Университета Восточной Англии 1983 — Медаль Джона Фрица 1984 — Почётный доктор Университета Карнеги — Меллон 1985 — Золотая медаль ^[англ.] 1985 — Премия Киото 1987 — Почётный доктор Университета Тафтса 1990 — Диплом 1991 — Почётный доктор Пенсильванского университета 1991 — Премия Эдуарда Рейна, Фонд Эдуарда Рейна 2004 — Вошёл в список Национального зала славы изобретателей (NIHF)

Память

• Астероид
• Логотип-дудл в поисковике Google в честь 100 лет со дня рождения
• Премия Шеннона, причём сам Шеннон был первым её лауреатом
• После распада the Bell System, часть Bell Labs, которая осталась с AT&T Corporation, была названа Shannon Labs в его честь.
• В настоящее время существуют шесть статуй Шеннона. Эти скульптуры сделаны ^[англ.] и находятся по одной:

1. в Мичиганском Университете
2. в ^[англ.] в Массачусетском технологическом институте
3. в Гэйлорде, Мичиган
4. в Университете Калифорнии, Сан-Диего
5. в Bell Labs
6. в ^[англ.].

Теория релейно-контактных схем

Виктор Шестаков из МГУ сформулировал теорию релейно-контактных схем, основанную на Булевой алгебре, в 1935 году, раньше Шеннона. Однако публикация трудов Шестакова состоялась в 1941 году, то есть позже публикаций тезисов Шеннона (1938 год).

Цитаты о Шенноне

Весьма дрянным будет сравнение Шеннона с Эйнштейном. Вклад Эйнштейна выглядит устрашающим. Однако мы не живём в веке релятивизма, но в веке информации. Шеннон оставил свой след в каждом цифровом устройстве, которым мы пользуемся, в каждом мониторе, в который мы смотрим, во всех средствах цифровой связи. Он один из тех людей, которые меняют мир настолько, что, после перемен, старый мир становится всеми забыт.

Оригинальный текст (англ.)

It would be cheesy to compare him to Einstein. Einstein looms large, and rightly so. But we’re not living in the relativity age, we’re living in the information age. It’s Shannon whose fingerprints are on every electronic device we own, every computer screen we gaze into, every means of digital communication. He’s one of these people who so transform the world that, after the transformation, the old world is forgotten.

Джеймс Глеик, The New Yorker

Клод Шеннон был больше инженером, чем математиком, и многие его работы имели скорее физическое, чем математическое обоснование. В СССР работы Шеннона были отнесены к разделам кибернетики, которая считалась тогда „лженаукой мракобесов“. Даже публикация переводов потребовала немалых усилий. Но великий математик А. Н. Колмогоров был в восхищении после прочтения работ Шеннона и организовал неформальный семинар, посвящённый идеям Шеннона, в 1954 году. В предисловии к русскому переводу работ Шеннона А. Н. Колмогоров писал:

Значение работ Шеннона для чистой математики не сразу было достаточно оценено. Мне вспоминается, что ещё на международном съезде математиков в Амстердаме (1954 г.) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика. Сейчас такие мнения вряд ли нуждаются в опровержении. Правда, строгое математическое «обоснование» своих идей Шеннон в сколько-нибудь трудных случаях предоставил своим продолжателям. Однако, его математическая интуиция изумительно точна…Андрей Николаевич Колмогоров

Библиография

• Shannon C. E. A symbolic analysis of relay and switching circuits (англ.). — 1938.
• Shannon C. E. An Algebra for Theoretical Genetics (англ.). — 1940.
• Shannon C. E. Communication Theory of Secrecy Systems (англ.) // Bell System Technical Journal. — 1949.
• Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal. — 1948. — Т. 27. — С. 379—423, 623—656.
• Shannon C. E. Communication in the presence of noise // Proc. Institute of Radio Engineers. — Jan. 1949. — Т. 37, № 1. — С. 10—21. Архивировано 8 февраля 2010 года.
• Шеннон К. Работы по теории информации и кибернетике. — М.: Издательство иностранной литературы, 1963. — 830 с.

См. также

• Алгоритм Шеннона — Фано
• Ряд Котельникова
• Число Шеннона
• Разложение Шеннона
• Премия Шеннона
• Теория информации
• Переключательная игра Шеннона

Примечания

1. Архив по истории математики Мактьютор — 1994.
2. C.E. Shannon // KNAW Past Members (англ.)
3. MIT Professor Claude Shannon dies; was founder of digital communications — Массачусетский технологический институт, 2001.
4. NNDB (англ.) — 2002.
5. https://books.google.cat/books?id=r3GYDwAAQBAJ&pg=PA38 — С. 38.
6. Архив по истории математики Мактьютор — 1994.
7. James I., James I. Claude Elwood Shannon 30 April 1916 -- 24 February 2001 (англ.) // Biographical Memoirs of Fellows of the Royal Society / J. T. Stuart — The Royal Society, 2009. — Vol. 55, Iss. 0. — P. 257—265. — ISSN 0080-4606; 1748-8494 — doi:10.1098/RSBM.2009.0015
8. Gallager R. G. Claude E. Shannon: A Retrospective on His Life, Work, and Impact (англ.) // IEEE Transactions on Information Theory / F. Kschischang — IEEE, 2001. — Vol. 47, Iss. 7. — P. 2681—2695. — ISSN 0018-9448; 1557-9654 — doi:10.1109/18.959253
9. Claude Shannon  (неопр.). nyu.edu. Дата обращения: 10 сентября 2014. Архивировано 8 апреля 2020 года.
10. MIT Professor Claude Shannon dies; was founder of digital communications  (неопр.). MIT — News office, Cambridge, Massachusetts. Дата обращения: 27 февраля 2001. Архивировано 27 сентября 2004 года.
11. Shannon C. E. Collected Papers / Edited by N.J.A Sloane and Aaron D. Wyner. — IEEE press, 1993. — 923 с. — ISBN 0-7803-0434-9.
12. «…Shannon described himself as an atheist and was outwardly apolitical…»
    Poundstone W. Fortune's Formula (англ.): The Untold Story of the Scientific Betting System — Macmillan Publishers, 2010. — P. 18. — ISBN 978-0-374-70708-8
13. Shannon C. A Symbolic Analysis of Relay and Switching Circuits (англ.) // Transactions of the American Institute of Electrical Engineers — IEEE, 1938. — Vol. 57, Iss. 12. — P. 713–723. — ISSN 0096-3860; 2330-9431 — doi:10.1109/T-AIEE.1938.5057767
14. Claude Shannon, "A Symbolic Analysis of Relay and Switching Circuits, ". Архивная копия от 1 октября 2016 на Wayback Machine unpublished MS Thesis, Massachusetts Institute of Technology, August 10, 1937.
15. C. E. Shannon, «An algebra for theoretical genetics», (Ph.D. Thesis, Massachusetts Institute of Technology, 1940), MIT-THESES//1940-3 [1]. Архивная копия от 8 января 2009 на Wayback Machine Online text at MIT — Contains a biography on pp. 64-65.
16. Golomb S. W., Berlekamp E. R., Cover T. M., Gallager R. G., Massey J., Viterbi A. Claude Elwood Shannon (1916–2001) (англ.) // Notices of the American Mathematical Society / F. Morgan — AMS, 2002. — Vol. 49, Iss. 1. — P. 8—16. — ISSN 0002-9920; 1088-9477
17. Erico Marui Guizzo, «The Essential Message: Claude Shannon and the Making of Information Theory. Архивная копия от 1 декабря 2016 на Wayback Machine» (M.S. Thesis, Massachusetts Institute of Technology, Dept. of Humanities, Program in Writing and Humanistic Studies, 2003), 14.
18. Okrent, Howard; McNamee, Lawrence P. 3. 3 Flowgraph Theory // NASAP-70 User's and Programmer's manual (неопр.). — Los Angeles, California: School of Engineering and Applied Science, University of California at Los Angeles, 1970. — С. 3—9.
19. Hodges A. Alan Turing: The Enigma (англ.) — London: Vintage Books, 1992. — P. 243–252. — 586 p. — ISBN 978-0-09-911641-7
20. Turing A. On Computable Numbers, with an Application to the Entscheidungsproblem (англ.) // Proceedings of the London Mathematical Society — London Mathematical Society, 1937. — Vol. s2-42, Iss. 1. — P. 230—265. — ISSN 0024-6115; 1460-244X; 0024-6115 — doi:10.1112/PLMS/S2-42.1.230
21. Mindell D. A. Between Human and Machine (англ.): Feedback, Control, and Computing Before Cybernetics — Baltimore: JHU Press, 2002. — P. 319—320. — 439 p. — (Johns Hopkins Studies in the History of Technology) — ISBN 978-0-8018-6895-5 — ISSN 2470-2773
22. Shannon C. Communication Theory of Secrecy Systems (англ.) // Bell System Technical Journal — Short Hills: 1949. — Vol. 28, Iss. 4. — P. 656—715. — ISSN 0005-8580; 2376-7154 — doi:10.1002/J.1538-7305.1949.TB00928.X
23. Kahn D. The Codebreakers (англ.): The Story of Secret Writing — Macmillan, 1967. — P. 744. — 1164 p.
24. quoted in Erico Marui Guizzo, «The Essential Message: Claude Shannon and the Making of Information Theory» unpublished MS thesis, Massachusetts Institute of Technology, 2003, p. 21. Архивная копия от 28 мая 2008 на Wayback Machine
25. В.И. Венец. Памяти Клода шеннона (рус.) // Информационные процессы : журнал. — 2001. — Т. 1, № 1. — С. 99—10. Архивировано 24 октября 2018 года.
26. Hamid Reza Ekbia (2008), Artificial dreams: the quest for non-biological intelligence, Cambridge University Press, p. 46, ISBN 978-0-521-87867-8
27. Сергей Серый. Клод Элвуд Шеннон // Компьютерные вести : газета. — 1998. — № 21. Архивировано 4 декабря 2016 года.
28. Bell Labs Advances Intelligent Networks  (неопр.). Дата обращения: 3 июля 2019. Архивировано из оригинала 22 июля 2012 года.
29. Pesta, Abigail (12 марта 2013). Looking for Something Useful to Do With Your Time? Don't Try This. Wall Street Journal. p. 1. Дата обращения: 14 марта 2013.
30. A Personal tribute to Claude Shannon. Архивная копия от 13 марта 2016 на Wayback Machine, Boston colledge — Boston college, 'Juggle' magazine, May/June, 2001
31. Claude Shannon — computer science theory  (неопр.). Дата обращения: 22 февраля 2022. Архивировано 30 октября 2020 года.
32. Bell Labs digital guru dead at 84 — Pioneer scientist led high-tech revolution (The Star-Ledger, obituary by Kevin Coughlin February 27, 2001)
33. Shannon, Claude Elwood (1916—2001) — from Eric Weisstein’s World of Scientific Biography  (неопр.). Дата обращения: 31 октября 2016. Архивировано 21 февраля 2016 года.
34. Shannon C. E. A Mathematical Theory of Communication. The Bell System Technical Journal, 1948.
35. Eugene Chiu, Jocelyn Lin, Brok Mcferron, Noshirwan Petigara, Satwiksai Seshasa. Mathematical Theory of Claude Shannon (англ.) // The Structure of Engineering Revolutions. — 2001.
36. М.А. Быховский. Пионеры информационного века. История развития теории связи. выпуск 4. — Эко-Трендз, 2006. — («История электросвязи и радиотехники»).
37. Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3
38. 100 лет со дня рождения Клода Шеннона. Архивировано 30 апреля 2016. Дата обращения: 1 мая 2016.
39. Исследователь РКЦ Александр Холево удостоен престижной международной награды – премии Шеннона  (неопр.). Российский квантовый центр (21 июня 2015). Дата обращения: 22 июня 2015. Архивировано из оригинала 23 июня 2015 года.
40. Claude Shannon Statue Dedications  (неопр.). Дата обращения: 31 октября 2016. Архивировано 31 июля 2010 года.
41. Бажанов В. А., Волгин Л. И. В. И. Шестаков и К. Шеннон: судьба одной замечательной идеи // Научно-технический калейдоскоп — 2002. — вып. 2. — С. 43—48.
42. Б. В. Бирюков, И. С. Верстин, В. И. Левин. Жизненный и научный путь Виктора Ивановича Шестакова — создателя логической теории релейно-контактных схем. — РФФИ, проект № 05-06-80382. — С. 20—22.
43. Sionhan Roberts. Claude Shannon, the Father of the Information Age, Turns 1100100 (англ.) : журнал The New Yorker. — 2016. — 30 Апрель. Архивировано 31 октября 2016 года.

Ссылки

• Компьютерная история в лицах: Клод Элвуд Шеннон
• Фотографии. Архивная копия от 26 февраля 2007 на Wayback Machine
• Библиография (англ.)
• Клод Шеннон. Архивная копия от 6 января 2018 на Wayback Machine
• Он занимался хакингом реальности». Архивная копия от 7 января 2019 на Wayback Machine. Биография и деятельность, научные связи