4.3.3 Удивительные приключения нейронных сетей в мире кибернетики: работа с Норбертом Винером

В конце 1920-х гг. семейство Мак-Каллок приобрело ранчо с фермой в Олд-Лайме (штат Коннектикут). Их первым предприятием на земле был летний лагерь для нуждающихся детей, который они называли «лагерь Аладдин». В 1940-е гг. ферма Мак-Каллоков стала центром притяжения для интеллектуалов, учёных и академиков. Места здесь было предостаточно, чтобы гости могли переночевать у Мак-Каллоков или даже остаться на несколько дней. Одним из частых гостей фермы был Норберт Винер. Озеро, природа, поздние беседы за напитками в течение целых выходных — всё это было расслабляющим противоядием для напряжённого ума Винера. На ферме царили либеральные порядки: такие вещи, как плавание в обнажённом виде в озере, были привычными как для хозяев, так и для гостей. Винера часто видели в полуобнажённом виде с сигарой в руке на берегу озера. Такова была беззаботная атмосфера ранчо Мак-Каллока.

Жена Винера Маргарет, в отличие от жён других гостей, никогда не сопровождала Норберта во время его поездок на ранчо. Эксцентричность Мак-Каллока в сочетании с его явно либеральными взглядами были неприемлемы с позиции консервативных пуританских взглядов Маргарет, она не скрывала отвращение к Уоррену с момента их первой встречи. Резюмируя своё жизненное кредо, она писала: «Один из способов стать аристократом, если вы им не родились, — это отказаться от всех форм либерализма». Консерватизм взглядов Маргарет был весьма радикальным — она была довольно откровенной поклонницей взглядов Адольфа Гитлера и даже заставляла дочерей читать «Мою борьбу» (Mein Kampf). «Однажды она сказала нам, что члены её семьи в Германии были сертифицированы как Judenrein (люди без еврейской примеси). Она думала, что нам будет приятно это узнать, — вспоминала позже одна из их дочерей. — Она сказала, что я не должна жалеть евреев Германии, потому что они были не очень хорошими людьми». Как-то во время рождественской вечеринки Маргарет пыталась убедить гостей, что арийская родословная простирается до самого сына Божьего: «Иисус был сыном немецкого наёмника, из числа расквартированных в Иерусалиме, и это было научно доказано». Довольно неловкая ситуация, принимая во внимание то, что её муж был евреем немецкого происхождения и, следовательно, её дочери были наполовину еврейками.

Учитывая левые взгляды самого Винера, они с Маргарет были весьма странной парой. Винер женился по совету родителей, которые, по всей видимости, считали, что такая женщина, как Маргарет, сможет позаботиться об их сыне, славившемся своей рассеянностью. Известный математик и историк математики Говард Ивс так вспоминал знакомство с Винером:

Впервые я столкнулся с ним в связи с собранием математиков, проходившим в ​​Йельском университете в 1955 или 1956 году. В то время я был аспирантом в Гарварде. В те дни у профессоров были машины, а у студентов — нет. Кажется, сейчас всё обстоит ровным счётом наоборот. Мы с однокурсником узнали, что Винер поедет на встречу из MIT. Тогда мы дошли до MIT, который был расположен ниже по той же улице, что и Гарвард, и спросили его, можем ли мы поехать вместе на его машине? Винер был не против, и мы встретились с ним в условленное время. Дирк Ян Стройк и Винер сидели на переднем сиденье, а мы, двое студентов, уселись сзади. Это была самая страшная поездка, потому что автомобиль петлял от одной стороны дороги к другой, поскольку Винер, жестикулируя во время беседы со Стройком, почти не держал руки на руле. Удивительно, как мы не попали в аварию. В итоге мы приехали немного раньше срока. <…> Мы зашли в маленький кафетерий, чтобы перекусить перед началом встречи. Закончив трапезу, мы подошли к вешалке, чтобы забрать свои плащи и шляпы, и, конечно, мы, студенты, с уважением отступили назад, чтобы позволить профессорам забрать свои вещи первыми. И Винер схватил мою шляпу. Он был обладателем довольно большой головы. Моя шляпа сидела на ней, как маленькая клоунская шляпка, и мы все рассмеялись. Винер, однако, ничего не заметил.

Поэтому я взял его шляпу и надел её, она опустилась мне до носа, и я посмотрел на него, подумав, что теперь-то он что-то заметит. Но Винер снова ничего не заметил, таким образом я и заполучил его шляпу для своего математического музея. Он ушёл с моей шляпой, а я пошёл домой с его. Собираясь в обратный путь, мы предпочли воспользоваться иным транспортом. Когда мы наконец возвратились в Кембридж (в повествовании про США под словом «Кембридж» имеется в виду пригород Бостона, в котором расположен Гарвардский университет и Массачусетский технологический институт. — С. М.) и включили радио следующим утром, то услышали, что автомобиль профессора Винера был украден. Он, видимо, забыл, что приехал в Нью-Хейвен на машине, и вернулся обратно на автобусе. Собираясь утром на работу, он обнаружил, что гараж пуст, поэтому сообщил полиции, что кто-то украл его машину. Поэтому я был вынужден пойти туда и сказать им, что автомобиль припаркован на Мэйн-стрит в Нью-Хейвене.

Кстати говоря, другой участник этой забавной истории, Дирк Ян Стройк, также был весьма незаурядной личностью. Уроженец Нидерландов, Дирк Стройк в 23 года защитил диссертацию, а в 30 лет получил приглашение сразу от двух университетов — МГУ и MIT, сделав выбор в пользу последнего, где он затем работал вместе с Винером над проблемами дифференциальной геометрии. Стройк был стойким марксистом — вступив в Коммунистическую партию Нидерландов в 1919 г., он оставался её членом всю жизнь. На вопрос, по случаю своего 100-летнего юбилея, о том, как ему удаётся писать статьи в рецензируемые научные журналы в таком преклонном возрасте, Стройк ответил, что у него для этого есть все три «M», которые нужны мужчине: marriage (брак; жена Стройка, тоже математик, прожила почти 100 лет), mathematics (математика) и Marxism (марксизм)^, .

Но вернёмся к Винеру и его знаменитой рассеянности. Ивс рассказывал и другие истории, дополняющие колоритный портрет основателя кибернетики. Например, однажды Винер, приехав на конференцию, оставил свою машину на парковке. Когда конференция закончилась, он обнаружил, что забыл место, где именно припарковался, и не помнил, как выглядела его машина. Поэтому он просто дождался, когда разъедутся все остальные автомобили, а затем забрал оставшуюся машину.

Когда Винер и его семья переехали в новый дом в нескольких кварталах от старого, жена снабдила его запиской, в которой содержались указания о том, как добраться до нового места. Однако когда Винер уходил с работы в конце дня, то не смог вспомнить, куда именно он подевал эту записку, и, разумеется, не мог вспомнить, где находится его новый дом. Поэтому он поехал на старое место. Увидев маленькую девочку, он спросил её: «Девочка, можешь подсказать мне, куда переехали Винеры?» «Да, папочка, — ответила та, — мама сказала, что ты, вероятно, будешь здесь, поэтому прислала меня, чтобы показать тебе дорогу домой».

Однажды, сидя в холле кампуса, Винер был погружен в изучение газеты, лежавшей перед ним на столе. Несколько раз он вставал, делал несколько шагов, а затем вновь возвращался к газете. На его лице отражалось огромное усилие мысли. Он снова поднялся от своей газеты, сделал несколько быстрых шагов и столкнулся со студентом. Студент сказал ему: «Добрый день, профессор Винер!» Винер остановился, поднял глаза и, хлопнув себя ладонью по лбу, воскликнул: «Винер! Вот это слово!» — и побежал обратно к столу, чтобы вписать слово «винер» в кроссворд, разгадкой которого он был занят.

Роберт Фано, ещё один коллега Винера, профессор электротехники и информатики в MIT, рассказывал, что однажды в конце беседы в институтском коридоре Винер спросил своего собеседника, в каком направлении он шёл, и, услышав ответ, сказал: «Хорошо! Это значит, что я уже пообедал».

Несколько выпускников MIT вспоминали, что во время своих странствий по залам института Винер обычно держался одной рукой за стену. По всей видимости, он использовал этот трюк для того, чтобы быть уверенным в том, что в конце концов найдёт дорогу обратно в корпус № 2.

Несмотря на всю свою рассеянность, Винер был обладателем исключительного и универсального ума. Веб-сайт музея MIT среди прочих воспоминаний современников о Винере приводит такую историю: Джей Болл рассказал, как сидел в кембриджской кофейне с китайским другом и пригласил Винера присоединиться к их столу. Винер обратился к другу на беглом путунхуа (mandarin, официальный стандарт китайского языка), а когда оказалось, что друг говорит только на кантонском диалекте, Винер легко перешёл на него. «Мой отец свободно говорил на семнадцати языках, — сказал он, — но я глуп, поэтому могу говорить только на двенадцати».

В 1943 г. Летвин привёл Питтса в кабинет Норберта Винера в Массачусетском технологическом институте. Винер безо всяких церемоний подвёл Питтса к доске, на которой выводил математическое доказательство, взял в руку мел и продолжил работу. Питтс включился в неё: стал задавать вопросы и выдвигать собственные предложения. По словам Летвина, когда они добрались до второй доски, стало ясно, что Винер нашёл себе нового помощника. Позже Винер напишет, что Питтс «без сомнения был самым сильным молодым учёным из тех, кого я когда-либо встречал. <…> Я буду крайне удивлён, если он не окажется одним из двух или трёх самых важных учёных своего поколения, не только в Америке, но и во всём мире».

Винер был так впечатлён, что пообещал Питтсу докторскую степень по математике в Массачусетском технологическом институте, несмотря на то что он так и не окончил среднюю школу (в то время как правила Чикагского университета строго запрещали подобные вольности). Это было предложение, от которого Питтс не мог отказаться. К осени 1943 г. он переехал в кембриджскую квартиру, был зачислен в качестве специального студента в Массачусетский технологический и учился у одного из самых влиятельных учёных в мире. Воистину судьба завела его далеко от жизни работяг Детройта.

Винер хотел, чтобы Питтс сделал модель мозга более реалистичной. Дело в том, что, несмотря на прорыв, совершённый Мак-Каллоком и Питтсом, их работа не произвела сильного впечатления в среде нейрофизиологов: отчасти из-за того, что была полна сложной для понимания символьной логики, но также и потому, что столь грубая и упрощённая модель не отражала в полной мере хаотических нагромождений структуры биологического мозга. Винер, однако, понимал значение сделанного открытия и рассчитывал на то, что более реалистичная модель способна всё изменить. Но, что ещё важнее, он также понимал, что нейронные сети Питтса могут лечь в основу конструкции вычислительных машин, что возвещало эру кибернетической революции. Винер полагал, что если Питтс собирается создать реалистичную модель миллиардов взаимосвязанных нейронов мозга, то ему понадобится помощь статистики, а статистика и теория вероятностей были одними из основных областей знаний Винера. В конце концов именно Винер был тем учёным, кто дал математическое определение информации, связав её с вероятностью и энтропией.

Начав работу, Питтс быстро пришёл к выводу, что хотя наши гены и должны определять крупномасштабное строение мозга, но они никак не могут задавать каждую из триллионов синаптических связей: объём генетической информации, необходимой для этого, был бы слишком велик. Питтс предположил, что развитие человека начинается с практически случайных нейронных сетей, с большой вероятностью содержащих очень мало информации (тезис, который продолжает обсуждаться и в наши дни). Он подозревал, что в результате некоторого процесса изначально случайные пороги срабатывания нейронов со временем упорядочиваются, в результате чего происходит накопление информации.

Питтс решил смоделировать этот процесс с привлечением инструментов статистической механики. Винер взволнованно подбадривал его, понимая, что, если такая модель будет воплощена в машине, эта машина будет способна учиться.

«Теперь я понимаю семь восьмых того, что говорит Винер, что, как мне говорят, является чем-то вроде достижения», — писал Питтс в письме Мак-Каллоку в декабре 1943 г., примерно через три месяца после переезда. Его работа с Винером состояла в том, чтобы «начать первое адекватное обсуждение статистической механики, понимаемой в самом общем смысле, что включает в себя, к примеру, проблему вывода психологических или статистических законов поведения из микроскопических законов нейрофизиологии… Разве это не звучит замечательно?»

В январе 1945 г. Питтс принял участие в конференции в Принстоне, которую организовал Винер вместе с Говардом Эйкеном и фон Нейманом. Последний, познакомившись с Питтсом, был также весьма впечатлён его интеллектом. В итоге бывший беспризорник стал важнейшим участником группы кибернетиков. «Никто из нас и не помышляет о публикации статьи без его исправлений и одобрения», — писал Мак-Каллок. «[Питтс] однозначно был гением нашей группы, — говорил Летвин. — Он был абсолютно бесподобен в знании химии, физики, всего, что касалось истории, ботаники и так далее. Задавая ему вопрос, вы получали в ответ целый учебник… Для него весь мир был связан очень сложным и чудесным образом».

Традиция конференций по кибернетике, подобных той, на которой оказался Питтс, берёт своё начало из двух встреч, на которых в общих чертах были сформулированы стоящие перед кибернетикой цели. Первой такой встречей стал семинар, организованный в 1942 г. Фрэнком Фремонтом-Смитом при финансовой поддержке фонда имени Джозайи Мейси — Младшего (Josiah Macy Jr. Foundation). Семинар был посвящён проблеме церебрального торможения. Эта встреча, как и более поздние конференции по кибернетике, имела междисциплинарный характер. В качестве приглашённых лекторов на ней выступили Милтон Эриксон, рассказавший о гипнотизме, а также Говард Лидделл с докладом об условных рефлексах. Участниками семинара были: Мак-Каллок, антрополог и лингвист Грегори Бейтсон, вице-президент фонда Мейси Ларри Фрэнк, культурный антрополог Маргарет Мид, психиатр Лоуренс Кьюби и физиолог Артуро Розенблют. Примечательно, что на этом семинаре были представлены ранние версии двух основополагающих статей о кибернетике. Розенблют обрисовал в общих чертах, как работа Винера и Бигелоу над прибором управления огнём для зенитных систем помогла дать общее описание целенаправленного (телеологического) поведения как живых организмов, так и механических устройств^, . Второй статьёй стала работа Мак-Каллока и Питтса. Применение инструментария математики, техники и нейрофизиологии для размытия границы между людьми и машинами вызвало неподдельный интерес участников семинара. Маргарет Мид вспоминала: «Эта первая небольшая конференция была настолько захватывающей, что до конца конференции я не замечала, что сломала себе зуб».

Второй встречей, продолжающей зародившуюся традицию, как раз и стала конференция в Принстоне, на которую был приглашён Питтс.

Позже, с 1946 г., конференции по кибернетике стали регулярными, и до 1953-го их состоялось десять. Проводились они при поддержке фонда Мейси и назывались, соответственно, «конференции Мейси».

Фонд помогал организовывать конференции не только по кибернетике, но и, например, нейрофармакологические, и за 19 лет активности провёл 160 конференций, на которых в междисциплинарных группах учёные обсуждали широкий спектр проблем — от машинного обучения до LSD. Уже в нашем веке семья Мейси совершила неожиданный вклад в американскую археологию: в 2016 г. в штате Нью-Йорк строители обнаружили подлинное надгробие римского сборщика налогов, умершего в 54 г. н. э. Эту красивую мраморную плиту в конце XIX в. купила в Риме вдова Джозайи Мейси. Надгробие хранилось в особняке Мейси, сгоревшем в 1970-х гг. Разбиравшие руины рабочие не придали значения находке и закопали её вместе с прочим строительным мусором. Мак-Каллока и Питтса редко называют в числе учёных, повлиявших на развитие вычислительной техники, — в историографии акцент обычно делается на их заслугах в области создания первых искусственных нейронных сетей. Однако сфера информационных технологий на заре компьютерной эры была куда более тесной и связанной, чем сегодня, и взаимное влияние тех или иных пионерских идей и концепций не всегда просто разглядеть сквозь десятилетия стремительного прогресса.

Теперь, после небольшого отступления, можно вернуться в 1945-й.

В июне 1945 г. фон Нейман подготовил исторический документ под названием «Первый проект отчёта об EDVAC». Он представлял собой первое в истории опубликованное описание вычислительной машины на основе двоичной логики с хранимой программой. Описанная в документе архитектура (подразумевающая хранение программы и данных в единой памяти) сегодня известна под названием «архитектура фон Неймана» («фон-неймановская») или «принстонская архитектура». Проект EDVAC был продуктом опыта работы над ENIAC, его основная цель — создание новой машины, свободной от ошибок, допущенных в предыдущем проекте. ENIAC тоже был программируемой машиной, однако процесс программирования осуществлялся при помощи перенаправления проводов и переключателей и был чрезвычайно трудоёмким. В ходе обсуждений участники команды ENIAC пришли к выводу, что конфигурацию коммутаторов и проводов, необходимую для выполнения машиной новой функции, можно закодировать внутри машины аналогично кодированию данных.

фон Нейман рассматривал электронные лампы в качестве аналогов нейронов модели Мак-Каллока и Питтса. Объединив их в сеть, можно выполнять любые вычисления. Для хранения программы и данных машине нужна память — те самые петли Питтса с циркулирующими по ним сигналами. «Элемент, который стимулирует сам себя, будет удерживать стимул бесконечно», — писал фон Нейман, пересказывая идею Питтса и привлекая к рассуждениям модульную арифметику. Его отчёт подробно описывает каждый из аспектов новой вычислительной архитектуры, а во всём документе цитируется только одна статья — та самая пионерская работа Мак-Каллока и Питтса «Логическое исчисление идей, присущее нервной деятельности».

«Первый проект отчёта об EDVAC» был революционной работой, определившей пути развития вычислительной техники на много лет вперёд. Но в то же время он стал и своеобразным яблоком раздора. Несмотря на то что «Первый проект» не предназначался для публикации, его широкое распространение считалось публикацией в юридическом смысле. Это спровоцировало конфликты между участниками проекта EDVAC: Эккертом и Мокли с одной стороны и Голдстайном и фон Нейманом — с другой. На то было две причины: во-первых, публикация привела к тому, что создатели EDVAC теряли право запатентовать свои идеи; во-вторых, ключевая идея хранимой в памяти программы была плодом дискуссий всего коллектива создателей ENIAC и EDVAC ещё до того, как фон Нейман присоединился к этим проектам, а на титульном листе документа было указано только имя фон Неймана, что создавало впечатление, что именно фон Нейман является автором всех изложенных в «Первом проекте» идей.

Но вернёмся к Питтсу. К 1946 г. он жил в Бостоне с Летвиным, Оливером Селфриджем, студентом Массачусетского технологического института, который в будущем станет «отцом машинного восприятия», и Хайманом Мински, будущим известным экономистом и автором гипотезы финансовой нестабильности. Питтс преподавал математическую логику в MIT и работал с Винером над статистической механикой мозга. В следующем году на Второй кибернетической конференции Питтс объявил, что пишет докторскую диссертацию о вероятностных трёхмерных нейронных сетях. Несмотря на чрезвычайную сложность темы, все, кто знал Питтса, были уверены, что ему она по плечу.

В письме к Карнапу Мак-Каллок перечислил достижения Питтса: «Он самый всезнающий из учёных и экспертов. Он стал отличным специалистом в области химии красителей, хорошим маммологом, он разбирается в осоках, грибах и птицах Новой Англии. Он знает нейроанатомию и нейрофизиологию из первоисточников на греческом, латинском, итальянском, испанском, португальском и немецком языках, поскольку изучает любой необходимый ему язык, как только он ему понадобится. Такие вещи, как теоретические расчёты электрических цепей и практическая сборка силовых, световых и радиотехнических схем, он выполняет собственноручно. За всю свою долгую жизнь я никогда не видел такого эрудированного и в то же время на самом деле практичного человека».

Loading comments...