Просмотр кода страницы 4.6 Марвин Минский и зима искусственного интеллекта

<span id="марвин-минский-и-зима-искусственного-интеллекта"></span>

<blockquote>Мир опустел… Земля остыла…

А вьюга трупы замела,

И ветром звёзды загасила,

И бьёт во тьме в колокола.

И на пустынном, на великом

Погосте жизни мировой

Кружится Смерть в веселье диком

И развевает саван свой!

Иван Бунин. ''Ночная вьюга''
</blockquote>
Одним из интригующих моментов истории искусственного интеллекта является вопрос о том, почему после успехов Розенблатта и Уидроу, после всей волны энтузиазма, порождённой работами Мак-Каллока и Питтса, научное сообщество на долгие годы утратило интерес к коннекционистским моделям. Нередко забвение нейросетевых моделей на многие годы и смену фокуса исследований связывают с критикой работ Розенблатта Марвином Минским и Сеймуром Пейпертом. Действительно, если попытаться объяснить одним предложением, то проще всего произвести на свет примерно такой текст: в 1969 г. увидела свет книга Минского и Пейперта «Перцептроны» (Perceptrons: An Introduction to Computational Geometry), в которой были показаны функциональные ограничения подобных моделей (в частности, доказано, что перцептрон не может выучить операцию «исключающее или»), в результате произошло смещение научного интереса и финансирования на другое направление исследований в области ИИ — символьный подход (собирательное название для всех методов искусственного интеллекта, основанных на высокоуровневом «символьном» (человекочитаемом) представлении задач и логики их решения). Выглядит на первый взгляд логично и регулярно воспроизводится в научно-популярной литературе в различных вариациях со степенью категоричности, зависящей только от упоротости авторов. Действительность, впрочем, по всей видимости, куда сложнее, а во многом и вовсе противоречит этой лубочной картинке. Давайте попробуем разобраться в произошедшем по порядку.

Для этого мы вернёмся в 1963 г., когда 35-летний Сеймур Пейперт после четырёх лет работы в Университете Женевы перебрался в Массачусетский технологический институт, чтобы занять должность научного сотрудника (а с 1967 г. — профессора прикладной математики). Позже в своих воспоминаниях Пейперт писал: «''Многие факторы сделали этот шаг привлекательным. Эта была перспектива получить доступ к компьютерам и работать с Марвином Минским и Уорреном Мак-Каллоком, а также удивительное чувство шаловливости [playfulness], которое я испытывал там во время своих кратких визитов. Когда я наконец приехал, всё это воплощалось в ночных сессиях у компьютера PDP-1, который был выделен Минскому. Это было чистой воды игрой. Мы выясняли, что можно сделать с помощью компьютера, и что-нибудь интересное оказывалось стоящим. Никто ещё не знал достаточно для того, чтобы указывать, что какие-то из вещей были серьёзнее других. Мы были как младенцы, открывающие мир''»<ref>Papert S. (1994). The Children's Machine — Rethinking School in the Age of the Computer. New York: Basic Books // https://books.google.ru/books?id=SqYGtAEACAAJ</ref>.

Первыми сотрудниками Минского стали студенты из клуба технического моделирования железной дороги, которые занимались созданием собственных релейных компьютеров, предназначенных для управления моделями поездов. Находившаяся в конце 1950-х гг. в распоряжении Минского ЭВМ (одна из нескольких в мире) была настоящей приманкой для увлечённых студентов, которые нередко пробирались в вычислительный центр, чтобы часами работать над собственными программами. Минский не стал наказывать студентов за незаконные проникновения в лабораторию и нецелевое использование университетской собственности, вместо этого он нанял их на работу. Позже он так отзывался о своих новых сотрудниках: «''Они были странными. У них было что-то вроде ежегодного соревнования: кто быстрее других проедет по всем станциям Нью-Йоркского метро. Это занимало около 36 часов и требовало детальной проработки поездки, планирования, изучения расписания движения поездов. Эти ребята были сумасшедшими''». Но именно такой род «сумасшествия» оказался полезным с точки зрения информатики. Особое внимание к деталям и неутолимое желание что-то создавать пришлись весьма кстати с точки зрения написания программ и проектирования аппаратуры. Лаборатория Минского процветала, и он не испытывал никаких проблем с поиском сотрудников. «''Кто-нибудь писал сообщение или письмо: мне интересно то-то и то-то. На что я отвечал, что можно заглянуть и посмотреть, понравится ли работа у меня, — вспоминал он. — Человек приезжал на неделю или две, получал достаточно денег и уезжал, если ему не нравилось. Это действительно было весьма экстравагантно, но команда лаборатории была сообществом самозаряжающимся. У них был свой язык. Они могли сделать за три дня то, на что обычно уходит месяц. И если у нас в команде появлялся кто-то талантливый и харизматичный, мы принимали его с радостью''».

Энтузиазм Минского щедро подпитывался ресурсами. Он вспоминал: «''Я не писал ни единой заявки до 1980 года. Я просто всегда появлялся там, где был кто-нибудь вроде Джерри Визнера из Массачусетского технологического института. Мы с Джоном Маккарти начали работать над ИИ где-то в 1958 или 1959 г., как раз когда пришли в MIT. У нас была пара студентов-помощников. Однажды к нам заглянул Джерри Визнер и спросил, как идут дела. Мы сказали, что всё идёт неплохо, но было бы здорово, если у нас ещё было бы три-четыре аспиранта в помощь. Он сказал, мол, хорошо, зайдите к Генри Циммерману и скажите, пускай выделит вам лабораторию. Спустя два дня у нас была небольшая лаборатория на три-четыре комнаты и огромная куча денег, которую MIT получил от IBM за исследования в области вычислительной техники. Никто не знал, что делать с деньгами, поэтому их отдали нам''»<ref>Broussard M. (2019). Artificial Unintelligence: How Computers Misunderstand the World. MIT Press // https://books.google.ru/books?id=67NMvAEACAAJ</ref>.

Пейперт сразу же включился в работу команды Минского, которая на тот момент носила название «Группа по искусственному интеллекту» (Artificial Intelligence Group)<ref>Boyle M. (1997). The History of Mr. Papert. 20 - 31. Logo in Australia: 21 Years On., Melbourne Vic Australia // http://www.stager.org/omaet2004/papertbio.html</ref>. Причина, по которой маститый учёный и один из лидеров большого научного направления, коим в те годы был Минский, пригласил к себе в команду Пейперта (в одном из источников говорится «юного Пейперта», хотя разница в возрасте «мэтра» и «юноши» составляла меньше года), была довольно забавной. Вот как описывает её сам Пейперт: «''В 1960 г. на Лондонском симпозиуме по теории информации, организованном Колином Черри, произошло событие, которое изменило мою карьеру… Я пришёл на это собрание как математик, интересующийся вычислительными идеями и теорией информации. Я пришёл туда с работой, содержавшей небольшую теорему. И то, что случилось, было наихудшим кошмаром для того, кто пришёл на собрание с теоремой. Выступавший передо мной докладчик продемонстрировал точно такую же теорему и доказал её столь же убедительно, как и я, правда несколько иным способом, но вы не можете рассчитывать на признание, имея в руках всего лишь немного другое доказательство. Однако то, что поначалу казалось кошмаром, превратилось на деле в отличный подарок. Человеком, опередившим меня, был Марвин Минский. Мы с Марвином пришли на эту встречу, по существу, с одной и той же работой, и это привело нас к сотрудничеству, которое продолжалось в течение многих лет…''»<ref>Papert S. (1998). Transcript of Child Power: Keys to the New Learning of the Digital Century at the 11th Colin Cherry Memorial Lecture on Communication, Imperial College, London // http://pirun.ku.ac.th/~btun/papert/childpower.pdf</ref>

В редких случаях сотрудничество между двумя исследователями бывает столь продуктивным: лейбл «Минский и Пейперт» пришёл на смену лейблу «Минский и Маккарти». Вскоре усилиями нового дуэта были начаты новые исследовательские программы в области теории вычислений, робототехники, человеческого восприятия и детской психологии. Когда в 1968 г. Группа по искусственному интеллекту официально стала Лабораторией искусственного интеллекта MIT, Минский и Пейперт стали её содиректорами<ref>Boyle M. (1997). The History of Mr. Papert. 20 - 31. Logo in Australia: 21 Years On., Melbourne Vic Australia // http://www.stager.org/omaet2004/papertbio.html</ref>.

В итоге группа коллег Минского превратилась в лидеров в академических кругах, в индустрии и даже в Голливуде. Когда фантаст Артур Кларк работал совместно со Стенли Кубриком над фильмом «2001 год: Космическая одиссея», он обратился к своему другу Минскому за помощью, чтобы тот помог создать образ системы искусственного интеллекта на космическом корабле. Вместе они создали HAL 9000, компьютер, который по сей день является олицетворением страхов перед злонамеренным искусственным разумом. Многие запомнили мигающий красный «глаз» HAL, похожий на индикатор машины ENIAC<ref>Broussard M. (2019). Artificial Unintelligence: How Computers Misunderstand the World. MIT Press // https://books.google.ru/books?id=67NMvAEACAAJ</ref>.

Вообще, культурное влияние пионеров ИИ трудно переоценить. Хотя их фамилии мало что скажут современному обывателю, они порой стояли у истоков идей, общеизвестных в наши дни. Так, например, беседа Уоррена Мак-Каллока и режиссёра Романа Кройтора, использованная Артуром Липсеттом при создании короткометражного фильма «21-87», стала для Джорджа Лукаса источником концепции «силы» в киноэпопее «Звёздные войны». В целом короткометражка «21-87» оказала большое влияние на многие работы Лукаса<ref>Silberman S. (2005). Life After Darth / Wired, 05.01.2005 // https://www.wired.com/2005/05/lucas-2/</ref><sup>,</sup> <ref>Martin S. (2012). Roman Kroitor, 85, revolutionized the film world / The globe and mail, October 5, 2012 // https://www.theglobeandmail.com/news/toronto/roman-kroitor-85-revolutionized-the-film-world/article4593837/?page=all</ref>.

Первые успехи искусственного интеллекта в 1960-е гг. неизбежно привлекли к себе внимание общественности и, помимо восторгов, столь же неизбежно вызвали зависть, неприязнь и страхи со стороны отдельных людей. В 1965 г. философ Хьюберт Дрейфус опубликовал отчёт для корпорации RAND под названием «Алхимия и искусственный интеллект» (позже расширенный до книги «Чего не умеют компьютеры» (What Computers Still Can’t Do: A Critique of Artificial Reason, 1992)). В нём Дрейфус выступил с решительной критикой оптимистичных заявлений специалистов в области искусственного интеллекта, таких как Аллен Ньюэлл, Клифф Шоу, Герберт Саймон и прочие, презрительно назвав их «искусственной интеллигенцией» [artificial intelligentsia]. Говоря о нереалистичности оптимистичных заявлений энтузиастов искусственного интеллекта (например, заявления Саймона и Ньюэлла в 1957 г. о том, что в течение ближайших десяти лет цифровой компьютер сможет стать чемпионом мира по шахматам), Дрейфус утверждал, что во многих направлениях ИИ наблюдается резкое замедление, и предполагал, что это является свидетельством приближения к фундаментальным ограничениям<ref>Dreyfus H. L. (1965). Alchemy and artificial intelligence / P-3244, December 1965 // https://www.rand.org/content/dam/rand/pubs/papers/2006/P3244.pdf</ref>. Иногда ему даже приписывают утверждение о том, что ни одна шахматная программа никогда не обыграет даже десятилетнего ребёнка. Впрочем, сам Дрейфус позднее отрицал, что когда-либо делал подобное заявление<ref>Horgan J. (2000). The Undiscovered Mind: How the Human Brain Defies Replication, Medication, and Explanation. A Touchstone book. Simon and Schuster // https://books.google.ru/books?id=zMjxO7HHftUC</ref>.

Ньюэлл и Саймон также предсказывали в 1957 г., что в течение десяти лет цифровой компьютер сможет открыть и доказать важную новую математическую теорему. Их оптимизм был основан на первых успехах в этом направлении, достигнутых ещё в 1956 г., когда программа «Логический теоретик» (Logical Theorist) смогла доказать 38 из 52 теорем, приведённых в «Принципах математики» Рассела и Уайтхеда, а для теоремы о равнобедренном треугольнике (что углы, противолежащие боковым сторонам равнобедренного треугольника, равны), известной также под названием pons asinorum («мост осла»), обнаружила более короткое и изящное доказательство, чем приведённое в книге Рассела. Однако ''Journal of Symbolic Logic'' (Журнал символьной логики) отказался публиковать статью, в качестве одного из авторов которой была указана компьютерная программа. Позже, впрочем, выяснилось, что найденное «Логическим теоретиком» доказательство было известно Паппу Александрийскому ещё в IV в. н. э.<ref>MacKenzie D. (1995). The Automation of Proof: A Historical and Sociological Exploration / IEEE Annals of the History of Computing, Vol. 17, No. 3, 1995 // http://www.cs.cornell.edu/courses/cs4860/2012fa/MacKenzie-TheAutomationOfProof.pdf</ref><sup>,</sup> <ref>Dreyfus H. L. (1965). Alchemy and artificial intelligence / P-3244, December 1965 // https://www.rand.org/content/dam/rand/pubs/papers/2006/P3244.pdf</ref><sup>,</sup> <ref>Dreyfus H. L. (1979). What Computers Can't Do: The Limits of Artificial Intelligence. Colophon books. Harper &amp; Row // https://books.google.ru/books?id=9SGdAQAACAAJ</ref>

[[File:image176.jpeg|642x481px]]

В момент, когда представители того или иного направления, окрылённые первыми успехами, заняты расширением и развитием пионерских работ, они оказываются чрезвычайно уязвимы для критики, выдержанной в стиле «это невозможно в принципе!». Любой несбывшийся в срок оптимистичный прогноз будет использован противниками как доказательство своей правоты. Именно поэтому критически важным навыком эксперта в области прорывных инноваций является умение отличить это самое «невозможно в принципе» от «пока не достигнуто». Первые поезда создавались для перевозки грузов и развивали скорость, уступающую скорости пешехода. Когда на смену зубчатым рельсам, предназначенным для увеличения тяги паровоза, пришли гладкие, скорость составов выросла, что неизбежно вызвало к жизни идею пассажирских составов. Газеты немедленно начали писать о том, что в результате запуска таких поездов куры перестанут нестись, коровы — давать молоко, а сами пассажиры сойдут с ума от сумасшедшей скорости в… 30 км/ч!<ref>Славин С. (1994). Лететь или катиться? / Юный техник. № 2 // http://www.nehudlit.ru/journals/detail1184287.html</ref> В декабре 1902 г. американский юмористический журнал ''Puck'' писал: «''В настоящее время всё происходит так быстро, что люди, говорящие: „Это сделать невозможно“, каждый раз прерываются теми, кто это делает''»<ref>Puck, Vol. 52, No. 1347, p. 2, Published at the Puck Building, New York, Copyright Keppler and Schwarzmann, New York // https://hdl.handle.net/2027/umn.31951002801288o?urlappend=%3Bseq=358</ref>. Судя по всему, именно из этой фразы родилась пословица, приписываемая ныне безответственными журналистами и ушлыми бизнес-тренерами то Конфуцию, то китайской народной мудрости: «''Человек, который говорит, что что-то невозможно сделать, не должен мешать делать это другим''»<ref>People Who Say It Cannot Be Done Should Not Interrupt Those Who Are Doing It: George Bernard Shaw? Puck? Saxby’s Magazine? Elbert Hubbard? Confucius? Anonymous? / Quote Investigator, Posted onJanuary 26, 2015 // https://quoteinvestigator.com/2015/01/26/doing/</ref>. Несмотря на неясный источник этой мудрости, трудно не согласиться с её автором.

Дрейфус, фиксируя чрезмерный оптимизм энтузиастов первой весны искусственного интеллекта, не утруждал себя доказательствами принципиальной невозможности воплощения в жизнь их надежд, неспециалисту же было трудно понять, действительно ли те или иные обещания учёных, работавших над созданием систем искусственного интеллекта, были подобны обещаниям создать вечный двигатель или же, напротив, заявления их критиков были подобны суждению о том, что поездка со скоростью 30 км/ч неизбежно окончится в сумасшедшем доме. Однако самая неприятная для прогресса особенность этой проблемы заключается в том, что заявить о невозможности чего-либо многократно проще, чем на деле продемонстрировать несостоятельность такого заявления.

Пейперт выступил в роли одного из адвокатов Ньюэлла, Шоу и Саймона, подготовив для RAND собственный отчёт, посвящённый разбору критики Дрейфуса. Не ограничившись одной лишь письменной критикой, Пейперт организовал матч, в котором Дрейфус должен был сразиться с шахматной программой MacHack VI, созданной другом-хакером Пейперта из MIT Ричардом Гринблаттом совместно с двумя студентами — Дональдом Истлейком и Стивеном Крокером<ref>Newborn M., Standish T. A. (2014). Computer Chess. ACM monograph series. Elsevier Science // https://books.google.ru/books?id=KKGjBQAAQBAJ</ref>. В партии против программы Гринблатта философ потерпел сокрушительное поражение. Саймон так прокомментировал игру: «''Он [Дрейфус] писал &lt;…&gt; что шахматная программа будет играть &lt;…&gt; в механические, нечеловеческие шахматы… Но это была замечательная игра &lt;…&gt; — захватывающая схватка двух дровосеков'' (''to hack'', напомним, означает «врубаться». — ''С. М.'') ''со всплесками прозрений и дьявольских планов &lt;…&gt; великими моментами драмы и катастрофы, которые происходят в подобных играх''»<ref>McCorduck P. (2004). Machines who think: a personal inquiry into the history and prospects of artificial intelligence. A. K. Peters // https://books.google.ru/books?id=aH9QAAAAMAAJ</ref>.

В 1976 г. с помощью компьютера была доказана знаменитая теорема о четырёх красках, и хотя это не было ещё полностью автоматизированным доказательством, однако стало важным математическим результатом<ref>MacKenzie D. (1995). The Automation of Proof: A Historical and Sociological Exploration / IEEE Annals of the History of Computing, Vol. 17, No. 3, 1995 // http://www.cs.cornell.edu/courses/cs4860/2012fa/MacKenzie-TheAutomationOfProof.pdf</ref>. В наши дни автоматизированное доказательство теорем стало привычным, как и доминирование компьютеров в шахматах. Большая часть прогнозов, раскритикованных Дрейфусом, сбылась, хотя и не в пределах тех оптимистичных сроков, на которые рассчитывали пионеры искусственного интеллекта. При этом открытым остаётся вопрос о том, насколько деятельность Дрейфуса и других критиков ИИ повлияла на прогресс в этой области. Могли бы надежды и чаяния Ньюэлла, Саймона и других энтузиастов отрасли воплотиться в жизнь раньше, если бы не активная проповедь недостижимости их целей?

Жизнь, безусловно, куда сложнее плохой драмы про борьбу бобра с ослом, однако чтение некоторых работ по истории искусственного интеллекта оставляет во рту неповторимое послевкусие мыльного сериала. Если в истории с Дрейфусом и успехами учёных из MIT мы видим «солярных» Пейперта и Минского, то в многочисленных рассказах об утрате на многие годы интереса к нейронным сетям и коннекционистским моделям вообще мы встречаем уже «лунарных» Минского и Пейперта, которым вменяется разгром целого научного направления на границе 1960-х и 1970-х гг. и чуть ли не смерть отчаявшегося и потерявшего всё Фрэнка Розенблатта. Спустя полвека не так уж просто разобраться, действительно ли учёные из MIT развалили ту самую часовню, на развалинах которой сегодня расцвёл буйным цветом город-сад глубокого обучения. В самом ли деле SNARC оказался Буджумом<ref><sup>*</sup> «Охота на Снарка» (The Hunting of the Snark) — поэма Льюиса Кэрролла, написанная в 1876 г., образец литературы нонсенса. Основа сюжета: команда из девяти человек и бобра охотится за таинственным Снарком. Буджум (Boojum) — особо опасная разновидность Снарка, встреча с которым может привести к исчезновению охотника.</ref> или в древних книгах возникла какая-то путаница?

[[File:image177.jpeg|642x856px]]

Прохладная история о первой зиме искусственного интеллекта начинается вполне в духе лучших болливудских блокбастеров. Дело в том, что Фрэнк Розенблатт и Марвин Минский были одноклассниками в Высшей научной школе Бронкса<ref>McCorduck P. (2004). Machines who think: a personal inquiry into the history and prospects of artificial intelligence. A. K. Peters // https://books.google.ru/books?id=aH9QAAAAMAAJ</ref> (впрочем, они хотя бы не были братом и сестрой, разлучёнными в детстве). Минский, как и Розенблатт, интересовался нейронными сетями — вспомним его опыты с «крысами», учившимися искать выход из лабиринта при помощи хеббовского обучения. Именно нейросетевым моделям была посвящена диссертация Минского, однако позже Минский разочаровался в них, сконцентрировавшись на символьных моделях. Именно поэтому громкое обсуждение работ Розенблатта в прессе вызвало в лагере Минского и Пейперта плохо скрываемый скептицизм. Дэвид Вальц, бывший в те годы аспирантом в MIT, вспоминал позже: «''Марвин и Сеймур действительно интересовались перцептронами. Я с группой других студентов посещал их семинар, целью которого было узнать как можно больше о перцептронах. Мы должны были просто методично изучить, на что они были способны, а на что не способны, и попытаться охарактеризовать их каким-то образом''»<ref>Crevier D. (1993). AI: the tumultuous history of the search for artificial intelligence // https://archive.org/details/aitumultuoushist00crev</ref>.

В 1969 г. по итогам работы над семинаром и в ходе него Минский и Пейперт опубликовали книгу «Перцептроны» (Perceptrons: An Introduction to Computational Geometry), которая среди прочего указывала на ряд ограничений, свойственных подобным моделям.

Вот как описывает один из современных авторов дальнейшие события:

''Последствия выхода книги были немедленными и драматичными. Розенблатт и его сотрудники оказались совершенно не способны опровергнуть выдвинутые аргументы. Исследования нейронных сетей были потоплены [dead in the water] из-за обвинений в преднамеренном саботаже ради того, чтобы перенаправить федеральное финансирование от сетей на программы, основанные на символьных манипуляциях. Ни один уважающий себя исследователь не осмеливался коснуться исследований нейронных сетей в течение десятилетия, пока коннекционистское движение восьмидесятых не продемонстрировало больший потенциал в получении плодотворных результатов. Коннекционистские исследователи в области ИИ до сих пор обвиняют Минского и Пейперта за десятилетие забвения!''

''В издании «Перцептронов» 1972 года присутствует рукописное посвящение памяти Фрэнка Розенблатта, погибшего в результате несчастного случая на лодке, человека, по всей видимости окончательно разбитого в результате «дела Перцептрона''»<ref>Boyle M. (1997). The History of Mr. Papert. 20 - 31. Logo in Australia: 21 Years On., Melbourne Vic Australia // http://www.stager.org/omaet2004/papertbio.html</ref>.

Честно говоря, мой личный драмометр сломался ещё на неловком каламбуре про потопленные коннекционистские исследования.

Вот что писал Пейперт спустя почти два десятилетия после вышеописанных событий: «''Пытались ли мы с Минским убить коннекционизм и как мы относимся к его воскрешению? Здесь требуется нечто более сложное, чем оправдания. Да, был некоторый налёт враждебности, стоящий за исследованиями, о которых сообщалось в „Перцептронах“, и было некоторое раздражение тем, как развивается новое движение; частично наша мотивация была связана, как мы прямо признали в нашей книге, с тем фактом, что финансирование и силы исследователей растрачиваются, как мне представляется и сейчас (поскольку история о новых мощных нейросетевых механизмах серьёзно преувеличена), на вводящие в заблуждение попытки использовать коннекционистские методы в практических приложениях. Но большая часть мотивации для написания „Перцептронов“ возникла из более фундаментальных проблем, многие из которых явно затрагивают разделение между сетевиками и программистами''»<ref>Papert S. (1992). One AI or Many? / Beakley B., Ludlow P. (1992). The philosophy of mind: Classical problems/contemporary issues. Cambridge, MA, US: The MIT Press // https://books.google.ru/books/about/The_Philosophy_of_Mind.html?id=pBV526wnJigC</ref>.

Важно понимать, что ограничения, о которых писали в своей книге Минский и Пейперт, относятся к отдельным архитектурам нейронных сетей в применении к некоторым классам задач. Многих заявлений, приписываемых Минскому и Пейперту, они попросту никогда не делали. Например, Минский и Пейперт никогда не утверждали, что нейронные сети неспособны выполнять операцию XOR (исключающее или). Хотя единичный искусственный нейрон может вычислять только небольшое число логических предикатов, было общеизвестно, что сети, составленные из таких элементов, могут вычислять любую возможную логическую функцию. Об этом писали ещё Мак-Каллок и Питтс, которые даже показали, что при помощи предложенных ими нейронов можно создать машину Тьюринга. Это упоминается как в «Принципах нейродинамики» Розенблатта, так и в «Перцептронах».

Некоторые авторы идут ещё дальше, утверждая, например, что «''Минский и Паперт доказали, что простые пресептоны'' (sic!) ''могут решать только очень узкий класс линейно сепарабельных задач''»<ref>Александр (rgen3). (2011). Что такое искусственные нейронные сети? / Хабр, 21 декабря 2011 // https://habr.com/ru/post/134998/</ref>. К сожалению, в данном случае мы имеем дело с глубоко укоренившимися заблуждениями<ref>Сергей (tac). (2012). Перцептрон Розенблатта — что забыто и придумано историей? / Хабр, 20 марта // https://habr.com/ru/post/140301/</ref>.

В действительности Минский и Пейперт показывают, что перцептроны с единственным ассоциативным слоем не могут вычислять некоторые предикаты, если по крайней мере один из нейронов в ассоциативном слое не связан ненулевым весом с каждым из входов<ref>Minsky M., Papert S. A. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press // https://books.google.ru/books?id=KhI-uwEACAAJ</ref>. Это противоречило надежде некоторых исследователей на сети с несколькими слоями «локальных» нейронов, каждый из которых будет соединён лишь с небольшим количеством входов. Такие сети в вычислительном плане гораздо более выгодны, чем громоздкие полносвязные сети.

На обложке ранних изданий книги Минского и Пейперта изображены туго закрученные спирали. Помимо деморализации противника (у меня нет другого объяснения фиолетовым линиям на красном фоне и красным на зелёном), эти изображения иллюстрируют две проблемы, на которых сконцентрирован анализ авторов. Одна из спиралей представляет собой единичный замкнутый контур, а вторая — два несвязанных замкнутых контура. Предикаты, вычисление которых затруднительно для сравнительно простых перцептронов, —это связность [connectedness], а также чётность, под которой понимается способность перцептрона отличить картинку с нечётным количеством фигур от картинки с их чётным числом (операция XOR является частным случаем этой проблемы). В общем-то, проблема определения чётности или нечётности минимально различимых перцептроном объектов является наихудшим случаем.

Генри Блок, математик из Корнеллского университета, работавший с Розенблаттом над перцептронами, детально разобрал критику Минского и Пейперта, уделив среди прочего внимание зацикленности последних на вопросах чётности и связности: «''Другим свидетельством этой разницы во взглядах [между Розенблаттом и Минским/Пейпертом] является озабоченность Минского и Пейперта такими предикатами, как чётность и связность. Человек не может воспринимать ни чётность больших множеств (количество точек на газетной фотографии чётное или нечётное!), ни связность (на обложке книги Минского и Пейперта [«Перцептроны»] есть два объекта: один является связным, другой нет. При помощи визуального осмотра практически невозможно определить, что есть что). Розенблатт был бы рад приблизиться к человеческим возможностям и, скорее, негативно отнёсся бы к машине, которая вышла бы за их пределы, поскольку он стремился моделировать именно человеческое восприятие''»<ref>Block H. D. (1970). A review of 'Perceptrons' / Information and Control, Vol. 17, pp. 510—522 // https://doi.org/10.1016/S0019-9958(70)90409-2</ref>.

Минский и Пейперт сосредоточили своё внимание на проблемах, которые считали удобными для подтверждения собственной позиции. Своим ответом Блок показал, что эти же проблемы могут интерпретироваться иначе и что в иной интерпретации их существование может даже служить доводом в пользу перспективности нейросетевого подхода. Для Минского и Пейперта это были очень тревожные, аномальные проблемы. Исследователи нейронных сетей знали о трудностях, с которыми элементарные перцептроны сталкивались в некоторых задачах задолго до того, как Минский и Пейперт начали развивать свою критику в середине 1960-х гг.<ref>Olazaran M. (1993). A Sociological History of the Neural Network Controversy / Advances in Computers, Vol. 37 // https://doi.org/10.1016/S0065-2458(08)60408-8</ref> Например, среди тринадцати требующих решения проблем перцептронов, перечисленных в «Принципах нейродинамики», Розенблатт упоминает необходимость изучения возможных механизмов разделения фигур (фигура-фон) и исследования формирования абстрактных понятий и распознавания топологических или метрических отношений<ref>Rosenblatt F. (1961). Principles of Neurodynamics. Perceptrons and the Theory of Brain Mechanisms. Cornell aeronautical lab inc., Buffalo, New York. Defense Technical Information Center // https://books.google.ru/books?id=Tk2tDAEACAAJ</ref>. Однако для коннекционистов наличие этих проблем не было сильным аргументом против нейросетевого подхода. По их мнению, элементарные перцептроны были только первой стадией исследования нейронных сетей. Розенблатт открыто признавал ограничения элементарных перцептронов, но относился к ним совершенно иначе, чем его критики. Для сторонников символьного подхода такие проблемы, как связность и чётность, были решающими аргументами против расширения исследований перцептронов вообще. Но для Розенблатта, Блока, Уидроу и прочих ограничения элементарных перцептронов были указанием на необходимость создания и исследования более сложных перцептронов. Коннекционисты подчёркивали положительные свойства элементарного перцептрона (его сходимость, подобие естественным нейронным сетям, его распределённую память, устойчивость к повреждениям, параллелизм и т. д.) и заявляли, что необходимы дальнейшие исследования более продвинутых моделей для того, чтобы получить возможность решать задачи более сложные, чем те, решения которых могут быть найдены элементарным перцептроном<ref>Olazaran M. (1993). A Sociological History of the Neural Network Controversy / Advances in Computers, Vol. 37 // https://doi.org/10.1016/S0065-2458(08)60408-8</ref>.

Блок писал: «''…Простой перцептрон (который состоит из набора входов, одного слоя нейронов и одного выхода без обратной связи или перекрёстной связи) совсем не то, что энтузиаст перцептронов мог бы считать типичным перцептроном. Его больше интересуют перцептроны с несколькими слоями, обратной связью и перекрёстными связями… сначала был изучен простой перцептрон, и для него была доказана „теорема сходимости перцептрона“. Это было обнадёживающим результатом не потому, что простой перцептрон сам по себе является адекватной моделью мозга (что, разумеется, не так; ни один из существующих перцептронов не может даже начать соревноваться с мышью!), а поскольку он продемонстрировал, что адаптивные нейронные сети в их простейших формах в принципе могут обучаться. Это говорит о том, что более сложные сети могут демонстрировать более интересное поведение. Минский и Пейперт иначе смотрят на роль простого перцептрона… Таким образом, то, что перцептронисты брали как временную опору, Минский и Пейперт интерпретируют как конечную структуру''»<ref>Block H. D. (1970). A review of 'Perceptrons' / Information and Control, Vol. 17, pp. 510—522 // https://doi.org/10.1016/S0019-9958(70)90409-2</ref>.

По вопросу о более сложных перцептронах, чем элементарный, Минский и Пейперт в своей книге 1969 г. ограничились лишь несколькими комментариями. Они сформулировали (ныне печально известное) пессимистическое «интуитивное суждение» о невозможности разработки эффективных методов обучения многослойных сетей: «''Перцептрон уже показал, что его стоит изучать, несмотря на серьёзные ограничения (и даже благодаря им!). Он обладает многими свойствами, достойными внимания: линейность; интригующая теорема об обучении [о сходимости перцептрона]; очевидная простота как образца устройства для параллельных вычислений. Нет оснований предполагать, что любое из этих достоинств распространяется на его многослойный вариант. Тем не менее мы считаем, что важной исследовательской задачей является выяснение (или опровержение) нашего интуитивного суждения о том, что обсуждаемое расширение бесплодно. Разве только будет открыта какая-нибудь мощная теорема о сходимости или будет найдена некоторая глубокая причина, в силу которой для многослойной машины невозможно найти „теорему об обучении“, представляющую какой-либо интерес''»<ref>Minsky M., Papert S. A. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press // https://books.google.ru/books?id=KhI-uwEACAAJ</ref>.

На мой взгляд, наиболее интересным вопросом является вопрос о том, действительно ли книга Минского и Пейперта оказала столь глобальное влияние на направление исследований по крайней мере на целое десятилетие. Вот что сообщает по этому поводу Бернард Уидроу:

''Когда вышла книга Минского и Пейперта под названием «Перцептроны», я каким-то образом получил её экземпляр. Издатели присылают мне миллионы книг, так что эта однажды оказалась у меня в офисе. Я посмотрел на эту книгу и увидел, что они проделали серьёзную работу, и в этой книге была хорошая математика, но я сказал: «Боже мой, какой пасквиль». Я был так рад, что они назвали эту вещь перцептроном, а не адалайном, потому что на самом деле они в основном говорили об адалайне, а не о перцептроне. Я чувствовал, что они достаточно узко определили, что такое перцептрон, что они смогли доказать, что он практически ничего не мог сделать. Задолго до этой книги я уже успешно адаптировал MADALINE, который представлял собой целый набор нейронных элементов. Всё это беспокойство и муки по поводу ограничений линейной разделимости, которая является главной темой данной книги, давно преодолены.''

''Мы уже перестали работать над нейронными сетями. Насколько я знал, никто не работал над нейронными сетями, когда вышла эта книга. Я не мог понять, в чём смысл этого, какого чёрта они это сделали. Но я знаю, сколько нужно времени, чтобы написать книгу. Я подумал, что они, должно быть, решили написать эту книгу очень давно, чтобы нанести удар по данной области, сделать всё возможное, чтобы понатыкать булавок в воздушный шар. Но к тому времени, когда книга вышла, эта область уже ушла. Никто не занимался этим.''

''Я думаю, что эта книга приобрела значение со вторым пришествием нейронных сетей, когда они вернулись. Тогда люди начали оглядываться на эту книгу, и некоторые из них, слабые духом, были обескуражены. Это не значит, что книга неинтересна и не ценна. Напротив. Но у них было всего несколько маленьких примеров со множеством нейронов [нейронных сетей, состоящих из более чем одного нейрона]. Я думаю, что большая часть сказанного в книге относится к единичному нейрону. Я обнаружил, что, конечно же, один нейрон не может делать всё, но то, что он может сделать, это чертовски интересно. Один нейрон не может выучить всё, ну и что с того''?<ref>Anderson J., Rosenfeld E. (2000). Talking Nets: An Oral History of Neural Networks. New York, NY, USA: MIT Press // https://books.google.ru/books?id=-l-yim2lNRUC</ref>

Если пытаться найти человека, который в действительности заметно повлиял на выделение ресурсов для коннекционистских проектов Розенблатта, то им был вовсе не Минский и тем более не Пейперт, а скорее Майкл Мэнсфилд, сенатор-демократ от штата Монтана и лидер сенатского большинства (1957–1961), с подачи которого была принята так называемая поправка Мэнсфилда 1969 г. (Public Law 91-121). Эта бюджетная поправка запретила финансирование за счёт военного бюджета исследований, в которых отсутствует прямая или явная связь с конкретной военной функцией.

С конца 1950-х до середины 1960-х гг. финансирование науки в США пережило период беспрецедентного роста. Его начало восходит к периоду после Второй мировой войны, но пик темпов роста приходится на конец 1950-х – начало 1960-х гг. Именно на этот период пришлась поддержка проектов Розенблатта со стороны Управления военно-морских исследований (Office of Naval Research, ONR). В то время ONR активно финансировало проекты, не связанные с прикладными областями, а поддержка науки возросла до беспрецедентного уровня. Причиной этой небывалой щедрости стал запуск Советским Союзом первого искусственного спутника Земли. Непосредственной реакцией на запуск спутника стал Закон о реорганизации обороны 1958 г., в соответствии с которым было создано Управление перспективных исследовательских проектов Министерства обороны США (Advanced Research Projects Agency, ARPA). Сегодня эта организация известна под названием DARPA.

Позже многие учёные с ностальгией оглядывались назад, на послевоенный период, когда, основываясь на опыте Манхэттенского проекта, такие учреждения, как Управление военно-морских исследований, предоставляли щедрое финансирование университетам без каких-либо условий. Однако золотой век в исследовательской сфере продлился недолго. Растущая озабоченность оборонных ведомств краткосрочными эффектами финансируемых ими исследований была отражена в поправке Мэнсфилда. Именно она подтолкнула Министерство обороны к поддержке более краткосрочных прикладных исследований. В том числе поправка коснулась финансирования проектов Розенблатта со стороны ONR, ведь в их отношении учёный никогда не заявлял о возможности получения быстрой практической отдачи. Хотя Розенблатта нередко обвиняют в том, что он делал слишком громкие и преувеличенные заявления о возможностях перцептронов, но в действительности эта гипотеза не слишком подкреплена фактами.

Прекращение потока финансирования от военных не означало полной остановки работ Розенблатта, он продолжал работать над перцептронами и дальше<ref>Olazaran M. (1993). A Sociological History of the Neural Network Controversy / Advances in Computers, Vol. 37 // https://doi.org/10.1016/S0065-2458(08)60408-8</ref>.

В целом в конце 1960-х гг. ландшафт коннекционистского ИИ выглядел следующим образом. Уидроу, так и не найдя эффективного алгоритма обучения многослойных сетей, переключился на телефонное оборудование на основе ADALINE. Группа исследователей из SRI переключилась на робототехнический проект, не предполагавший на тот момент использования нейросетевых моделей. Розенблатт занимался фоноперцептроном «Тобермори», а также увлекательными опытами над крысами до своей трагической смерти.

По воспоминаниям Ричарда О’Брайена, главы Отделения биологических наук Корнеллского университета во времена Розенблатта, Фрэнк мечтал, чтобы «Тобермори» смог увидеть мышь, бегущую по комнате, и сказать (вслух): «''Я вижу белый объект с длинным хвостом, издающий писк, и, должно быть, это мышь''». Таким образом, «Тобермори» сможет видеть, слышать и говорить, а также правильно сочетать все эти три элемента<ref>Olazaran M. (1993). A Sociological History of the Neural Network Controversy / Advances in Computers, Vol. 37 // https://doi.org/10.1016/S0065-2458(08)60408-8</ref>.

По случаю смерти Розенблатта О’Брайен в 1971 г. в своей траурной речи в Конгрессе сказал: «''…Всего несколько лет назад он [Розенблатт] получал сотни тысяч долларов в год на исследовательские гранты от агентств, которые считали, что его работа стоит того, но он стал жертвой поправки Мэнсфилда, и последние несколько лет эти деньги таяли, как летний снег. В последние несколько месяцев у него оставалось совсем немного''».

А затем в малочисленном коннекционистском мирке на десятилетие воцарилась тишина, хотя даже это не совсем соответствует действительности, о чём мы поговорим несколько позже.

Завершая главу, мне хочется сказать несколько слов об обстоятельствах гибели Фрэнка Розенблатта, в отношении которых до сих пор существует ряд открытых вопросов. Большая часть современных источников воспроизводит скупую формулу некролога: погиб в результате несчастного случая на водах [boating accident], произошедшего в Чесапикском заливе в день его рождения, 11 июля 1971 г.<ref>Dr. Frank Rosenblatt Dies at 43; Taught Neurobiology at Cornell / The New York Times, July 13, 1971, p.36 // https://www.nytimes.com/1971/07/13/archives/dr-frank-rosenblatt-dies-at-43-taught-neurobiology-at-cornell.html</ref> При этом, по одной из версий, он утонул, катаясь на лодке вместе с двумя студентами<ref>Olazaran M. (1993). A Sociological History of the Neural Network Controversy / Advances in Computers, Vol. 37 // https://doi.org/10.1016/S0065-2458(08)60408-8</ref>, по другой — в море была найдена его пустая лодка, но тело Розенблатта найдено не было<ref>Dreyfus H. L., Dreyfus S. E. (1995). Making a mind vs. Modeling the brain: AI back at a branchpoint / Informatica, 1995, Num. 4, Vol. 19 // http://www.ccs.fau.edu/~bressler/EDU/CompNeuro/Resources/Mind_Modelling_Brain.pdf</ref>. На основе последней версии некоторые авторы выдвигают предположение о самоубийстве Розенблатта, якобы вызванном крушением его надежд и критикой со стороны Минского и Пейперта<ref>Tofts D., Jonson A., Cavallaro A. (2004). Prefiguring Cyberculture: An Intellectual History. MIT Press // https://books.google.ru/books?id=LNyvD79vNVEC</ref>. Его бывший аспирант Хэл Седжвик, однако, пишет по этому поводу следующее: «''Хорошо зная Фрэнка, я с трудом верю в эту теорию''»<ref>Sedgwick H. A. (2016). The Cornell Student Homophile League // http://www.jearldmoldenhauer.com/wp-content/uploads/Cornell-Final5X.pdf</ref>.



Ив Кософски Седжвик отозвалась на смерть Розенблатта стихотворением «Смерть от воды»:

''A Death by Water''

''There was a real death on a real summer night.''

''I rocked and rocked, to offer the death, room and time,''

''but it had taken its own time and contracted its own room''

''and was really gone.''

''I was so adequate on that chair,''

''so naked, compact, inexorable, and rich.''

''I worked. I was all there.''

''Not dead in struggle like a fish.''

''It will not be borne—I want to say—we are lost.''

''I want to rock this death out, but it’s already''

''out: it is bearable. But at the usual cost.''

''This world has rocked me badly''<ref>Edwards J., Campbell M. B., Boulton M., Brown A., Edwards J., Kent K. R., Sedgwick E. K., Pearl M., Westwood B. (2017). Bathroom Songs: Eve Kosofsky Sedgwick as a Poet. Earth, Milky Way: punctum books // https://doi.rog/10.21983/P3.0189.1.00</ref>''.''

''Eve Kosofsky Sedgwick''

''Смерть от воды''

''Настоящей летней ночью произошла настоящая смерть.''

''Я долго тряслась, в попытках найти для смерти место и время,''

''но она сама выбрала время, и договорилась о месте,''

''и свершилась взаправду.''

''Я была так уместна на том стуле,''

''такая нагая, компактная, неумолимая и богатая.''

''Я работала. Я вся была там.''

''Не погибшая в борьбе, подобно рыбе.''

''Этого не вынести — я хочу сказать — мы пропали.''

''Я хочу стрясти эту смерть, но она уже''

''вышла: и это можно вынести. Но по обычной цене.''

''Этот мир сильно потряс меня.''

''Ив Кософски Седжвик, пер. С. Маркова''
<references />
<comments />