4.4.4 Первые эксперименты в области искусственных нейронных сетей

Одним из первых таких устройств стал SNARC (Stochastic Neural Analog Reinforcement Calculator, стохастический нейронный аналоговый калькулятор с подкреплением), разработанный Марвином Минским.

По просьбе Минского Джордж Миллер, один из основателей когнитивной психологии, договорился о финансировании проекта за счёт средств Управления научных исследований военно-воздушных сил США летом 1951 г. (речь шла о нескольких тысячах долларов). «Рабочими руками» проекта стал сам Минский, который был тогда аспирантом-математиком в Принстонском университете, а также аспирант-физик Дин Эдмондс, умелый электронщик, добровольно вызвавшийся участвовать в проекте.

Сама машина представляла собой случайное соединение из сорока искусственных нейронов и моделировала поведение крысы, пытающейся отыскать выход из лабиринта.

Каждый из нейронов был реализован при помощи шести электроламп и двигателя. Память машины сохранялась в положениях ручек управления — по одной на каждый искусственный нейрон, — и, когда машина обучалась, она использовала сцепления для регулировки своих ручек. Для перемещения сцеплений использовался резервный гиропилот от бомбардировщика B-24.

Топология сетей выбиралась случайным образом. «Крыса» создавалась в какой-то точке в сети и затем отправлялась изучать путь к заданной конечной точке. Сначала «крыса» перемещалась по лабиринту хаотически. Если в результате этих хаотических перемещений ей удавалось наткнуться на выход, то для закрепления удачного поведения в систему путём нажатия кнопки подавался сигнал подкрепления. Индикаторная панель с рядами ламп позволяла наблюдателям следить за перемещениями «крысы». В ходе экспериментов выяснилось, что из-за недоработки в архитектуре системы несколько крыс, помещённых в один и тот же лабиринт, могли взаимодействовать друг с другом: если какая-то из «крыс» находила путь, другие были склонны следовать за ней.

Устройство Минского и Эдмондса было, вероятно, первой самообучающейся электронной машиной^, . В данном случае слово «электронной» является важной оговоркой, поскольку самообучающиеся машины на электромеханической основе к тому моменту уже были известны. Часто первой такой машиной называют «мышь» из проекта «Тезей» [Theseus], созданную примерно за год до SNARC Клодом Шенноном. Робомышь, в основу которой была положена система телефонных реле, успешно находила и запоминала путь в лабиринте размером 5 × 5 клеток, используя метод проб и ошибок.

Но, возможно, пальму первенства стоит отдать Россу Эшби с его гомеостатом [Homeostat]. Мы уже упоминали письмо, в котором Тьюринг пытался убедить Эшби использовать для своих экспериментов машину ACE. Эшби, однако, не внял советам коллеги и решил создать специализированное устройство, которое должно было стать работающей иллюстрацией принципа гомеостаза. Мы остановимся на этом любопытном устройстве несколько подробнее. Хотя гомеостат обычно и не относят к числу нейросетевых систем, в действительности он как раз являлся одним из первых примеров реализации искусственных нейронных сетей. Причиной недостаточной очевидности этого факта является весьма оригинальный подход, применённый Эшби, который остался во многом непонятым как современниками этого неординарного учёного, так и впоследствии специалистами по истории науки. Коллега Винера кибернетик Джулиан Бигелоу, ознакомившись с устройством гомеостата, задал вопрос: «Имеет ли эта специфическая модель какое-либо отношение к нервной системе? Это, возможно, прекрасная копия чего-то, но бог знает чего именно».

Давайте попробуем разобраться по порядку, какую именно задачу стремился решить Эшби и что представляли собой методы, положенные в основу гомеостата.

Термин «гомеостаз» (или «гомеостазис», homeostasis), предложенный в 1932 г. американским физиологом Уолтером Кенноном, образован от греческих слов ὅμοιος, что означает «одинаковый», «подобный», и στάσις — «стояние», «неподвижность». Кеннон использовал введённый им термин для обозначения устойчивых состояний организма. Учёный так объяснил необходимость использования нового понятия: «Постоянные условия, которые поддерживаются в организме, можно назвать равновесием [equilibria]. Это слово, однако, приобрело весьма определённое значение применительно к относительно простым физико-химическим состояниям в закрытых системах, где известные силы уравновешивают друг друга. Скоординированные физиологические процессы, которые поддерживают большинство устойчивых состояний в организме, настолько сложны и настолько специфичны для живых существ, что предполагают в ряде случаев совместную работу мозга и нервов, сердца, лёгких, почек и селезёнки. Поэтому я предлагаю специальное обозначение для этих состояний — гомеостаз. Это слово не означает что-то застывшее и неподвижное, стагнацию. Оно обозначает состояние, которое может изменяться, но при этом сохраняет относительное постоянство». Термин быстро обрёл популярность в среде кибернетиков и стал трактоваться в более широком ключе — как механизм саморегуляции открытой системы, направленный на достижение «динамического равновесия». Под последним понималась способность системы поддерживать определённое состояние за счёт того, что её компоненты скоординированно реагируют на возмущающие воздействия.

В воскресном выпуске The New York Times от 23 января 1949 г. была опубликована рецензия на книгу «Кибернетика» Норберта Винера под названием «Вещи, о которых мечтают» (The Stuff That Dreams Are Made On). Автор статьи, Джон Пфейффер, рассказал читателям о смелых предсказаниях Норберта Винера, а именно о думающих машинах будущего. Автор рецензии был весьма осторожен в своих оценках. Даже сегодня, изучая этот текст с позиции послезнания, в нём трудно найти суждение, к которому можно было бы легко придраться. У Пфейффера было всего 3/5 газетной полосы, чтобы рассказать читателям о ключевых идеях Винера, и среди прочего он посвятил абзац упомянутым в книге Винера исследованиям Мак-Каллока и Питтса. В качестве одного из основных выводов этих исследований Пфейффер указал тот факт, что между нейронами человеческого мозга и радиолампами существует некоторое сходство.

Вечером того же дня свет увидел очередной выпуск еженедельника Time, сообщивший читателям сенсационную новость: будущее уже наступило и первая в мире «думающая машина» уже построена! Причём не в MIT или Bell Labs, а в психиатрической больнице Барнвуд-хаус, расположенной в английской деревеньке неподалёку от Глостера, в которой майор медицинской службы Росс Эшби руководил исследованиями человеческой психики. Именно в этой провинциальной больнице Эшби и создал свой гомеостат. В интервью Time Эшби уверенно заявил, что его машина была «наиболее близка к искусственному мозгу, чем всё когда-либо созданное человеком».

Машина стала плодом пятнадцатилетних размышлений Эшби. Ещё два года потребовалось на её постройку, которая обошлась в 50 фунтов стерлингов. Гомеостат, первая версия которого была завершена в мае 1947 г., состоял из четырёх блоков, каждый из которых имел четыре «входных» контакта и один «выходной». Блоки объединялись в электрическую цепь таким образом, что напряжение на выходе каждого из них подавалось на вход и трёх других блоков, и его самого. Каждый из четырёх входов блока был оснащён переключателем полярности и реостатом, что позволяло регулировать сопротивление на входе, а также менять полярность входного напряжения (фактически это означало, что у каждого блока было восемь настраиваемых параметров: четыре соответствовали положениям переключателей полярности, а ещё четыре — задаваемой величине сопротивления каждого из реостатов). После соответствующих трансформаций соответствующие каждому из входов провода переходили в установленную вертикально четверную обмотку электромагнита. Поверх обмотки располагалась установленная на игольчатой оси проволочная петля, на одном конце которой находился постоянный магнит, который, благодаря изгибу петли, оказывался внутри обмотки. Ввиду этого сама проволочная петля вела себя подобно стрелке компаса — угол её поворота менялся в зависимости от суммы токов, проходящих через обмотку. Если суммарное напряжение имело отрицательную полярность, то петля поворачивалась на своей оси в одну сторону (тем быстрее, чем больше была абсолютная величина напряжения), если же положительную — то в другую. На втором конце петли была закреплена пластинка, которая опускалась в полукруглый лоток, заполненный водой. К противоположным краям лотка были подведены источники напряжения таким образом, что напряжение на одном его краю составляло –2 вольта, а на другом — –15 вольт. В зависимости от угла поворота проволочной петли и, соответственно, от позиции пластинки в лотке на ней возникало напряжение, равное одному из промежуточных значений между напряжениями на краях лотка. Это напряжение передавалось затем на управляющую сетку триода, а усиленный триодом сигнал поступал на выход блока. В цепь триода был добавлен резистор, сопротивление которого подобрано таким образом, чтобы при нахождении пластинки в центре ванны напряжение на выходе блока было нулевым.

Рис. 91. Вверху: фотография гомеостата (четыре блока). Внизу: фотография отдельного блока. Буквами ABCD обозначена четверная обмотка электромагнита, буквой М — магнит

Таким образом, при нахождении всех пластин в центре соответствующих лотков вся система находилась в состоянии покоя. Однако стоило внести в неё некоторое возмущение (например, механически сместить одну из пластин, изменить какой-либо из параметров системы, воспользовавшись переключателем полярности или реостатом на одном из входов какого-либо блока, либо вообще разрезать один или несколько проводов), как система выходила из состояния равновесия. Напряжение на выходе блока, в который было внесено «возмущение», становилось отличным от нуля, это ненулевое напряжение попадало на вход других блоков — и вся система начинала «жить своей жизнью».

Рис. 92. Электрическая схема гомеостата

И тут в дело вступала главная изюминка гомеостата. Как только выходное напряжение блока выходило за пределы диапазона, соответствующего отклонению проволочной петли от центрального положения более чем на 45°, срабатывал шаговый искатель (электромеханический аппарат, предназначенный для переключения пути следования тока в электрической цепи при поступлении управляющего электрического импульса), который добавлял в цепь на входе блока случайные сопротивления и случайно выбранные перемены полярности (вдобавок к установленным вручную). Наборы этих параметров, «зашитых» в шаговый искатель, были составлены на основе таблицы случайных чисел. Каждый шаговый искатель имел 25 возможных позиций, что давало в сумме 25⁴ = 390 625 наборов параметров. Таким образом, выведенный из равновесия гомеостат начинал перебирать различные варианты параметров, пока не находил такой их набор, который позволял ему вернуться в состояние динамического равновесия (что, разумеется, гарантировалось не всегда, но в большинстве случаев происходило). Это свойство гомеостата Эшби назвал ультрастабильностью (или ультраустойчивостью) [ultrastability]^{, , , , , , ,}.

Хотя гомеостат и не умел распознавать котиков на картинках и даже искать путь в лабиринте, он был простой самообучающейся системой, причём обладающей довольно интересными свойствами. Во-первых, на примере гомеостата Эшби показал, что процесс поиска решения вполне может быть распределённым. В гомеостате нет какого-то главного управляющего элемента, его блоки идентичны и равнозначны. И тем не менее он в состоянии демонстрировать «ультрастабильное» поведение. Во-вторых, для каждого блока остальные блоки, в сущности, являются элементами внешней среды, поэтому гомеостат, по сути, одинаково реагирует на внешние и внутренние возмущения: неважно, является ли причиной выхода из равновесия самопроизвольная поломка или воздействие среды. Элементы системы вовсе не обязаны содержать сведения об устройстве системы, чтобы система демонстрировала «ультрастабильное» поведение. Жизненно важным свойством является лишь наличие отрицательной обратной связи. Это были довольно интересные и не совсем очевидные результаты опытов с гомеостатом.

Можно ли было приспособить гомеостат для решения более привычных нам задач машинного обучения, таких, например, как задачи классификации? В принципе, да, но сделать это можно лишь довольно контринтуитивным способом. Например, «предъявлять» гомеостату различные прецеденты: факторы (допустим, что их три) в виде входных напряжений на три блока и метку класса в виде входного напряжения на четвёртый. Многократно пропустив таким образом обучающую выборку через гомеостат, можно дождаться, когда он придёт в состояние динамического равновесия (т. е. «научится» подбирать правильный ответ). Затем же, если предъявить ему лишь факторы (в виде напряжений на три блока), можно замерить степень отклонения от равновесия в четвёртом блоке (соответствующем метке класса). Эта величина, взятая с противоположным знаком, и будет ответом на задачу классификации. Конечно, гомеостат из четырёх блоков не годился для решения сколь-нибудь серьёзных задач, но сам Эшби видел в гомеостате прототип полноценного электронного мозга. Учёный не преминул поделиться своими провидческими соображениями с журналистами. Несложно догадаться, что произошло в результате.

Публикация в Time была не первым сенсационным сообщением о создании рукотворного мозга. Заголовок статьи в газете Daily Herald от 13 декабря 1948 г. прямо, без обиняков сообщал читателям: «Щёлкающий мозг умнее человеческого!» [The Clicking Brain Is Cleverer Than Man’s]. Щелчки от переключения шаговых искателей гомеостата произвели на журналиста неизгладимое впечатление. «Щелчки — это „мысли“ <…>, — написал он. — Машина всё время думает о своей задаче и поправляет себя».

По мнению журналиста, машина была «всегда права» [always right] и «эгоистична» [it’s selfish]. Не обошлось и без предсказания техноапокалипсиса: «Однажды она [машина] может решить, что человеческий обслуживающий персонал ей больше не нужен». Довершал мрачную картину заголовок следующей статьи, размещённой чуть ниже: «Проблемы, ещё больше проблем» [Trouble, More Trouble]. Вообще, вся полоса Daily Herald производила впечатление, что наш мир уже получил фатальную пробоину и скоро пойдёт на дно подобно «Титанику».

В научной среде появление гомеостата было воспринято более спокойно. Весной 1952 г. Эшби пригласили на очередную конференцию Мейси, где предложили выступить с докладом о полученных научных результатах. Среди слушателей были помимо прочих Уоррен Мак-Каллок, Уолтер Питтс, Маргарет Мид, Джулиан Бигелоу, Джерри Визнер и Артуро Розенблют. Самого Винера, правда, на конференции не было. Выступление Эшби о гомеостате было включено в программу между докладом об эмоциях в контуре обратной связи и докладом об обучении осьминогов. Эшби привёз гомеостат с собой, чтобы продемонстрировать участникам конференции его возможности.

Выступление Эшби привело к серьёзной полемике, поскольку метод случайного поиска, положенный в основу системы, вызвал у многих участников вопросы. Мак-Каллок, Питтс и Бигелоу не были готовы признать, что такой неэффективный метод оптимизации можно было применять в системе, моделирующей работу мозга. Гомеостат «ощупывал» пространство параметров подобно слепому котёнку. Если бы в этом «механическом мозге» было не четыре нейрона, а гораздо больше, он вряд ли мог бы достигать стабильного состояния за разумное время^, . Впрочем, на деле гомеостат был всё-таки несколько сложнее, чем машина для демонстрации метода проб и ошибок. Рекуррентный характер связей в нём, а также гидродинамические эффекты, возникающие при движении пластинок в лотках с водой, и наличие толерантности (невосприимчивости) к определённым отклонениям от точки равновесия делали его поведение не совсем очевидным. В общем, Эшби прекрасно справился с задачей создания классического «чёрного ящика», способного решать некоторый класс задач на основе отрицательной обратной связи. В будущем учёные не раз предпринимали попытки создания более сложных вариантов гомеостата. А идея использования потенциометров в качестве модели синаптической связи в нейронной сети, как мы увидим позже, оказалась весьма плодотворной и не раз была использована при создании более поздних нейросетевых систем.

Вклад Эшби в развитие того направления науки, которое мы называем сегодня искусственным интеллектом, оказался в первую очередь философским и методологическим. Помимо идеи единства адаптирующейся системы и внешней среды, Эшби подчёркивал, что к мозгу следует подходить не только как к мыслящей, но и как к действующей машине. За одно только это утверждение его можно считать одним из основателей современного агентного подхода в ИИ. Возможно, именно поэтому Эшби предпочёл действовать там, где другие стремились сперва в полной мере осмыслить существующие проблемы, прежде чем приступить к созданию моделей. Унаследовали деятельный подход Эшби и его ученики. Например, Стаффорд Бир стал пионером в области создания кибернетических систем для управления хозяйственными процессами. Под его руководством в Чили во времена Сальвадора Альенде была начата работа над первым в мире проектом централизованного компьютерного управления плановой экономикой — знаменитым проектом «Киберсин» (Cybersyn).

Хотя участники девятой конференции Мейси и критиковали гомеостат Эшби, они не могли не понимать, что наличие какой-никакой действующей системы было серьёзным шагом вперёд. Полемика на конференции показала, что научное сообщество занято активным поиском механизмов, которые могли бы обеспечивать самообучение в нейросетевых моделях. Кроме того, к 1952 г. гомеостат уже не был единственным устройством, претендующим на реализацию принципа самообучения.

Практически одновременно с Эшби работу над собственной реализацией самообучающейся системы вёл другой классик кибернетики — нейрофизиолог Грей Уолтер.

Ещё в юности Уолтер познакомился с работами Ивана Павлова и его учеников. Влияние взглядов Павлова ясно прослеживается в дальнейших исследованиях Уолтера. Кроме того, он посетил лабораторию Ханса Бергера и позже сконструировал собственные улучшенные версии электроэнцефалографа, благодаря которым получил ряд важных научных и медицинских результатов. Сочетание интересов к изучению поведения живых существ, к электрической активности мозга и к электротехнике было весьма удачным для того, чтобы внести своё имя в список первопроходцев новой междисциплинарной области исследований.

Весной 1948 г. Уолтер начал работу над конструкцией «кибернетической черепахи». Первые экземпляры, получившие имена Элмер и Элси, были завершены к Рождеству 1949 г. Эти имена Грей составил из акронимов: ELectro MEchanical Robots, Light Sensitive with Internal and External stability [чувствительные к свету электромеханические роботы с внешней и внутренней стабильностью]. Уолтер считал Элмера и Элси представителями нового вида — Machina speculatrix [механизм изучающий]. По аналогии со своими машинами Уолтер присвоил «мыши» Шеннона видовое обозначение Machina labyrinthia, а гомеостату Эшби — Machina sopora [механизм спящий], подчёркивая постоянное стремление гомеостата к покою.

Каждая черепашка Уолтера двигалась на трёх колёсах, приводимых в движение двумя электромоторами, один из которых отвечал за передвижение, а второй — за рулевое управление. «Мозг» машины состоял из двух электронных ламп, которые, по словам Уолтера, служили эквивалентами двух нейронов. Машины были оснащены фотоэлементами, выполнявшими роль источника обратной связи. Обнаружив свет, черепашка двигалась к его источнику, но при превышении определённой яркости отходила назад. Также черепашки были снабжены ходовыми огнями. Изначально они были предназначены для того, чтобы сообщать наблюдателям о процессах, происходящих в «электронном мозге» машины. Но быстро выяснилось, что наличие собственного источника света порождало довольно интересные последствия. Если черепашка замечала себя в зеркале, то она начинала приближаться к изображению, но когда свет становился слишком ярким, то она начинала отходить. Если две черепашки находились в одной комнате и видели огни друг друга, то они тоже сначала начинали сближаться, но, как только оказывались слишком близко, отворачивали и расходились. Уолтер, любивший биологические аналогии, назвал это брачным танцем.

Если черепашка сталкивалась с препятствием, срабатывал датчик нажатия, который заставлял машину изменить направление движения. Когда заряд аккумулятора черепашки подходил к концу, она самостоятельно отправлялась на подзарядку. В общем, её поведение выдавало в ней предка современных роботов-пылесосов. Поведение Элмера и Элси было полностью основано на заложенных в них «инстинктах», но для Уолтера это был только первый шаг в его экспериментах. Следующей «ступенью эволюции» стало появление Machina docilis [механизм обучаемый]. Идея заключалась в том, чтобы реализовать в машинах механизм формирования условных рефлексов. Там, где Павлов использовал собак, еду и звуки (а иногда и свет), Уолтер решил попытать счастья с кибернетическими черепахами, светом и свистком. «Мозгом» нового вида черепашек была схема CORA (COnditioned Reflex Analog, аналог условных рефлексов), распознававшая повторяющееся поступление одновременных сигналов по разным каналам. Фиксируя определённое количество повторений, CORA формировала связь стимула с результирующим поведением, что Уолтер описывал как аналог формирования условного рефлекса. Таким образом, черепашки обучались воспринимать звук свистка как свет и двигаться на свист даже при отсутствии света. CORA могла как выучить новое поведение, так и забыть его (т. е. если оператор «дразнил» черепашку, не включая свет при звуке свистка, то CORA вскоре отменяла установленную связь между событиями)^{, ,} .

Демонстрация подобных устройств производила большое впечатление на современников, но необходимость менять аппаратное устройство машин для того, чтобы опробовать новые модели, существенно замедляла прогресс в области создания самообучающихся устройств. Поэтому некоторые исследователи решили прислушаться к совету Тьюринга и организовать эксперименты при помощи универсальных вычислительных машин.

В 1954 г. Бельмонт Фарли и Уэсли Кларк из MIT осуществили первые симуляции нейронных сетей при помощи цифрового компьютера. Фарли и Кларк смогли обучить хеббовские сети (т. е. сети, обучение которых производится в соответствии с правилом Хебба), содержащие до 128 нейронов, для распознавания простых паттернов. В ходе экспериментов они обнаружили, что случайное удаление по крайней мере до 10% нейронов в обученной сети не влияет на её способность успешно выполнять стоящую перед ней задачу^{, ,} . Это свойство искусственной нейронной сети напоминало способность мозга до некоторой степени переносить ущерб, причинённый хирургической операцией, несчастным случаем или болезнью.

В 1955–1956 гг. группа из исследовательской лаборатории IBM в Покипси (Нью-Йорк, США) под руководством Натаниэля Рочестера провела ряд вычислительных экспериментов с хеббовскими сетями, используя машину IBM 704, при этом размер сетей доходил до 512 нейронов. В ходе этих экспериментов было подтверждено формирование клеточных ансамблей в процессе хеббовского обучения.

Loading comments...