4.4.5 Перцептрон Розенблатта

Закономерным итогом ранних теоретических работ, а также первых экспериментов в области искусственных нейронных сетей стало появление перцептрона (perceptron, в русскоязычной литературе иногда используется альтернативное написание этого термина — «персептрон») — модели искусственной нейронной сети, опыты с которой были начаты в 1957 г. под руководством Фрэнка Розенблатта в Авиационной лаборатории Корнелла. Перцептроны Розенблатта отличались лишь в некоторых деталях от нейронных сетей, предложенных ранее Фарли и Кларком, а также рядом британских исследователей, таких как Реймонд Бёрл, Уилфред Тейлор и Альберт Аттли. Вклад Розенблатта заключался в развитии математического аппарата теории нейронных сетей, а также в обширных экспериментальных исследованиях в этой области. Именно Розенблатт, стремясь подчеркнуть особую важность связей между нейронами, изобрёл термин «коннекционизм», используемый сегодня для обозначения подхода в области искусственного интеллекта (а также когнитивистики, нейробиологии, психологии и философии сознания), в рамках которого мыслительные или поведенческие явления моделируются при помощи процессов, происходящих в сетях, состоящих из связанных между собой простых элементов (введённое позже более общее понятие «параллельная распределённая обработка» отражает тот факт, что в искусственных нейронных сетях и подобных им моделях большое количество относительно простых процессоров работает параллельно, и то, что сети хранят информацию распределённым образом).

Розенблатт разделил нейронные сети на простые двухслойные (один слой для ввода, а второй для вывода; такой перцептрон он назвал α-перцептроном) и многослойные сети (с одним или несколькими промежуточными слоями). Он обобщил тип обучающей процедуры, использованной Фарли и Кларком при обучении двухслойных сетей, таким образом, чтобы её можно было применять и к многослойным сетям.

Биография Розенблатта заслуживает подробного изложения.

Фрэнк Розенблатт родился 11 июля 1928 г. в городке Нью-Рошелле на юго-востоке штата Нью-Йорк. Основанный в 1688 г. гугенотами, бежавшими из Франции из-за религиозных преследований, город получил своё название в честь Ла-Рошели, откуда происходили многие колонисты.

Поэт Джим Монтегю запечатлел образ Нью-Рошелла того времени в стихотворении «Queen City of the Sound» (1926). В начале 1930‑х гг. Нью-Рошелл был лидером по среднедушевым доходам населения в штате Нью-Йорк и занимал по этому показателю третье место в стране.

Отец Фрэнка, Фрэнк Фердинанд Розенблатт, происходил из местечка Лабунь (ныне — Хмельницкая область Украины), находившегося на территории Российской империи. В юности Фрэнк Фердинанд участвовал в революционной деятельности и иммигрировал в США из-за угрозы ареста. Позже он стал известным экономистом и социологом, доктором Колумбийского университета, автором ряда научных трудов (например, фундаментального исследования по истории чартистского движения), редактором рабочих периодических изданий на идише и руководителем левой еврейской рабочей организации Arbeter Ring (Workmen’s Circle, «Рабочий кружок»). После Первой мировой войны Фрэнк Фердинанд участвовал в качестве консультанта в восстановлении разрушенной войной экономики Австрии, занимал пост исполнительного директора Объединённого распределительного комитета американских фондов помощи евреям, пострадавшим от войны (American Jewish Joint Distribution Committee, «Джойнт»), а также основал небольшое издательство Frank-Maurice Inc.^, В апреле 1919 г. Розенблатт-старший занимался распределением гуманитарной помощи в Сибири и на Дальнем Востоке. Он пытался добиться прекращения еврейских погромов и пропаганды антисемитизма и, вопреки инструкциям «Джойнта», был вынужден неоднократно конфликтовать с американскими представителями в Сибири — дипломатами, военными, руководителями миссии Красного Креста, поддерживавшими правительство Колчака. Так, например, телеграмма Розенблатта в Нью-Йорк о еврейском погроме в Екатеринбурге, проведённом казаками, вызвала гнев генерального консула США в Омске Эрнеста Ллойда Харриса, который обвинил его в искажении фактов. Фрэнк Фердинанд Розенблатт скоропостижно скончался 7 ноября 1927 г., за восемь месяцев до рождения своего младшего сына.

Мать Фрэнка, Кэтрин Розенблатт, была социальным работником. Старший брат Фрэнка — Морис Розенблатт, в будущем известный американский политик, лоббист и консультант сенатора Ральфа Фландерса. Именно благодаря усилиям Мориса удалось сместить сенатора Джозефа Маккарти с поста главы сенатских комитетов и прервать мрачную эпоху маккартизма^{, ,} .

После окончания Высшей школы наук в Бронксе (Bronx High School of Science) в 1946 г. Фрэнк поступил в Корнеллский университет, где в 1950 г. получил степень бакалавра наук, а через шесть лет — степень доктора философии, защитив диссертацию «Расчёт K-коэффициента и пробное применение новой техники многомерного анализа» (The K-coefficient Design and Trial Application of a New Technique for Multivariate Analysis). После окончания учёбы Фрэнк стал сотрудником Авиационной лаборатории при Корнеллском университете и через некоторое время возглавил там секцию когнитивных систем.

Именно в лаборатории Корнелла Розенблатт начинает свою работу над перцептронами. В январе 1957 г. секция Розенблатта публикует первый отчёт по проекту «Перцептрон: воспринимающий и распознающий автоматон» (The Perceptron: A Perceiving and Recognizing Automaton, далее PARA), и в том же году Розенблатт выступает с докладом о перцептроне на XV Международном конгрессе по психологии, проходившем с 28 июля по 5 августа в Брюсселе.

В отчёте по проекту PARA Розенблатт впервые приводит определение перцептрона, а также вводит несколько дополнительных терминов:

Недавние теоретические исследования, проведённые автором, показывают, что целесообразно создать электронную или электромеханическую систему, которая научится распознавать наличие сходства или тождества между образцами оптической, электрической или тональной информации способом, который может быть очень похож на процессы восприятия биологического мозга. Предлагаемая система основывается на вероятностных, а не на детерминистических принципах в своей работе и обретает надёжность благодаря свойствам статистических измерений, полученных из больших совокупностей элементов. Система, которая работает в соответствии с этими принципами, будет называться перцептроном. Модель, которая предназначена для приёма оптических или визуальных изображений в качестве входных данных, будет называться фотоперцептроном. Та [модель], которая принимает тональные паттерны или звуковые входы, будет называться фоноперцептроном, и мы также рассматриваем в перспективе возможность использования электро- или радиоперцептронов с соответствующими сенсорными устройствами. Также полезно различать перцептроны с моментальными стимулами и перцептроны для временных последовательностей — последние имеют способность запоминать последовательности событий, а не кратковременные мгновенные изображения, например полученные из коллекции отдельных кадров, вырезанных из полосы киноплёнки.

В примечаниях к отчёту говорится, что работы по «теории статистической разделимости», которые легли в основу предлагаемой конструкции фотоперцептрона, были начаты автором пятью годами ранее. Для постройки первого фотоперцептрона предлагается задействовать на полтора года штат из трёх необходимых сотрудников-профессионалов, а также цифровую вычислительную машину с персоналом.

Во многих поздних исследованиях первый перцептрон Розенблатта (далее мы будем использовать для ссылки на архитектуру, лежащую в его основе, термин «элементарный перцептрон») называют однослойным, изобретение же многослойного перцептрона Розенблаттом относят к более позднему периоду. В действительности дело обстоит несколько сложнее. Фотоперцептрон, описанный в отчёте по проекту PARA, представляет собой машину, состоящую из трёх слоёв элементов: S (сенсорного), A (ассоциативного) и R (реагирующего). При этом синаптические веса только одного слоя (A → R) подвергаются коррекции в процессе обучения. Однако слой S → A также содержит веса, значения которых могут быть равны строго 1 (возбуждающий синапс) или −1 (тормозящий синапс). Эти веса конфигурируются вручную.

Это может показаться простым рудиментом модели Мак-Каллока и Питтса, хотя на деле этот слой выполняет важную функцию, о которой мы поговорим позже.

В выпущенном ещё через четыре года работы отчёте «Принципы нейродинамики: перцептроны и теория механизмов мозга» (Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms, 1961), систематизирующем итоги исследований, Розенблатт отводит целый раздел для описания «трёхслойных систем с переменными S—A связями», прежде чем перейти к описанию «многослойных перцептронов и перцептронов с перекрёстными связями». Розенблатт не только описывает подобные архитектуры, но и предлагает алгоритмы для их обучения. Кроме того, он показывает, что многослойные сети необязательно сходятся при использовании детерминистических алгоритмов обучения, поэтому при обучении таких систем необходимо задействовать стохастические, то есть включающие в себя элемент случайности, алгоритмы. В целом эта работа Розенблатта во многом опередила время. Удивительную мощь, заложенную в алгоритмах почти шестидесятилетней давности, можно наблюдать в ряде современных экспериментов.

В 1998 г. был опубликован набор данных MNIST (Modified National Institute of Standards and Technology database, Модифицированная база данных Национального института стандартов и технологий), содержащий 70 000 чёрно-белых изображений рукописных цифр (60 000 в обучающей выборке и 10 000 в тестовой) размером 28 × 28 пикселей и соответствующих им меток. Изображения были получены путём сканирования цифр, написанных сотрудниками Американского бюро переписей и простыми американскими школьниками. MNIST на многие годы стал одним из наиболее популярных наборов данных для оценки возможностей различных моделей для распознавания образов. В 2001 г. группа исследователей под руководством Эрнста Куссуля провела эксперименты по обучению на MNIST трёхслойных розенблаттовских перцептронов с различным количеством элементов в A‑слое (входной слой нейронов перцептрона Розенблатт называл S-слоем от sensory — сенсорный, воспринимающий; выходной — R-слоем от response — ответ, реакция; все промежуточные слои назывались A-слоями от associative — ассоциативный). Во времена Розенблатта технические возможности позволяли работать с перцептронами, содержащими в A-слое до нескольких сотен элементов. В работе Куссуля их число удалось довести до 512 000. При этом была достигнута точность распознавания в 99,2%, что сопоставимо с лучшими моделями начала XXI в. Конечно, MNIST является тривиальной задачей для современных нейросетевых архитектур, и по данным на 2019-й точность распознавания превысила 99,7% (при этом корректность меток в ошибочно распознаваемых изображениях нередко подвергается сомнению), поэтому для тестирования возможностей систем распознавания образов давно применяют куда более изощрённые наборы данных. Но всё же результат, показанный «ископаемой» моделью Розенблатта, получившей своеобразный допинг в виде доступных в наши дни вычислительных ресурсов, вполне можно считать доказательством того, что его идеи во многом опередили время.

Loading comments...