Просмотр кода страницы 4.4.7 Нейросетевые исследования 1960-х годов

<span id="нейросетевые-исследования-1960-х-годов"></span>

Успехи Розенблатта привели к возникновению проектов, направленных на улучшение достигнутых им результатов. В Стэнфордском исследовательском институте (Stanford Research Institute, SRI) в Менло-парке (штат Калифорния) Чарльз Розен возглавил лабораторию, которая пыталась вытравить микроскопические вакуумные трубки на твердотельной подложке. Розен предположил, что схемы, основанные на таких трубках, могут воплощать принципы, изучаемые Розенблаттом, поэтому институт нанял его в качестве консультанта. В 1960 г. команда из лаборатории Розена под руководством учёного с говорящей фамилией, Альфреда Брейна<ref><sup>*</sup> Brain (''англ''.) — мозг.</ref>, почти завершила сборку небольшой нейронной сети под названием MINOS<ref><sup>**</sup> В греческой мифологии Минос был сыном Зевса и Европы и властителем Крита, а после смерти стал одним из трёх судей в подземном мире.</ref>. Брейн понимал, что компьютерное моделирование нейронных сетей было слишком медленным для практического применения, поэтому принял решение о создании специализированного вычислительного устройства. Элементной базой MINOS стали разработанные Брейном магнитные устройства, позволяющие изменять веса связей нейронной сети.

Розенблатт заинтересовался возможностью замены громоздких потенциометров с электромоторами на магнитные устройства Брейна, поэтому охотно подключился к проекту SRI.

В 1961 г. команда Брейна начала работу над созданием нового большого нейросетевого устройства под названием MINOS II. В том же году Нильс Нильссон по приглашению Розена присоединился к Группе по самообучающимся машинам (Learning Machines Group), а затем возглавил её.

С 1958 по 1967 г. работу над системами MINOS финансировал в первую очередь Корпус войск связи Армии США. Целью проекта было «произвести научное исследование и экспериментальное изучение методов и характеристик оборудования, пригодного для практического применения в целях графической обработки данных для военных нужд». Основным направлением проекта было автоматическое распознавание символов на военных картах. Также были предприняты попытки применения разработанных устройств для других задач, таких как распознавание военных транспортных средств (например, танков) на аэрофотоснимках и распознавание рукописного текста.

На первом этапе обработки в MINOS II входное изображение дублировалось сто раз с помощью матрицы пластиковых линз размером 10 × 10. Каждая из копий изображения пропускалась через собственную оптическую маску (пластинку, состоящую из прозрачных и непрозрачных областей) для обнаружения различных признаков, а затем свет, прошедший через маску, регистрировался фотоэлементом и сравнивался с пороговым значением. Результатом был набор из ста двоичных значений. Эти значения были входными данными для ассоциативного слоя, представлявшего собой набор из 63 искусственных нейронов<ref>Nilsson N. J. (2009). The Quest for Artificial Intelligence. Cambridge University Press // https://books.google.ru/books?id=nUJdAAAAQBAJ</ref>.

[[File:image169.png|697x378px]]

Рис. 96. Схема обработки изображений в MINOS II

[[File:image170.png|494x493px]]

Рис. 97. Варианты оптических масок в MINOS II

Каждому из ста входных значений соответствовал один из ста переменных магнитных весов; 63 двоичных выхода из этих нейронов затем использовались для принятия решения о принадлежности изображения к одной из категорий. В зависимости от решаемой задачи это делалось разными способами. Например, при распознавании условных обозначений на картах нейроны организовывались в девять «комитетов» по семь нейронов, при этом каждый «комитет» соответствовал одному из девяти распознаваемых классов символов<ref>Huber W. A. (1968). Graphical data processing / Pattern Identification by Man and Machine. Proceedings of a Planning Conference Held at Texas Christian University, Fort Worth, Texas, 12-13 December, 1968 // https://books.google.ru/books?id=vaQlAAAAMAAJ</ref>. При использовании набора из 64 классов в 63-мерном пространстве, каждое из измерений в котором соответствовало ответу одного из нейронов, располагались 64 равноудалённые друг от друга точки, а нейронная сеть обучалась таким образом, чтобы точка, соответствующая её выходным значениям, была расположена ближе к точке, соответствующей верному классу, чем к точкам, соответствующим другим классам.

В принципе, наличие 63 нейронов позволяло довести число распознаваемых категорий до 2<sup>63</sup>. Однако, поскольку на практике число категорий было значительно меньше, создатели MINOS разработали целую теорию<ref>Duda R. O., Nilsson N. J. (1965). Calculus of networks of adaptive elements. Proposal for Research SRI No. ESU 65-12R. Proposal Request 1-6-4400 // https://www.sri.com/wp-content/uploads/2021/12/1284.pdf</ref>, позволяющую оптимальным образом комбинировать ответы 63 нейронов для того, чтобы решать задачу классификации с числом классов от 2 до 2<sup>63</sup>.

В течение 1960-х гг. Группа по самообучающимся машинам исследовала множество различных нейросетевых архитектур и процедур обучения. По мере того как компьютеры становились всё более доступными и мощными, всё чаще использовалась симуляция сетей на цифровых машинах. Комбинация новой машины SDS 910 и последней версии устройства ввода получила название MINOS III.

Одним из наиболее успешных результатов, достигнутых при помощи этой системы, стало автоматическое распознавание текстов программ на фортране, написанных от руки печатными буквами. Над этой задачей работали Джон Мансон, Питер Харт и Ричард Дуда. Нейросетевая часть MINOS III использовалась для оценки гипотез относительно каждого из распознаваемых символов. Например, некоторый символ, по мнению сети, со степенью уверенности в 90% является символом «D», а со степенью уверенности 10% — символом «O». Однако, выбирая каждый раз гипотезу с наибольшим значением степени уверенности, в итоге можно получить строку, в которой будет содержаться одна или несколько ошибок, поскольку точность распознавания всё же не была идеальной. С увеличением количества символов в строке вероятность того, что в неё закрадётся хотя бы одна ошибка, быстро растёт. Когда человек читает текст, написанный на бумаге, он может угадать плохо читаемый символ из контекста. Например, если в обычном тексте в слове «ЗДРА?СТВУЙТЕ» в отношении пятого символа лидирует гипотеза, что это цифра 8, и лишь затем следует гипотеза, что это буква В, то мы всё-таки понимаем из контекста, что вариант с «В» более предпочтителен.

Исследователи из SRI использовали для решения этой проблемы метод, называемый динамическим программированием. Использование этого метода позволяло рассчитать степень уверенности для строки в целом, основываясь на статистических свойствах распознаваемых текстов. Этот подход применяется в задачах распознавания текста и в наши дни. В результате исследователям удалось достичь точности распознавания в 98% для большого набора рукописных текстов, не использовавшихся в процессе обучения модели. Распознавание с таким уровнем точности было значительным достижением для 1960-х гг.

Расширяя круг интересов за пределы нейронных сетей, Группа по самообучающимся машинам в конечном итоге стала Центром искусственного интеллекта SRI, который и сегодня продолжает оставаться одним из ведущих исследовательских центров в области искусственного интеллекта<ref>Nilsson N. J. (2009). The Quest for Artificial Intelligence. Cambridge University Press // https://books.google.ru/books?id=nUJdAAAAQBAJ</ref>. В конце 1960-х гг. Группа из SRI перенесла фокус своих исследований в сферу мобильной робототехники. Появившийся вскоре робот Шейки (Shakey) ознаменовал собой начало этого нового направления. Такое имя робот получил из-за специфического подрагивания<ref><sup>*</sup> Shake (''англ.'') — дрожь.</ref>, которое демонстрировал во время работы. Шейки стал первым универсальным мобильным роботом, сочетавшим в себе компьютерное зрение, планирование и выполнение движения<ref>Fan S. (2019). Will AI Replace Us: A Primer for the 21st Century. Volume 0 of The Big Idea Series. Thames &amp; Hudson // https://books.google.ru/books?id=5iapDwAAQBAJ</ref>. Впрочем, система зрения Шейки не имела никакого отношения к перцептронам — в её основу было положено преобразование Хафа [Hough Transform]<ref>Keay A., Silicon Valley Robotics (2017). Shakey is first robot to receive IEEE Milestone award / Robohub, February 28, 2017 // https://robohub.org/shakey-is-first-robot-to-receive-ieee-milestone-award/</ref> — алгоритм, применяемый для выделения отдельных геометрических элементов изображения.
<references />
<comments />