5.2.1 СССР, Фрейд и котики приходят на помощь

1965 год был знаменательным для советской кибернетики не только потому, что в Советский Союз впервые приехал Джон Маккарти с коллегами, но и потому, что именно в этом году в издательстве «Мир» впервые увидел свет перевод на русский язык книги Фрэнка Розенблатта «Принципы нейродинамики». Идеи Розенблатта нашли в среде советских учёных как сторонников, так и критиков. Одним из самых горячих поклонников коннекционизма в СССР стал Алексей Ивахненко, профессор Киевского политехнического института. В 1965 г. Ивахненко уже был признанным учёным. Его книга «Техническая кибернетика» не только выдержала два издания на русском языке, но также была опубликована в английском, немецком, болгарском, польском и румынском переводах. Множество остроумно решённых прикладных задач сделало имя Ивахненко широко известным среди специалистов, а его научный интерес к самоорганизующимся системам проявился ещё в 1950-е гг.: в 1959 г. Ивахненко успешно собрал и испытал собственную версию перцептрона — машину, получившую название «Альфа», по всей видимости в честь α-перцептрона Розенблатта. С 1963 г. Ивахненко работал под руководством академика Глушкова, с которым его, впрочем, связывали весьма непростые отношения. В 1959 г. Глушков раздражённо писал Ляпунову: «Вышедшая на днях книга Ивахненко „Техническая кибернетика“ содержит ряд грубых ошибок <…> Кроме того, там сделано программное заявление о том, что вычислительные машины имеют для автоматики весьма ограниченное значение и являются чуть ли не уже давно пройденным этапом. Говоря громкие слова о персептроне и самонастраивающихся системах, Ивахненко фактически склонен понимать под ними всё те же экстремальные регуляторы, которыми он занимается уже давно. В приведённой им таблице в качестве примеров самонастраивающихся систем приведён и трактор, и локомотив и т. п. В общем, сделана попытка объявить элементарные самонастраивающиеся системы более высокими кибернетическими устройствами, чем вычислительные машины, которые якобы способны реализовать лишь жёсткие алгоритмы». На фоне конкуренции разных групп исследователей за ресурсы и влияние Глушков обвинял Ивахненко в желании «подмять под себя кибернетику».

Сложно сказать, было ли в данном случае дело в непонимании Глушковым позиции Ивахненко, в стремлении в жанре полемики создать «соломенное чучело» оппонента, огрубив и доведя до абсурда его взгляды, или же Ивахненко в действительности перегибал палку, мечтая о создании нейроморфных машин, наилучшим образом приспособленных к воплощению коннекционистской парадигмы. Во всяком случае, один из сотрудников Ивахненко, Михаил Шлезингер, в 1960-е гг. работая в Институте кибернетики у Глушкова, активно занимался симуляцией нейронных сетей на цифровой электронной машине «Киев», что свидетельствует в пользу того, что Ивахненко не был радикальным противником цифровых машин. А тот факт, что после перехода Ивахненко под руководство Глушкова работы над нейронными сетями были продолжены, говорит о том, что и Глушков не был радикальным противником коннекционизма. В целом споры коннекционистов и их противников, которых в СССР называли соответственно сторонниками недетерминистического («подхода самоорганизации») и детерминистического подхода, носили, как и на Западе, весьма ожесточённый характер. Резюмируя свою позицию и подводя итоги спорам 1960-х и начала 1970-х гг., Ивахненко писал: «Подход самоорганизации в технической кибернетике открывает новые возможности решения задачи оптимизации сложности математических моделей различных объектов распознавания и управления. Будучи антиподом существующему детерминистическому подходу, самоорганизация является равноправной и необходимой частью комбинированного решения задач технической кибернетики: грубое по простоте решение дают детерминистические методы, а более точное и сложное дополнение принадлежит подходу самоорганизации. Через 10–20 лет индивидуальная вычислительная машина будет доступна каждому. Мы войдём в эпоху тесной связи — симбиоза человека и вычислительной машины. Но готовы ли мы воспользоваться огромными возможностями индивидуальных, национальных и межконтинентальных вычислительных систем? Увы, так называемое математическое обеспечение машин не соответствует нашим потребностям, а мышление исследователей направлено только на развитие детерминистических методов. Исходные идеи об общности метода кибернетики Винера забыты; решения задач становятся всё более специфическими, высоко специализированными, доступными всё более узкому кругу специалистов». Удивительно, как Ивахненко удалось угадать важнейшие тренды в развитии вычислительной техники, в этих его строках можно увидеть и грядущее торжество персональных компьютеров, и триумфальное шествие интернета, и даже тенденцию к всё более тесному сращиванию человека с машиной, ярко проступившую в эпоху смартфонов и носимых устройств [wearables].

В наши дни советские коннекционисты 1950–1970-х гг. и их проекты в массе своей забыты, даже специалистам мало что скажут имена Автандила Квиташвили, Генриха Отхмезури, Сергея Даяна, В. С. Амирбекяна и других, хотя в своё время эти люди трудились над многослойными (как тогда говорили — многорядными) перцептронами.

Важным результатом, полученным Ивахненко, стало создание и развитие метода группового учёта аргументов (МГУА) — одного из первых в истории алгоритмов глубокого обучения. Уже в начале 1970-х Ивахненко и его коллегам удавалось обучать восьмислойные нейронные сети^{, ,} , в основе которых, правда, лежал иной вид искусственного нейрона, основанного на интерполяционном полиноме Колмогорова — Габора (или, как его иногда называют, полином Вольтерра — Колмогорова — Габора). Метод группового учёта аргументов используется исследователями и в наши дни, хотя занимается им лишь небольшое количество специалистов на территории бывшего СССР и в дальнем зарубежье.

Некоторые исследователи на Западе примерно в то же время или несколько раньше Ивахненко обучали сети с одним промежуточным слоем. Например, этим занимались коллеги Розенблатта Сэм Виглион и Роджер Дэвид Джозеф, в честь которых получил название алгоритм Джозефа — Виглиона. Однако сети, содержащие восемь слоёв, полстолетия назад явно опережали своё время.

Впрочем, сами подходы, использованные Виглионом с Джозефом и Ивахненко в его МГУА, отдалённо напоминают друг друга. Алгоритм Джозефа — Виглиона шаг за шагом генерирует и оценивает двухслойные нейронные сети с прямым распространением, автоматически идентифицируя небольшие подмножества признаков, которые обеспечивают лучшую классификацию примеров из обучающей выборки. Полученные сети затем подвергаются валидации (проверке) на части данных, не включённых в обучающую выборку^{, ,} . В МГУА в нейронную сеть на каждом шаге добавляются дополнительные слои, обучаемые с использованием регрессионного анализа (таким образом, МГУА восходит к методам, разработанным ещё в XIX в. Лежандром и Гауссом). Затем применяется процедура сокращения слоя. Для этого точность предсказаний каждого из нейронов (Ивахненко, как и многие другие коннекционисты того времени, не использовал термин «нейрон», а писал просто о «переменных», слои сети называл рядами, а саму сеть — фильтром, но мы будем придерживаться современной терминологии) оценивается при помощи валидационной выборки, а затем наименее точные нейроны удаляются^, .

Книга «Предсказание случайных процессов», написанная Ивахненко в соавторстве с Валентином Лапой и увидевшая свет в 1969 г., стала своеобразным компендиумом техник, исследовавшихся советскими коннекционистами, а книга 1971 г. «Системы эвристической самоорганизации в технической кибернетике» содержит не только подробное описание МГУА, но и множество примеров его применения для решения прикладных задач. Многие работы Ивахненко и его коллег были переведены на английский язык, и отсылки к ним мы можем увидеть в ряде современных работ по глубокому обучению.

Хотя нейросетевые модели наших дней, лежащие в основе новой коннекционистской весны, лишь отдалённо похожи на сети, построенные при помощи МГУА, но именно данный метод в некоторой степени стал поворотным пунктом в коннекционистских исследованиях. Исследователи в полной мере осознали, что обучение глубоких нейронных сетей в принципе возможно и что именно их использование может обеспечить прорывные результаты в решении тех или иных задач машинного обучения.

Loading comments...