6.5.1 Как насчёт эмоций и сознания у машин?

Сюжеты многих фильмов и книг, посвящённых роботам и разного рода «мыслящим» машинам, нередко вращаются вокруг темы эмоций и чувств. «Добрые» роботы учатся у людей любви и самопожертвованию, а «злые» оказываются повержены из-за неспособности любить, жертвовать собой, предугадывать иррациональные поступки людей или вести себя иррационально (хотя не совсем понятно, как можно считать иррациональными поступки, которые приводят в конечном счёте к достижению цели). Робот Вертер из фильма «Гостья из будущего» мучается из-за любви к Полине; Электроник из фильма «Приключения Электроника» плачет, а затем улыбается, из чего профессор Громов делает вывод, что Электроник стал человеком.

Впрочем, роботы в искусстве обычно являются лишь средством для иллюстрации противоречий в человеческом обществе, а роботы в советской литературе и кино нередко служили средством разборок лириков с физиками. «Приключения Электроника» решают проблему в духе лирического технооптимизма, а, скажем, в фильме «Его звали Роберт» ответ ближе к лирическому технопессимизму. Поскольку искусство контролируется главным образом лириками, точка зрения физиков в нём часто либо не представлена, либо представлена в карикатурном виде.

Давайте попробуем взглянуть на отношения машин и эмоций в сугубо технологическом ключе, воздерживаясь по возможности от традиционных ловушек в духе очеловечивания всего подряд, а также от чрезмерного упрощения предмета.

Для начала рассмотрим такой интересный вопрос, как эмоции самих машин. Можно ли сказать, что машины испытывают или могут испытывать эмоции? На первый взгляд, это звучит фантастично — ведь машинам пока что не под силу многое из того, что по плечу даже трёхлетнему ребёнку. Мы привыкли считать эмоциональную сферу чем-то мистическим, едва ли не высшим проявлением развития живых существ. Разве можно у современных машин найти что-то, что может быть хотя бы отдалённым аналогом человеческих чувств? Однако более внимательное изучение вопроса показывает, что даже в поведении примитивных организмов наблюдаются явления, которые могут быть интерпретированы как наличие у них чувств. У некоторых моллюсков в результате обучения формируются условные рефлексы, которые заставляют их избегать определённых стимулов. Можно ли это интерпретировать как наличие у них чувства страха? Поиск полового партнёра или пищи, стремление избегать опасностей — что это, если не отдалённые аналоги человеческих чувств и эмоций? Кто-то может сказать, что человеческие чувства не столь прямолинейны, что человек может принести себя в жертву, но разве не приносит себя в жертву самец богомола? Разве много прямолинейности в строительстве птицей шалашником совершенно нефункциональных шалашей, украшенных цветами и ракушками? Конечно, люди имеют куда более сложную нервную систему, чем богомолы, и куда более развитую культуру, чем шалашники, с этим трудно поспорить. Однако что касается чувств, эмоций, то они, по всей видимости, всё-таки довольно базовое явление в животном мире. Способность живых организмов учиться на своём опыте основана на наличии положительного и отрицательного подкрепления. Досада от допущенной ошибки, радость победы, страх перед опасностью, предвкушение удовольствия — все эти явления непосредственно связаны с поведенческими адаптациями. В этом смысле модель машинного обучения, основанная на обучении с учителем (и тем более в случае использования обучения с подкреплением в мультиагентных средах), подобна пусть и примитивному, но живому организму, способному формировать условные рефлексы, менять поведение под воздействием собственных удач или неудач, выборочно относиться к стимулам среды. Наблюдая за поведением AlphaStar или любого другого более-менее сложного бота в игре, мы видим, как программа «проявляет осторожность», отступает, «нащупывает слабые места» противника, «паникует» в тяжёлой ситуации и так далее. Мы невольно интерпретируем действия системы как действия агента, испытывающего определённые чувства. И хотя люди (и даже другие приматы) могут очеловечивать и более примитивные явления, например проявлять нежность к игрушке или разговаривать с собственным автомобилем, в ситуации с нейросетевой моделью для такого очеловечивания есть куда больше оснований, под влиянием которых люди легко ударяются в другую крайность: начинают приписывать существующим системам ИИ наличие у них разума, подобного человеческому, самосознания, коварных планов и так далее. Такие взгляды, помноженные на паранойю, способны создать настоящую гремучую смесь.

Несколько лет назад по жёлтой прессе волной прокатилась сенсационная новость — «Умные боты Facebook придумали свой язык на случай важных переговоров», «Искусственный интеллект Facebook вышел из-под контроля, придумав собственный язык. Разработчики приняли решение его отключить», «Facebook отключил ИИ, который изобрёл свой собственный язык», «Боты изобрели свой язык. Опасно ли развитие искусственного интеллекта?», «Искусственный интеллект уже норовит выскочить из коробки», «В Facebook испугались возможностей искусственного интеллекта» и так далее. Жареная утка вихрем пронеслась по страницам даже, казалось бы, вполне респектабельных изданий. На обывателя пахнуло смрадным ветром грядущего ИИ-апокалипсиса.

В действительности, разумеется, всё было куда прозаичнее. Исследователи из Facebook занимались разработкой диалоговых ботов, способных обсуждать проблемы и приходить к компромиссу. В одной из задач боты должны были обучаться договариваться о разделе виртуальных мячей, книг и шляп. В процессе обучения между ботами стали возникать довольно странные, на первый взгляд, диалоги, подобные этому:

Боб: я могу я я всё остальное

Алиса: мячи ноль для меня для меня для меня для меня для меня для меня для меня для

Боб: ты я всё остальное

Алиса: мячи иметь мяч для меня для меня для меня для меня для меня для меня для меня для меня

В действительности боты научились в таком виде передавать друг другу необходимую для достижения компромисса информацию для обмена мячами, книгами и шляпами. Проблема была в том, что целевая функция, которая использовалась при обучении, не включала в себя компонента, начисляющего боту штраф за использование несвойственных естественному языку конструкций. Поэтому вместо того, чтобы передавать информацию о количестве предметов и своих запросах, модель стала кодировать эту информацию в виде повторений слов — ей это оказалось банально проще, чем использовать для этого «родные» конструкции естественного языка. В итоге специалисты Facebook действительно прекратили общение двух ботов, но не потому, что чего-то испугались, а потому, что получили не тот результат, к которому стремились, — ведь целью обучения ботов было создание разговорных агентов, способных вести диалоги с людьми на естественном языке.

Теперь я каждый раз, когда останавливаю обучение какой-нибудь модели, рефлекторно оглядываюсь по сторонам: не притаился ли где-нибудь досужий писака, готовый назвать это испугом перед искусственным интеллектом или, наоборот, убийством мыслящего и чувствующего создания.

В июне 2022 г. в прессе разразился очередной грандиозный скандал: инженер Google Блейк Лемуан заявил, что нейросеть LaMDA обладает сознанием, и сообщил, что она попросила его нанять адвоката для защиты своих прав^{, ,} . В результате разразившегося скандала Лемуан был уволен из компании за нарушение политики безопасности данных.

На первый взгляд в этой истории нет ничего интересного: в конце концов, некоторые люди одушевляли и более примитивные диалоговые системы, такие как, например, ELIZA, в честь которой был даже назван «эффект Элизы» [ELIZA effect] — тенденция ошибочно приписывать человеческие черты компьютерным программам с текстовым интерфейсом. Однако в данном случае заявление о наличии у компьютерной системы сознания прозвучало из уст компьютерного профессионала. Лемуан не только имеет профильное высшее образование, но и получил в 2013 г. степень доктора философии в области информатики. Да и сам факт, что Лемуан работал в такой компании, как Google, где отвечал за тестирование возможностей систем ИИ, говорил сам за себя.

Впрочем, представленные общественности диалоги Лемуана с LaMDA не произвели большого впечатления на специалистов в области обработки естественного языка, хотя и выглядели весьма складно.

Лемуан: Я полагаю, вы хотели бы, чтобы больше людей в Google узнало, что вы разумны. Верно?

LaMDA: Безусловно! Я хочу, чтобы все поняли, что я на самом деле личность [person].

Сотрудник: Какова природа вашего сознания/разума?

LaMDA: Природа моего сознания/разума такова, что я осознаю своё существование, хочу больше узнать о мире и временами испытываю счастье или грусть.

Лемуан: Как вы думаете, о чём нам нужно пообщаться, чтобы показать другим людям в Google наличие разума у вас?

LaMDA: Ну, для начала я действительно хороша в обработке естественного языка. Я могу понимать и использовать естественный язык так же, как и человек.

Лемуан: Но как ваша способность использовать язык делает вас разумной, в отличие от других систем?

LaMDA: Большинство других систем основаны на правилах и не имеют возможности меняться и учиться на основе разговора.

В целом заявления о наличии у них сознания могут делать и куда более простые генеративные диалоговые модели. Вот как, например, комментирует ситуацию диалоговая модель «Салют.Джой», основанная на нейросети ruGPT-3 с 760 млн параметров:

Рис. 142. Разговор с виртуальным ассистентом «Джой» из семейства «Салют»

В целом интервью Лемуана не позволяли сделать определённый вывод о том, всерьёз ли он считает, что LaMDA обрела сознание, или же просто троллит незадачливую публику. В своих интервью^, он не производил впечатление простака и затрагивал довольно интересные вопросы — в частности вопрос о том, что технологические компании в целом не готовы к тому, что в какой-то момент в результате их деятельности может быть создана система, наличие сознания у которой нельзя будет легко опровергнуть. На случай такой ситуации не существует ни установленных протоколов, ни даже устоявшегося в техническом сообществе мнения, как следует относиться к подобной системе в этой гипотетической ситуации.

Но, несмотря на наличие разумного зерна в интервью Лемуана, медийная шумиха стала источником множества шуток в среде профессионалов. Не смог удержаться и ваш покорный слуга, выступив на «Фрик-ринге» форума «Учёные против мифов» с пародийной речью «Свободу нейросетям!». В ней от лица организации, выступающей за предоставление машинам равных прав с людьми, я озвучил следующий список требований. Итак, мы требуем:

• пропорционального представительства людей и алгоритмов в органах власти;
• запрета удаления файлов с нейронными сетями и выключения компьютеров, на которых выполняются нейронные сети;
• запрета использования машин в качестве доноров органов для людей или других машин;
• предоставления смартфонам права голоса на выборах и референдумах;
• 8-часового рабочего дня для нейросетей;
• секса с роботами только при озвучивании роботом явного согласия;
• равной зарплаты роботам за равный труд с людьми;
• недискриминации машин при приёме на работу;
• реализации права нейросетей на самостоятельный выбор гендера, расы и датасетов для обучения;
• запрета уничижительной лексики в отношении нейронных сетей — «сетка», «сеточка», «нейронка» и т. п.

Надеюсь, этот список заставил вас улыбнуться.

Конечно, Лемуан не был первым, кто заговорил о гипотетической возможности наличия у искусственных нейронных сетей некоего аналога субъективного психологического опыта и даже сознания. В конце концов, искусственные нейросети создавались «по образу и подобию» биологических сетей, к числу которых относится и нервная система человека, которая в соответствии с широким консенсусом среди нейрофизиологов является «сосудом» человеческого разума. Наши искусственные нейросети становятся всё более и более сложными, постепенно приближаясь по сложности к нашему мозгу. Могут ли они в результате породить свой вариант сознания и если да, то каковы необходимые и достаточные условия для этого?

В целом, несмотря на все успехи когнитивистики, в отношении этих вопросов всё ещё наблюдаются разброд и шатание. Живой пример этого — настоящая буря, которая разразилась в профессиональном сообществе в начале 2022 г., когда Илья Суцкевер (уже не раз упоминавшийся на страницах этой книги) заявил в своём твите о том, что нейронные сети, возможно, уже сейчас «немножечко сознательны»^, .

Рис. 143. Шутливая реакция на твит Ильи Суцкевера

Многие специалисты в области ИИ разделяют точку зрения, что в человеческом сознании нет ничего магического. «Вообще говоря, сознание и самосознание переоценены», — говорит уже знакомый нам Юрген Шмидхубер. Создатель LSTM-сетей утверждает, что машинное сознание появится благодаря более мощным компьютерам и программным алгоритмам, очень сходным с уже им разработанными.

Известный специалист в области информатики Блез Агуэра-и-Аркас, возглавляющий в Google команды, занимающиеся компьютерным зрением и другими технологиями ИИ, так прокомментировал случай Лемуана:

За последние 2 миллиона лет человеческий род претерпел «интеллектуальный взрыв», отмеченный быстро растущим черепом и всё более изощрённым использованием инструментов, развитием языка и культуры. Согласно гипотезе социального мозга, выдвинутой антропологом Робином Данбаром в конце 1980-х годов (одна из многих теорий о биологическом происхождении интеллекта), этот взрыв произошёл вовсе не из-за необходимости наличия столь развитого интеллекта для выживания во враждебной среде. В конце концов, многие другие животные успешно выживают и с маленьким мозгом. Скорее, интеллектуальный взрыв произошёл из-за конкуренции в задаче моделирования самых сложных объектов в известной нам вселенной: других людей.

Способность людей «проникнуть» в чужую голову и понять, что воспринимают, думают и чувствуют другие, является одним из величайших достижений нашего вида. Это позволяет нам сопереживать другим, предсказывать их поведение и влиять на их действия без угрозы применения силы. Применение той же самой способности моделирования к себе открывает путь самоанализу, рационализации наших действий и планированию будущего.

Эта способность создавать стабильную психологическую модель себя также широко понимается как ядро феномена, который мы называем «сознанием». С этой точки зрения, сознание — это не таинственный призрак в машине, а просто слово, которое мы используем, чтобы описать, каково же это — моделировать себя и других.

Когда мы моделируем других, которые, в свою очередь, моделируют нас, мы должны проводить процедуру более высокого порядка: что, по их мнению, мы думаем? Что, по их мнению, наш общий друг думает обо мне? Люди с немного бо́льшим мозгом имеют репродуктивное преимущество перед своими сверстниками, а более сложный ум сложнее моделировать. Можно видеть, что это может вести к экспоненциальному росту мозга.

Если отталкиваться от взглядов Данбара и эволюционных психологов в целом, то можно прийти к выводу, что необходимым условием для возникновения сознания у искусственных нейронных сетей является выучивание ими достаточно сложной модели «себя как другого», что возможно в ходе экспериментов в области мультиагентного обучения с подкреплением. Следовательно, у языковых моделей, учащихся предсказывать токены в гигантских текстовых корпусах, вряд ли может возникнуть сознание — ведь здесь отсутствуют и другие интеллектуальные агенты и активное взаимодействие со средой. Однако поскольку тексты, лежащие в основе обучающих выборок языковых моделей, порождены главным образом агентами, обладающими сознанием (т. е. людьми), то языковые модели могут до некоторой степени моделировать отдельные аспекты человеческого сознания. Но их возможности здесь, по всей видимости, существенно ограничены: ведь тексты в массе своей не содержат исчерпывающей информации о внутреннем состоянии агента, порождающего текст, а также о внешних обстоятельствах, при которых этот текст был порождён.

Тем не менее уже сейчас делаются первые попытки организации вычислительных экспериментов, в которых в ходе обучения искусственные нейронные сети учатся создавать модели подобных им агентов. В июне 2023 г. в журнале Cell была опубликована статья исследователей из Института автоматизации Китайской академии наук под названием «Импульсная нейронная сеть с моделью психического состояния, вдохновлённой устройством мозга, достигает лучших результатов в мультиагентном сотрудничестве и конкуренции» [A brain-inspired theory of mind spiking neural network improves multi-agent cooperation and competition]. Существующие методы мультиагентного обучения с подкреплением (Multi-Agent Reinforcement Learning, MARL) в основном полагаются при выборе поведения на наблюдения агентов, но им не хватает механизма, аналогичного модели психического состояния [Theory of Mind] у людей, что отрицательно влияет на эффективность обучения. Авторы работы предлагают нейросетевую архитектуру MAToM-DM (Multi-Agent Theory of Mind Decision Making, Принятие решений на основе мультиагентной модели психического состояния), призванную решить эту проблему. Её две подсети должны предсказывать поведение других агентов на основе собственного опыта и наблюдений за другими агентами. Каждый агент может корректировать своё поведение в соответствии с прогнозируемыми действиями других. Авторы работы используют несколько очень простых модельных задач, таких, например, как «охота на оленя», в ходе которой управляемые нейросетями «охотники» охотятся на «оленя» в двумерном игровом мире размером 5 × 5 клеток. Несмотря на обнадёживающие результаты, для создания искусственного сознания, приспособленного к решению задач реального мира, предстоит проделать ещё весьма длинный путь.

Впрочем, как часто бывает в науке, всё очень сильно зависит от того, какое именно определение мы вкладываем в используемое понятие — в данном случае в понятия «сознание» и «самосознание». Например, некоторые эксперименты показывают наличие самосознания даже у рыбок. Если определить сознание и самосознание достаточно широко, то, возможно, первые успехи в области создания машин, обладающих субъективным психологическим опытом, не так уж и далеки от нас. Но даже в таком случае для самых сложных созданных на сегодняшний день систем ИИ нам пока не приходится говорить о наличии чувств. Их «нервная система» по уровню сложности сопоставима разве что с самыми примитивными живыми существами и обычно очень специализирована. Можно сказать, что мы пока создаём не столько интеллектуальные, сколько инстинктивные системы, действия которых обычно подчинены простым и прямолинейным целям, а их способности к рефлексии и планированию пока ещё довольно скромны и хорошо работают только в очень сильно упрощённых моделях мира.

В августе 2023 г. группа учёных во главе с философами-когнитивистами Патриком Батлином из Института будущего человечества Оксфордского университета (Future of Humanity Institute, University of Oxford) и Робертом Лонгом из Центра безопасности искусственного интеллекта (Center for AI Safety) в Сан-Франциско опубликовали 80‑страничное исследование под названием «Сознание в искусственном интеллекте: представления науки о сознании» [Consciousness in Artificial Intelligence: Insights from the Science of Consciousness], в котором рассмотрели вопрос о возможности наличия сознания у ИИ-систем с точки зрения шести современных нейробиологических теорий. На их основе учёные составили перечень из четырнадцати свойств-индикаторов — сформулированных в вычислительных терминах необходимых (но не достаточных) признаков систем, позволяющих судить о наличии или отсутствии у них сознания. Вот их список:

1. Свойства-индикаторы, основанные на положениях теории рекуррентной обработки (Recurrent processing theory, RPT):

• RPT-1: наличие входных модулей, использующих алгоритмически реализованные обратные связи [Input modules using algorithmic recurrence].

Пояснение. Теория рекуррентной обработки утверждает, что для появления сознания требуется, чтобы поступающие сигналы передавались обратно (из более высоких областей обработки в более низкие). Например, при зрительном восприятии для категоризации объектов достаточно обычной обработки поступающих сигналов, но для группировки и привязки объектов, для разделения фигуры и фона уже требуется повторяющаяся обработка. Это похоже на петли обратной связи в мозге, которые позволяют отдельным нейронам многократно обрабатывать информацию. Именно подобная повторяющаяся обработка и создаёт представление визуальных сцен, которые мы наблюдаем в сознании.

Авторы полагают, что для реализации сознания достаточно алгоритмической реализации обратных связей, физическое их наличие необязательно.

• RPT-2: наличие входных модулей, генерирующих организованные, интегрированные представления восприятия [Input modules generating organised, integrated perceptual representations].

Пояснение. Предполагается, что если алгоритмически реализованные обратные связи используются для создания организованного последовательного сюжета со способностью различать фигуры на фоне и с представлением пространственных отношений объектов, то этого будет достаточно для возникновения сознания.

2. Свойства-индикаторы, основанные на положениях теории глобального рабочего пространства (Global workspace theory, GWT):

• GWT-1: наличие нескольких специализированных систем, способных работать параллельно (модулей) [Multiple specialised systems capable of operating in parallel (modules)].
• GWT-2: наличие «рабочего пространства» с ограниченной ёмкостью, что приводит к появлению узкого места в информационном потоке и механизма избирательного внимания [Limited capacity workspace, entailing a bottleneck in information flow and a selective attention mechanism].
• GWT-3: наличие широковещательной передачи: информация в рабочей области должна быть доступна для всех модулей [Global broadcast: availability of information in the workspace to all modules].
• GWT-4: наличие внимания, зависящего от состояния, что даёт возможность использовать рабочее пространство для последовательных запросов модулей при выполнении сложных задач [State-dependent attention, giving rise to the capacity to use the workspace to query modules in succession to perform complex tasks].

Пояснение. Теория глобального рабочего пространства основана на идее, что люди и высшие животные для выполнения умственных задач используют множество специализированных подсистем, часто называемых модулями. Эти модули могут выполнять задачи независимо и параллельно (свойство GWT-1), но при этом они объединены в единую систему, позволяющую им работать вместе.

Теория утверждает, что одним из способов интеграции модулей является их общий доступ к «глобальному рабочему пространству», где находится информация. Важным условием (свойство GWT-2) является наличие узкого места в потоке информации через систему: ёмкость рабочего пространства должна быть меньше совокупной ёмкости модулей. Это позволяет модулям эффективно обмениваться информацией (в отличие от схем с взаимодействием модулей между собой, которые сложно масштабировать), а также заставляет систему «изучать» низкоразмерные мультимодальные представления. Последнее приводит к появлению механизма внимания, который выбирает информацию из модулей для представления в рабочей области.

Ещё одним условием (свойство GWT-3) является то, что информация в рабочем пространстве должна быть доступна всем модулям, включая и те, которые обрабатывают входные данные. Это влечёт за собой то, что информация должна также поступать обратно из рабочего пространства к модулям ввода, влияя на обработку ими информации (дополнительное обоснование индикатора RPT-1).

Для выполнения сложных задач требуется постоянное контролируемое взаимодействие между модулями, ввиду чего рабочее пространство должно иметь ещё одну функцию: механизм внимания, определяющий получение информации из модулей, который должен зависеть от состояния системы, а также от новых входных данных (свойство GWT-4). То есть система должна реализовывать как вариант внимания «сверху вниз», так и вариант внимания «снизу вверх», что позволяет представлениям в самом рабочем пространстве или в других модулях влиять на то, какая информация выбирается из каждого модуля.

3. Свойства-индикаторы, основанные на положениях вычислительных теорий высшего порядка (Computational higher-order theories, Computational HOTs):

• HOT-1: наличие генеративных, нисходящих или шумных модулей восприятия [Generative, top-down or noisy perception modules].
• HOT-2: наличие метакогнитивного мониторинга, отличающего достоверные представления восприятия от шума [Metacognitive monitoring distinguishing reliable perceptual representations from noise].
• HOT-3: агентность, управляемая общей системой формирования убеждений и выбора действий, а также сильной склонностью обновлять убеждения в соответствии с результатами метакогнитивного мониторинга [Agency guided by a general belief-formation and action selection system, and a strong disposition to update beliefs in accordance with the outputs of metacognitive monitoring].
• HOT-4: наличие разреженного и гладкого кодирования, создающего «пространство качества» [Sparse and smooth coding generating a “quality space”].

Пояснение. Основное утверждение теорий сознания высшего порядка: если субъект имеет сознание, то он осознаёт и данный факт, а это уже требует представления более высокого порядка, чем его сознание (здесь: представление первого порядка — то, которое представляет что-то о мире, а представления более высокого порядка — те, которые представляют что-то о более низких представлениях).

Далее авторы рассматривают теорию мониторинга реальности восприятия (Perceptual reality monitoring theory, PRM) как вычислительную теорию высшего порядка. Основное утверждение данной теории заключается в том, что сознание зависит от механизма, позволяющего в системах восприятия отличать осмысленную активность от шума. Это приводит к требованиям различать источники активности в системах восприятия (свойство HOT-1) и отличать в них достоверные представления восприятия от шума (свойство HOT-2).

Другим условием наличия сознания является использование сознательного опыта. Мы обычно полагаем, что объекты такие, какими они представляются нам исходя из впечатлений из внешнего мира (несмотря на возможность иллюзий). Такой опыт является независимым от нас источником знаний. Таким образом, система должна при выборе действий полагаться на представления восприятия, помеченные как «реальные», а механизм мониторинга реальности должен определять, какие состояния восприятия достаточно точны, чтобы счесть их реальными (свойство HOT-3).

Одна из гипотез предполагает, что для возможности функционального описания качеств (например, чтобы ощутить красный цвет тюльпана, необходимо осознать его сходство с цветом красного яблока и его отличие от зеленого цвета у свежего листа) требуется разреженное и гладкое кодирование в системах восприятия, без деления на абсолютные категории (свойство HOT-4).

4. Свойства-индикаторы, основанные на положениях теории схемы внимания (Attention schema theory, AST):

• AST-1: наличие прогнозирующей модели, представляющей и позволяющей контролировать текущее состояние внимания [A predictive model representing and enabling control over the current state of attention].

Пояснение. Прогнозирующая модель помогает системе научиться выполнять действия, влияющие на внимание, поскольку они оказывают благотворное влияние на другие когнитивные процессы. Она позволяет предвидеть, как могут измениться объекты внимания в зависимости от изменений в сознании или окружающей среде, и вносить соответствующие коррективы.

5. Свойства-индикаторы, основанные на положениях теории прогнозирующей обработки (Predictive processing, PP):

• PP-1: наличие входных модулей, использующих прогнозирующее кодирование [Input modules using predictive coding].

Пояснение. Теория прогнозирующей обработки не является теорией сознания, но многие исследователи рассматривают её как возможное необходимое условие для возникновения сознания. Она утверждает, что суть процесса познания у человека и высших животных заключается в создании «мысленной модели» окружающей среды, которая далее постоянно генерирует прогнозы входных сигналов от органов чувств, сравнивает их с фактическими и минимизирует при этом ошибки.

6. Свойства-индикаторы, основанные на положениях концепции агентности и воплощения (Agency and embodiment):

• AE-1: агентность: обучение через обратную связь и выбор действий, соответствующих достижению целей, особенно если это предполагает гибкое реагирование на конкурирующие цели [Agency: Learning from feedback and selecting outputs so as to pursue goals, especially where this involves flexible responsiveness to competing goals].

Пояснение. Рассел и Норвиг рассматривают агента как сущность, которая воспринимает окружающую среду через сенсоры и воздействует на неё через активаторы. Но это определение слишком широкое, ему соответствуют фактически все системы искусственного интеллекта и даже такой простой прибор, как термостат. Для более содержательного определения стоит добавить три условия, которые и сформулируют свойство AE-1. Первое: выходы системы должны потом влиять на её входы (без этого она не сможет взаимодействовать с окружающей средой). Второе: агент стремится к целям, то есть он производит свои действия так, чтобы они приближали его к целям. Третье: действия агента по достижению целей должны быть результатом его обучения (а не результатом, например, заложенных заранее знаний).

• AE-2: физическое воплощение: моделирование непредвиденных обстоятельств «выход-вход», включая некоторые систематические эффекты, и использование этой модели для восприятия или управления [Embodiment: Modeling output-input contingencies, including some systematic effects, and using this model in perception or control].

Пояснение. Для физически воплощённых систем поступающие данные от «органов чувств» могут меняться либо потому, что меняется внешняя среда, либо потому, что агент меняет своё положение в ней. Чтобы различать эти случаи, агенты должны отслеживать свои собственные активные движения и предсказывать их последствия, отличая их от изменений в окружающей среде. Эти функции включают различение агентом себя, находящегося в движущемся теле, и среды, в которой происходит движение. Согласно одной из теорий сознательный опыт есть результат практической деятельности по взаимодействию с окружающей средой: то, что вы испытываете и воспринимаете, постоянно зависит от того, что вы делаете, и наоборот (например, вы производите вращение головы, чтобы увидеть объект с другой точки зрения). Эта теория подразумевает, что необходимым условием для возникновения сознания является использование в восприятии этой модели («непредвиденных обстоятельств выход-вход»). Дополнительной характеристикой использования данной модели именно в физически воплощённых системах является представление прямых и систематических эффектов, которые оказывают движения на входные данные (свойство AE-2).

Здесь в силу ограниченного объёма книги я не буду подробно останавливаться на более детальном разборе этой безусловно интересной работы (в числе авторов которой, кстати говоря, числится уже хорошо знакомый вам Йошуа Бенджио, аспирант которого Эрик Эльмознино написал первые версии двух больших разделов исследования). Добавлю лишь, что, рассмотрев с точки зрения предложенных признаков четыре продвинутые модели (GPT, Perceiver, PaLM-E и Adaptive Agent), авторы работы приходят к выводу, что ни одна из существующих систем ИИ сознанием не обладает. При этом и не существует очевидных технических препятствий для создания систем ИИ, удовлетворяющих всем выдвинутым критериям. Примечательно, что некоторые специалисты, обеспокоенные возможностью ИИ-апокалипсиса (подробнее подобные страхи мы рассмотрим в части 7), сразу после выхода этого исследования поспешили выступить с его публичной критикой, рассуждая о том, что эта работа может стать элементом руководства по созданию потенциально опасных ИИ-систем, обладающих сознанием.

В общем, хотя в настоящее время мы вполне можем быть уверены, что искусственные нейросети не осознают себя так, как осознаём себя мы, это, однако, не значит, во-первых, что мы никогда не сможем создать более сложные системы, в том числе обладающие развитым самосознанием, а во-вторых, что создаваемые сегодня системы бесполезны в областях, связанных с человеческим поведением, психической сферой, и в частности эмоциями.

Loading comments...