7.1.2 Текущая оценка опасности развития ИИ

Воззрения Батлера можно было бы счесть курьёзом и отнести к страху перед машинами, появившемуся в период стремительного индустриального прогресса XIX в. Но поскольку развитие науки и техники не останавливалось, то идеи восстания машин ещё не раз возникали в искусстве. Однако ранее они носили теоретический характер, относясь к обсуждению рисков далёкого будущего. Сейчас же, ввиду прогресса в области ИИ, этот вопрос всё более волнует широкую публику.

Что же говорят об опасности развития ИИ учёные и IT-специалисты?

Роман «Едгин» был знаком Тьюрингу, который упоминал его в лекции 1951 г., посвящённой долгосрочным прогнозам развития машинного интеллекта: «Представляется возможным, что, когда методы машинного рассуждения заработают, не потребуется много времени, чтобы превзойти наши слабые силы. Перед машинами не будет стоять проблема умирания, и они смогут общаться друг с другом, изощряя свой ум. Таким образом, на каком-то этапе нам следует ожидать, что машины возьмут власть, как это описывается в „Едгине“ Сэмюэла Батлера».

В том же году Тьюринг вернулся к этому вопросу в выступлении на радио Би-би-си: «Если машина умеет мыслить, то может мыслить разумнее нас, и что тогда ждёт нас? Даже если мы сумели бы удержать машины в подчинённом положении, например отключив питание в критический момент, мы как биологический вид чувствовали бы себя совершенно униженными… Эта новая опасность… безусловно, заслуживает того, чтобы из-за неё тревожиться»^{, ,} .

Ныне уже покойный профессор Стивен Хокинг, один из самых уважаемых и известных британских учёных, заявил, что усилия по созданию мыслящих машин могут привести к тому, что само существование человечества окажется под угрозой. В интервью Би-би-си он отметил, что «появление полноценного искусственного интеллекта может стать концом человечества». Хокинг в данном случае имел в виду сценарий «интеллектуального взрыва» [intelligence explosion]: «Он [полноценный искусственный интеллект] сам вырулит на взлётную полосу и станет сам себя совершенствовать со всё возрастающей скоростью. Люди, ограниченные медленной биологической эволюцией, не смогут тягаться [с ИИ] и будут вытеснены [superseded]». Конечно, в отличие от Батлера, Хокинг не предлагал уничтожить машины и вернуться к первобытному порядку вещей, однако если «полноценный искусственный интеллект» действительно угрожает самому существованию человечества, то некоторые люди могут сделать вывод о том, что необходимо полностью запретить исследования в данной области.

На необычный вариант ИИ-риска указывает популярный в наши дни шведский философ, профессор Оксфордского университета Ник Бостром. Он придерживается мнения, что достигший интеллектуального уровня человека ИИ [human-level AI] будет способен уничтожить человечество ввиду ошибочного целеполагания. Бостром объясняет это на примере машины, предназначенной для производства канцелярских скрепок: предположим, что вы поставили перед системой ИИ задачу изготавливать скрепки, причём делать их максимально эффективно и как можно больше. Система в какой-то момент поймёт, что человек представляет угрозу, поскольку может просто отключить её, что будет противоречить задаче максимизации количества скрепок. Кроме того, человеческие тела состоят из атомов, которые можно использовать для производства отличных скрепок. В итоге, руководствуясь поставленной целью, машина изведёт всё человечество на скрепки. История с машиной для производства скрепок имеет немало общего со средневековыми легендами, в которых фигурирует договор с дьяволом (вроде польской легенды о пане Твардовском). В этих историях дьявол обычно находит способ трактовать то или иное положение договора в свою пользу — совсем не так, как понимает его заключивший договор человек.

Более прямолинейные суждения можно услышать от икон высокотехнологического бизнеса. Например, в июне 2014 г. Илон Маск заявил, что создание продвинутых систем ИИ может привести к воплощению в жизнь сюжета фильма «Терминатор», и предупредил, что, если человечество не предпримет необходимых мер, чтобы обезопасить разработку, уже через пять лет планету может ожидать появление реальной SkyNet.

Не останавливаясь на отсылке к кинобоевику, в октябре того же года на симпозиуме MIT Маск задействовал религиозные аналогии: «Разрабатывая ИИ, мы призываем демона. Знаете, все эти истории, где есть парень с пентаграммой и святой водой? Он уверен, что сможет управлять демоном, но это не так».

В целом Маск характеризует ИИ как «самую большую угрозу существованию человечества» [biggest existential threat]. Правда, вполне возможно, что Маск со своей вульгарной риторикой не столько выражает своё мнение, сколько стремится привлечь внимание аудитории, что для него обычное дело.

Однако помимо упомянутых нами учёных, некоторые высказывания которых могут быть интерпретированы в технопессимистическом ключе, существуют и публичные персоны, поддерживающие идею ограничения развития технологий путём отказа от «нашего стремления к определённым родам знаний». К их числу относятся, например, американский писатель, автор книги «Хватит: оставаясь человеком в спроектированный век» (Enough: Staying Human in an Engineered Age) и сторонник антитехнологического «движения за отказ» [relinquishment movement] Билл Маккиббен, а также американский учёный в области теории вычислительных систем Билл Джой.

Хотя в своих работах ни Джой, ни Маккиббен не требуют запрета всех исследований в области ИИ, другими исследователями их позиция нередко трактуется именно в таком ключе. Например, именно так трактует эти идеи Билл Хиббард, исследователь из Висконсинского университета в Мадисоне и автор множества исследований, посвящённых рискам, связанным с развитием ИИ^, .

Ещё дальше пошёл американский математик и социальный критик, бывший старший преподаватель Калифорнийского университета в Беркли Теодор Качинский, печально известный ныне как Унабомбер (Unabomber, сокращение от University and airline bomber — подрывник университетов и авиалиний). Не ограничившись одной лишь пропагандой неолуддитских идей, в период с 1978 по 1995 г. Качинский разослал по почте 16 посылок с бомбами, целью которых были университеты, авиалинии и магазины компьютерной техники. Итогом стала гибель трёх (владелец компьютерного магазина, руководитель отдела рекламы и лоббист лесной промышленности) и ранение 23 человек. Среди получивших тяжёлые ранения были профессор Калифорнийского университета в Беркли Диогенес Ангелакос, профессор Мичиганского университета Джеймс Макконнелл, профессор Йельского университета Дэвид Джелернтер, ряд других сотрудников университетов.

В 1995 г. Качинский отправил в газету The New York Times письмо, в котором обещал отказаться от рассылки бомб, если в The New York Times или The Washington Post будет опубликован его манифест. Чтобы избежать жертв, ФБР рекомендовало опубликовать текст, что и было исполнено. Манифест Унабомбера, озаглавленный «Индустриальное общество и его будущее» (Industrial Society and Its Future), помимо позаимствованных позже Брейвиком рассуждений об опасности левых идей, содержит пространные рассуждения о том, как развитие технологий приводит ко всё большему порабощению людей. Террорист также анализирует различные сценарии развития человечества, один из которых, по его мнению, завершится порабощением человечества разумными машинами. Билл Джой писал: «Качинский действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это осознавать, но в рассуждениях, изложенных в этом единственном отрывке, я видел некоторую логику. Я чувствовал необходимость противостоять ей».

К сожалению, подобная риторика, отчасти легализующая нарративы Унабомбера, содержит в себе потенциальную опасность, поскольку расширяет границы допустимого противодействия ИИ-рискам. Хотя современные настроения в обществе трудно назвать технофобскими, никто не может поручиться за то, что ситуация не изменится в одночасье, как это произошло в случае антипрививочного движения, которое получило в последние десятилетия широкое распространение в развитых странах. Кто знает, на какие крайности окажутся способны люди, чьи страхи подпитываются заявлениями в духе отсылок к «Терминатору» или парню с пентаграммой?

Ситуация особенно обострилась вслед за запуском ChatGPT — впечатляющая демонстрация возможностей современных генеративных моделей привлекла к себе огромное внимание общественности и послужила «спусковым крючком» для ряда публичных заявлений. Под влиянием «момента ChatGPT» некоторые учёные пересмотрели свои прогнозы в отношении ожидаемых темпов развития технологий ИИ. И у некоторых из них это, похоже, привело к экзистенциальному кризису. Вот что, например, говорит известный американский физик и информатик Дуглас Хофштадтер:

Для меня это [быстрый прогресс в области ИИ] довольно страшно, потому что это говорит о том, что всё, во что я раньше верил, отменяется. <…> Я думал, что пройдут сотни лет, прежде чем появится что-то весьма отдалённо похожее на человеческий разум, что асимптотически приблизится к уровню человеческого интеллекта, причём снизу. Я никогда не представлял, что компьютеры будут соперничать с человеческим интеллектом или даже превосходить его. Это была настолько далёкая цель, что я не беспокоился об этом. А потом это начало происходить всё быстрее, недостижимые цели и вещи, которые компьютеры не должны были быть в состоянии сделать, начали сдаваться… <…> Я думаю, что [прогресс ИИ] ужасает. Я ненавижу его. Я думаю об этом практически всё время, каждый божий день. <…> Такое ощущение, что вся человеческая раса вот-вот будет превзойдена и оставлена в пыли.

Ускоряющийся прогресс оказался настолько неожиданным, что застал врасплох не только меня, но и многих, многих людей — возникает некий ужас перед надвигающимся цунами, которое застанет врасплох всё человечество. Неясно, будет ли это означать конец человечества в том смысле, что системы, которые мы создадим, уничтожат нас, неясно, так ли это, но вполне возможно. Если нет, то это просто превращает человечество в очень маленькое явление по сравнению с тем, что гораздо более разумно, чем мы, и что станет для нас непостижимым в той же мере, как мы непостижимы для тараканов^, .

22 марта 2023 г. на сайте некоммерческой организации «Институт будущего жизни» [Future of Life Institute] было опубликовано открытое письмо с призывом ко всем ИИ-лабораториям приостановить как минимум на шесть месяцев обучение более мощных моделей, чем GPT-4. По мнению авторов письма: «Системы искусственного интеллекта, способного конкурировать с человеческим, могут представлять серьёзную опасность для общества и человечества в целом…»

Авторы письма ссылаются на «Принципы работы с ИИ», разработанные в ходе конференции в Асиломаре (Калифорния, США) 2017 г., в которых, в частности, говорится: «продвинутый ИИ может повлечь коренные изменения в истории жизни на Земле, и его разработка и управление должны осуществляться при наличии соответствующих ресурсов и в условиях особой тщательности». Авторы письма констатируют, что к их глубокому сожалению «такого уровня планирования и управления в настоящее время не существует, в то время как в последние месяцы ИИ-лаборатории застряли в неконтролируемой гонке по разработке и развёртыванию всё более мощных цифровых умов, которые никто — даже их создатели — не могут понять, предсказывать или надёжно контролировать».

Интересно, что одним лишь призывом к ИИ-лабораториям авторы письма не ограничиваются. «Если быстро приостановить [работы ИИ-лабораторий] невозможно, — пишут они, — то правительства должны вмешаться и ввести мораторий».

Подписанты считают, что ИИ-лаборатории и независимые эксперты должны использовать «передышку» для совместной разработки и внедрения системы общих протоколов безопасности, чтобы независимые внешние эксперты могли контролировать разработку передовых систем ИИ. Параллельно авторы письма предлагают создать новые регулирующие органы, занимающиеся вопросами ИИ, а также системы государственного контроля, которые смогут обеспечить безопасность создаваемых систем^, .

Среди прочих письмо подписали Илон Маск, Йошуа Бенджио, Стив Возняк, известный американский астрофизик Макс Тегмарк (кстати говоря, он является одним из основателей «Института будущего жизни»), а также многие другие эксперты в области информационных технологий.

В целом письмо написано в относительно взвешенной манере, хотя и содержит несколько достаточно сильных заявлений, таких, как утверждения о нашей неспособности понимать, предсказывать или надёжно контролировать разрабатываемые системы ИИ.

Куда более ёмким и афористическим стало опубликованное 30 мая того же года на сайте Центра за безопасность ИИ [Center for AI safety] «Заявление об ИИ-рисках» [Statement on AI Risk]. Его текст гласит: «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война». По мнению авторов, заявление призвано преодолеть существующие затруднения в публичном обсуждении ИИ-рисков и открыть дискуссию на эту тему. Оно также должно обратить внимание общества на рост числа экспертов и общественных деятелей, которые «всерьёз воспринимают некоторые из наиболее значительных рисков передового ИИ».

Среди подписавших это заявление можно найти имена Билла Гейтса, Йошуа Бенджио, Дэмиса Хассабиса, Сэма Альтмана, Ильи Суцкевера и многих других предпринимателей и специалистов из мира ИИ. Примечателен кейс Джеффри Хинтона, покинувшего корпорацию Google, в которой он проработал более десяти лет, для того, чтобы иметь возможность более открыто высказываться на тему ИИ-рисков, не задумываясь о том, как это повлияет на его работодателя. Уход Хинтона из Google тут же стал источником домыслов и газетных врак. Например, журналист The New York Times предположил, что Хинтон ушёл из Google, чтобы критиковать её. Хинтон тут же выступил с опровержением в своём твиттере, заявив, что Google [в отношении ИИ-рисков] действует весьма ответственно [very responsibly]. Заголовок же новости CBS и вовсе гласил: «Канадский пионер искусственного интеллекта Джеффри Хинтон говорит, что искусственный интеллект может уничтожить людей. А пока можно заработать» [Canada's AI pioneer Geoffrey Hinton says AI could wipe out humans. In the meantime, there's money to be made]. Разумеется, фразу про заработок Хинтон никогда не произносил.

В целом многие учёные в области машинного обучения и представители крупного ИТ-бизнеса на волне общественного интереса к ИИ поддержали необходимость внимательного отношения к ИИ-рискам, а также их открытого обсуждения. Однако нашлись и те, кто пошёл в своих заявлениях существенно дальше. Так, один из ярких представителей движения рационалистов, основатель сайта и сообщества LessWrong Элиезер Юдковский обрушился на сторонников моратория в обучении продвинутых моделей со страниц «Тайм». Его статья с недвусмысленным названием «Приостановки разработки ИИ недостаточно. Нам нужно прекратить её полностью» [Pausing AI Developments Isn't Enough. We Need to Shut it All Down] содержит весьма радикальные призывы: «Отключите все большие кластеры графических процессоров (большие компьютерные фермы, где совершенствуются самые мощные системы ИИ). Остановите все большие задачи по обучению. Установите потолок вычислительной мощности, которую разрешено использовать для обучения систем ИИ, и в ближайшие годы понижайте его, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооружённых сил. Немедленно заключите международные соглашения для предотвращения перемещения запрещённых видов деятельности куда-либо. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит GPU-кластер, опасайтесь не столько вооружённого конфликта между странами, сколько нарушения моратория; будьте готовы уничтожить авиаударом принадлежащий изгоям центр обработки данных [rogue datacenter]».

Далее следуют рассуждения о том, что ради предотвращения ИИ-апокалипсиса можно пойти и на риск обмена ядерными ударами и повторяющееся заклинание: «Вырубите всё это!» [Shut it all down!].

В общем, без паники даже в ИТ-среде не обошлось. Что уж говорить о реакции неспециалистов?

«У меня теперь есть чёртов [mother-F-word] ИИ, который сделали для меня. Этот хрен [N-word] может разговаривать со мной, — сказал американский рэпер и актёр Snoop Dogg на конференции в Беверли-Хиллз. — Я такой: «Чувак, эта штука может вести настоящий разговор? По-настоящему?» Это просто сносит мне крышу, потому что я смотрел фильмы об этом в детстве много лет назад. Когда я вижу эту хрень, я думаю, что вообще происходит? Я слышал, как чувак, старый чувак, который создал ИИ [Джеффри Хинтон], сказал: «Это небезопасно, потому что у ИИ есть свой собственный разум»… Я думаю, мы сейчас в чёртовом фильме. Чёрт возьми, чувак, мне нужно инвестировать в искусственный интеллект».

Не обошлось и без высказывания исполнителя роли Терминатора из одноимённого фильма — Арнольда Шварценеггера: «Сегодня все боятся этого, того, к чему это приведёт. <…> И в этом фильме, в «Терминаторе», мы говорим о том, что машины обретают собственное сознание и берут верх. <…> Теперь, по прошествии десятилетий, это стало реальностью. Так что это больше не фантазия и не что-то футуристическое», — сказал актёр.

Впрочем, несмотря на яркую риторику об угрозе ИИ-апокалипсиса, ряд специалистов из области информационных технологий считает внимание к этому вопросу чрезмерным. Например, Эндрю Ын сравнивает проблему опасности ИИ с проблемой перенаселения Марса. Действительно, в будущем вполне вероятно, что люди колонизируют Марс, также вероятно, что рано или поздно на Марсе может возникнуть проблема перенаселения, но не совсем понятно, почему мы должны заниматься этой проблемой уже сейчас? Когда в сообществе началось обсуждение возможного моратория или запрета на некоторые исследования в области ИИ, Ын высказался вполне однозначным образом:

Когда я думаю об экзистенциальных рисках для большей части человечества [, на ум приходят]:

* Следующая пандемия

* Изменение климата → массовая депопуляция

* Ещё один астероид

ИИ станет ключевым компонентом решения этих проблем. Так что, если вы хотите, чтобы человечество выжило и процветало в следующие 1000 лет, давайте развивать ИИ быстрее, а не медленнее.

В той или иной мере согласны с Ыном и многие другие ведущие специалисты в области глубокого обучения. Например, Ян Лекун решительно выступает против использования набивших оскомину отсылок к фильму «Терминатор» при рассуждениях об ИИ. Лекун вообще с юмором воспринял разразившуюся полемику о потенциальной опасности современных генеративных моделей. Его забавный твит на эту тему собрал множество репостов и комментариев:

— Инженер: Я изобрёл новую вещь. Я называю её шариковой ручкой

— Народ в твиттере: О боже, люди могут писать с её помощью ужасные вещи, такие как дезинформация, пропаганда, разжигание ненависти. Запретить немедленно!

— Пишущие думеры: представьте, что каждый может получить шариковую ручку. Это может разрушить общество. Должен быть принят закон, запрещающий использование шариковой ручки для написания разжигающих ненависть высказываний. Введите регулирование применения шариковых ручек немедленно!

— Магнат карандашной индустрии: да, шариковые ручки очень опасны. В отличие от текста, написанного карандашом, который можно стереть, написанное шариковой ручкой остаётся навсегда. Правительство должно ввести лицензирование для производителей ручек.

В начале апреля 2023 г. Лекун и Бенджио опубликовали получасовое видео с обсуждением идеи шестимесячного моратория (сойдясь на том, что такой мораторий является явно неудачной идеей), современной медийной шумихи вокруг ИИ и моды на ИИ‑думерство.

С иронией воспринимают угрозу скорого захвата мира сверхинтеллектом Йошуа Бенджио (что не мешает ему серьёзно относиться к ИИ-рискам и подписывать открытые письма на эту тему), руководитель Алленовского института искусственного интеллекта (Allen Institute for AI, AI2) Орен Этциони и руководитель исследовательского отдела Microsoft Эрик Хорвитц.

Известный американский предприниматель, инженер и изобретатель Марк Андриссен, сооснователь венчурного фонда «Андриссен Хоровиц» [Andreessen Horowitz], также яростно критикует ИИ-думеров. Он считает, что руководители технологических компаний заинтересованы в продвижении думерских взглядов, потому что они «могут заработать больше денег, если будут возведены нормативные барьеры, которые приведут к формированию картеля одобренных правительством поставщиков ИИ, защищённых от конкуренции с новыми стартапами и с [проектами с] открытым исходным кодом». Также Андриссен пишет, что экспертам по безопасности ИИ, специалистам по этике ИИ и исследователям рисков ИИ «платят за то, чтобы они были думерами, и их заявления должны восприниматься должным образом». Ссылаясь на статью в The Atlantic, в которой собрана большая коллекция высказываний инженеров и учёных, Андриссен подчёркивает, что многие лидеры в области исследований ИИ, этики, доверия и безопасности выразили явное несогласие с думерской повесткой дня и вместо этого сосредоточились на снижении сегодняшних задокументированных рисков ИИ-технологий. Андриссен с оптимизмом смотрит в будущее и утверждает, что ИИ может стать «способом сделать лучше всё, о чём мы заботимся». Андриссен опубликовал небольшое эссе, в котором приводит краткий анализ нарративов, сформировавшихся в отношении проблематики ИИ-рисков, рассуждает о стоящих за их формированием социальных группах, а также об элементах правильной, по его мнению, политики в отношении развития ИИ^, .

Основатель Facebook Марк Цукерберг также не разделяет пессимизма в отношении прогресса ИИ: «Я настроен оптимистически, — говорит он в одном из своих стримов, сопровождая рассуждения приготовлением барбекю. — Что до тех людей, которые испытывают скепсис [в отношении ИИ] и пытаются раздуть все эти сценарии судного дня, — я их просто не понимаю. Это совершенно неконструктивно, и в некотором смысле я считаю это довольно безответственным <…> Всякий раз, когда я слышу, как люди говорят, что искусственный интеллект причинит людям боль в будущем, я думаю, что да, вы знаете, технологии, как правило, всегда можно использовать как во благо, так и во вред, и вы должны быть осторожны при их разработке, должны внимательно относиться к тому, что именно вы создаёте, и как это будет использоваться, — развивает свою мысль Цукерберг, — Но я не понимаю людей, которые выступают за замедление прогресса в области ИИ, эта идея кажется мне весьма сомнительной».

Американский предприниматель Крис Николсон, сооснователь компании Skymind и один из авторов фреймворка Deeplearning4j, высказался на этот счёт более афористично: «Для людей из мира технологий рассуждения об искусственном интеллекте — это кокаин: они возбуждают и вызывают ничем не обоснованную паранойю» [Thinking about AI is the cocaine of technologists: it makes us excited, and needlessly paranoid].

Кто же прав? И что же следует делать человечеству в данной ситуации?

Loading comments...