Просмотр кода страницы 7.2 Сверхразум: реальные и мнимые опасности

<span id="сверхразум-реальные-и-мнимые-опасности"></span>

<blockquote>— Ну? Тем более!

— Сверхразум — это сверхдобро, — сказал Тойво.

— Ну? Тем более!

— Нет, — сказал Тойво. — Никаких «тем более». Что такое добро мы знаем, да и то не очень твёрдо. А вот что такое сверхдобро…

Ася снова ударила себя кулачками по коленкам.

— Не понимаю! Уму непостижимо! Откуда у вас эта презумпция угрозы? Объясни, втолкуй!

— Вы все совершенно неправильно понимаете нашу установку, — сказал Тойво, уже злясь. — Никто не считает, будто Странники стремятся причинить землянам зло. Это действительно чрезвычайно маловероятно. Другого мы боимся, другого! Мы боимся, что они начнут творить здесь добро, как они его понимают!

Аркадий и Борис Стругацкие. ''Волны гасят ветер''
</blockquote>
Наверное, самый популярный катастрофический сценарий, предполагающий участие ИИ, — это появление опасного для человечества сверхразума (сверхинтеллекта). Его опасность для людей может заключаться в том, что интересы этого разума могут плохо соотноситься с интересами человечества, что обычно называют «проблемой выравнивания» [alignment problem]. Такое трагическое расхождение с ценностями человечества гипотетически может возникнуть как в результате ошибок при программировании системы, так и в процессе саморазвития (самообучения) сверхразума. Причём это может оказаться проблемой в духе Стругацких: беда будет не в том, что машина захочет причинить людям зло, напротив, она может стремиться сделать людям добро, но так, как она его понимает, и далеко не факт, что это представление машины о добре понравится людям.

История с нежелательными для нас действиями сверхразума хороша практически всем: здесь есть конфликт, историю несложно насытить различными драматическими деталями, на её основе можно построить как боевик (с несколькими сиквелами; пример — тот же «Терминатор»), так и психологический триллер.

Однако у неё есть и серьёзные недостатки.

Начнём с того, что для воплощения этого сценария необходимо появление сверхразума. Казалось бы, мы уже знаем, какой гипотетический процесс может привести к возникновению такой системы — это уже упомянутый нами «интеллектуальный взрыв», то есть некоторая самообучающаяся система в процессе обучения совершенствует саму себя, тем самым увеличивает эффективность этого самообучения, а далее возникновение петли с положительной обратной связью неизбежно приводит к появлению сверхинтеллекта, возможно превосходящего людей даже сильнее, чем люди превосходят муравьёв.

Однако не исключено, что наша Вселенная содержит ряд фундаментальных физических ограничений, которые могут сделать создание сверхинтеллекта невозможным. Мы уже упоминали физические лимиты, не позволяющие бесконечно наращивать скорость вычислений, — это лимиты Бремерманна и Ландауэра. Казалось бы, наши вычислительные устройства всё ещё далеки от этих пределов. Далёк от них и человеческий мозг. Однако важная особенность заключается в том, что многие интеллектуальные задачи относятся к классу сложности EXPTIME-complete, то есть время, необходимое для их решения, является экспоненциальной функцией от размерности задачи. Ввиду этого ускорение системы в несколько раз даёт лишь фиксированный, а не кратный прирост «интеллекта» (измеренного по некой условной шкале).

При этом, скорее всего, даже такой результат будет достигнут лишь в лучшем случае. Как показала практика разработки игр (а игры — это упрощённые модели реальности), часто наблюдается явление, получившее название «закон уменьшающейся полезности» [law of diminishing returns]: по мере продвижения к цели одинаковый прирост усилий даёт всё меньшую отдачу. Например, шахматная программа с фиксированной глубиной перебора вариантов получает куда больший прирост в силе игры при увеличении глубины перебора с одного до двух полуходов, чем при увеличении глубины перебора, скажем, с 10 до 11 полуходов<ref>Junghanns A., Schaeffer J., Brockington M., Bjornsson Y., Marsland T. (1997). Diminishing Returns for Additional Search in Chess / Advances in Computer Chess, Vol. 8 // https://webdocs.cs.ualberta.ca/~jonathan/publications/ai_publications/dim.pdf</ref>. Таким образом, постоянное ускорение системы в несколько раз может даже и не обеспечивать постоянного «константного поумнения».

Конечно, за скобками наших рассуждений остаётся вопрос об эффективности применяемого алгоритма. Можно ли создать алгоритм для универсального ИИ, существенно превосходящий алгоритм мышления человека? К сожалению, у нас пока нет ответа на этот вопрос, поскольку нет иных примеров универсального интеллекта, кроме интеллекта человека. Мышление человека есть результат эволюции, способствующей приспособлению человеческих особей к среде их обитания. Это приспособление к среде обычно связано с решением определённого спектра задач. Причём многие из них, решавшиеся нашими предками на протяжении тысячелетий и оказавшие значимое влияние на то, как мы в принципе думаем, были бесконечно далеки от тех, что человечество ставит перед собой и системами ИИ сегодня. Вероятно, исследователи будущего смогут создать системы, более приспособленные для решения актуального круга задач по сравнению с человеческим мозгом, и тогда можно будет сказать, что в этом случае человеческий мозг обладает рядом существенных изъянов. Тут можно вспомнить фразу Гельмгольца: «''Я счёл бы себя вправе самым резким образом выразиться о небрежности работы оптика и возвратить ему прибор с протестом, если бы он вздумал продать мне инструмент, обладающий такими недостатками, как человеческий глаз''». Но несмотря на это, важно понимать, что человеческий мозг является продуктом длительного и масштабного оптимизационного процесса, в ходе которого он сталкивался с довольно разнообразными вызовами, что позволяет предположить его близость к оптимуму при решении весьма сложных и разнообразных задач.

Поэтому, по всей видимости, даже несмотря на весьма вероятное появление более эффективных алгоритмов мышления, вместо экспоненциального «интеллектуального взрыва» мы имеем все шансы получить асимптотически приближающуюся к некоторому пределу кривую.

Исходя из вышеизложенных ограничений, мы имеем серьёзные основания полагать, что возникновение сверхразума невозможно. При этом наверняка уровень человеческого интеллекта будет превзойдён — то есть созданная система будет способна более быстро и эффективно решать задачи, подвластные человеческому мышлению. Насколько это опасно? Представьте себе, что вы внезапно начали думать в сто раз быстрее остальных людей. Это позволит вам быстрее выполнять вашу работу, быстрее выучивать что-то новое, но не позволит вам подчинять других людей своей воле и захватить власть над миром.

Следующим недостатком рассуждений об опасностях, связанных с созданием сверхразума, является классическая ошибка в области риск-менеджмента — отсутствие анализа альтернативных сценариев и ассоциированных с ними опасностей. Алармисты рассматривают риски, связанные с потенциальным разрушительным воздействием ИИ, но при этом игнорируют риски, связанные с попыткой ограничить или даже остановить прогресс в этой области. Если ваш путь пролегает через реку, а мост через неё может с вероятностью один на сто миллиардов не выдержать вас, то значит ли это, что следует преодолевать реку вплавь?

Победа неолуддитов, результатом которой может стать существенное ограничение исследований в области ИИ, а также применения соответствующих технологий, потенциально может нанести куда более значительный вред, чем возможные негативные последствия применения самих технологий. Системы ИИ могут быть успешным инструментом для борьбы с существующими или новыми технологическими рисками (например, на транспорте, в опасных производствах), эффективно применяться в медицине, в деле охраны общественного порядка, в сфере воспитания и образования людей. Вообще они способны поднять качество принимаемых решений во множестве сфер человеческой деятельности, в том числе таких решений, которые связаны с огромными рисками. Тем самым технологии ИИ способны спасти множество человеческих жизней и улучшить уровень всеобщего счастья.

Как оценить эффект от запрета развития таких технологий?

Если рассуждать о технологических рисках, то можно заметить, что технологическое могущество человечества возрастает чрезвычайно быстрыми темпами, что приводит к эффекту, который я называю «удешевлением апокалипсиса». 150 лет назад при всём желании человечество не могло нанести ни биосфере, ни себе как виду невосполнимого урона. Для реализации катастрофического сценария 50 лет назад необходимо было бы сконцентрировать всю технологическую мощь ведущих мировых держав. Завтра для воплощения в жизнь глобальной техногенной катастрофы может хватить и небольшой горстки фанатиков. Наша технологическая мощь растёт куда быстрее, чем наша способность эту мощь контролировать. Продвинутая химия, технологии ядерного распада и синтеза, передовые биотехнологии и так далее — человечество развивает все эти направления с огромной скоростью, создавая всё больше и больше возможностей в манипуляции силами природы. При этом способность разумно распорядиться этим могуществом растёт не такими впечатляющими темпами — биологическая эволюция не может быстро сделать нас умнее (если вообще ведёт к нашему поумнению).

Именно об этой проблеме говорил в ходе своей последней пресс-конференции Станислав Лем: «''У каждой технологии есть свой аверс и свой реверс: иными словами, её можно использовать совершенно по-разному. Риск, сопутствующий внедрению новых технологий, действительно, очень серьёзен и, вероятно, неизбежен. Однако я бы сказал, что куда большие угрозы дремлют в нас самих: человек имеет болезненную склонность к использованию технологических достижений против самого себя. Не случайно, что множество открытий было совершено для нужд гонки вооружений. Когда-то я сравнил современного человека с хищной обезьяной, которой вложили в руку бритву. Это сравнение нисколько не утратило своей актуальности, разве что обезьяна сделалась ещё более алчной''»<ref>Станислав Лем: «Сложно удивляться тому, что мы страдаем от своего рода российского комплекса» (2006) // https://inosmi.ru/online/20060117/224888.html</ref>.

Развитие технологий ИИ является в некотором роде ответом на медлительность нашей эволюции. Подобно тому, как одежда или, скажем, ножи являются «усовершенствованиями» наших тел, от рождения лишённых тёплого меха или острых когтей, системы ИИ раздвигают границы нашего разума. Текстовый редактор, поисковая система, смартфон, базы знаний и, наконец, продвинутые нейросетевые модели — это всё продолжение нас, нашего интеллекта, нашей культуры, это компоненты синтетического человеко-машинного интеллекта. Запрет технологий ИИ, таким образом, является в своём роде самокастрацией или, если угодно, лоботомией нашего вида, способом существования которого давно стало расширение своих возможностей за счёт создания технологических улучшений своей несовершенной природы.

Любопытно, что за изобретение и популяризацию лоботомии в своё время была присуждена Нобелевская премия. По дорогам США разъезжали лоботомобили, в которых вас могли путём нехитрой манипуляции раз и навсегда избавить от кучи проблем<ref>Паевский А. (2018). Нобелевские лауреаты: Эгаш Мониш. «Отец» лоботомии. / Indicator, 06 июня 2018 // https://indicator.ru/medicine/egash-monish-lobotomiya.htm</ref>. Аналогично сторонники запрета ИИ в действительности призывают человечество сделать крайне опасный шаг, куда более опасный, чем многие переоценённые и разрекламированные ИИ-риски, о которых они пишут (нередко отвлекая внимание от реально существующих рисков алгоритмического общества<ref><sup>*</sup> Алгоритмическое общество — общество, организованное вокруг принятия социальных и экономических решений с помощью алгоритмов, роботов и агентов искусственного интеллекта.</ref>, которыми нужно учиться разумно управлять — что, конечно, куда сложнее и куда как менее эффектно, чем радикальные запретительные меры).

Люди, вооружённые продвинутыми системами аналитики и моделирования, средствами эффективной коммуникации, интеллектуальными средствами обучения и психологической поддержки, платформами для коллективного принятия решений, смогут действовать куда более разумно, чем люди, лишённые всего этого, имеющие в своём багаже лишь иррациональное поведение, связанное с неуправляемой агрессией, когнитивными искажениями, предрассудками, заблуждениями, ограниченностью и так далее. Возможно, нашим спасением от проклятия техноапокалипсиса станет именно технологически улучшенный человеческий интеллект, объединённый с машинами в единую систему, — своего рода «аугментированная прямая демократия». Если же такой новый социотехнологический уклад не возникнет, то нас может ждать глобальная катастрофа. Таким образом, попытки ограничить или запретить развитие технологий ИИ могут создать значительно большие риски, чем появление опасного для человечества сверхразума.

Кроме того, можно заметить, что многие апокалиптические сценарии с участием сверхразумного ИИ в действительности включают систему ИИ лишь в качестве своеобразной вишенки на торте. Ведь машина Бострома для максимизации числа скрепок сможет перемолоть всё человечество лишь в случае наличия разрушительной технологии переделки всего и всех в скрепки, причём эта технология должна быть столь могущественна, что ей не являются помехой никакие контрмеры человечества (некоторые интерпретации этого сценария предполагают, что машина добивается своего, манипулируя людьми, но для такой манипуляции определённо нужен сверхразум, многократно превосходящий человеческий, возможность создания которого мы уже обсудили). Машине, обладающей таким всесокрушающим оружием, вовсе не нужен оператор в виде сверхразума или ИИ-системы человеческого уровня. Устроить катастрофу, обладая такой технологией, могут и сами люди — сознательно или по недомыслию.

Если взять популярный апокалиптический сценарий с системой ИИ, нажимающей на красную ядерную кнопку, то он основан на наличии смертоносного ядерного оружия, созданного десятилетия назад без всякого участия ИИ. Данный сценарий останется вполне валидным, если ядерную кнопку нажимает не система ИИ, а человек или даже обезьяна. Но если кто-то предложит запретить обезьян то вряд ли мы сочтём это предложение адекватным.

Конечно, развитие технологий ИИ является лишь необходимым, а не достаточным условием выживания нашего вида в условиях постоянно растущих техногенных рисков. В какой-то мере наша ситуация похожа на положение, в котором находится человек, быстро идущий по канату над пропастью. Запрет технологий ИИ подобен идее резко остановиться или идее полностью отказаться от наклонов в одну из сторон. Даже если нам хватит ума не предпринимать такие заведомо самоубийственные действия, это вовсе не гарантирует нам того, что наше путешествие завершится благополучно. На этой дороге нас поджидает множество опасностей, которые придётся преодолеть, например: риски, связанные с чрезмерной концентрацией технологической и интеллектуальной мощи в руках немногочисленных национальных и экономических элит (как это показано во множестве дистопий киберпанка), различные диспропорции и недостаточная открытость обществу в развитии технологий, неразумные и безответственные попытки их регулирования (подобно тому, как в техно-опере Виктора Аргонова «2032: легенда о несбывшемся грядущем» попытка идеологической индоктринации АСГУ — Автоматической системы государственного управления — приводит к ошибкам в её решениях и к разрушительной для человечества войне<ref>Аргонов В. (2014). 2032: Легенда о несбывшемся грядущем. / Complex Numbers: Электронная поп-музыка для интеллектуалов // https://complexnumbers.ru/2032/</ref>) и так далее.

Система ИИ как элемент технологической катастрофы — это скорее дань моде: истории с участием ИИ продаются лучше, точно так же, как детективы с Шерлоком Холмсом или Натом Пинкертоном в годы популярности этих великих сыщиков продавались лучше обычных детективов.

Разумеется, все эти соображения не означают, что следует беспечно относиться к проблеме технологических рисков (включая и специфические ИИ-риски). Любая достаточно мощная технология требует известной осторожности в обращении — это относится и к энергии пара, и к атомной энергии, и к электричеству, и к «новому электричеству». Малая вероятность глобальной катастрофы не означает, что невозможны катастрофы локальные. Сколько людей погибло и погибает до сих пор из-за неудачного использования машин? Люди гибнут на производстве, в автоавариях, из-за неосторожного обращения с теми или иными инструментами. История знает много примеров техногенных аварий и катастроф. Хотя смерти людей из-за дефектов в программном обеспечении пока что экзотика, игнорировать их нельзя. Из-за халатности разработчиков программного обеспечения машины, убивающие людей вопреки воле своих создателей, уже были опробованы в деле. Одним из наиболее ярких примеров таких машин стал Therac-25 — аппарат лучевой терапии, созданный в 1982 г. канадской государственной корпорацией Atomic Energy of Canada Limited. С июня 1985 г. по январь 1987 г. этот аппарат стал причиной как минимум шести случаев многократного превышения дозы излучения, полученной пациентами в ходе терапии, при этом некоторые из них получили дозы в десятки тысяч рад. Как минимум два человека умерли от непосредственного воздействия радиации. Причиной трагедии стали ошибки в программном обеспечении аппарата<ref>Baase S. (2008). A Gift of Fire: Social, Legal, and Ethical Issues for Computing and the Internet. Pearson Prentice Hall // https://books.google.ru/books?id=GcBaS87q74gC</ref><sup>,</sup> <ref>Leveson N. G., Turner C. S. (1993). An Investigation of the Therac-25 Accidents / IEEE Computer. Vol. 26, Iss. 7, pp. 18—41 // https://doi.org/10.1109/MC.1993.274940</ref>.

Также можно вспомнить авиакатастрофы с самолётами Boeing 737 серии MAX 8: причиной стала ошибочная работа программного обеспечения самолёта MCAS (Maneuvering Characteristics Augmentation System, система повышения маневренных характеристик). Как показало расследование, компания Boeing скрывала сам факт существования данной системы, чтобы избежать расходов по сертификации модели MAX 8 как нового самолёта. В результате в случае неверных показаний датчика угла атаки система MCAS предпринимала неверные и неожиданные для пилотов действия по опусканию носа самолёта и препятствовала попыткам экипажа исправить ситуацию<ref>Travis G. (2019). How the Boeing 737 Max Disaster Looks to a Software Developer // https://spectrum.ieee.org/aerospace/aviation/how-the-boeing-737-max-disaster-looks-to-a-software-developer</ref>. Следствием этого стали две авиакатастрофы в 2018 и 2019 гг., унесшие жизни 346 человек.

В целом количество смертей в результате техногенных аварий и катастроф многократно уступает числу жертв войн. Злонамеренный человеческий разум причиняет людям куда больше горя и страданий, чем ошибки проектирования техники. Это наводит на мысль, что создаваемые людьми системы ИИ будут представлять опасность скорее не в результате чьих-то ошибок, а в результате намеренного придания таким системам функций оружия. Боевые системы на базе ИИ необязательно должны быть особенно умны, чтобы представлять серьёзную опасность. Им вполне достаточно сочетания интеллекта примитивного организма с нечеловеческой скоростью реакции и разрушительной силой современного оружия. Именно поэтому, несмотря на то что универсальный искусственный интеллект ещё не создан, существующие наработки в области машинного обучения уже сегодня обладают значительным потенциалом применения в качестве компонентов оружия. Впрочем, если разобраться в этой проблеме чуть глубже, то окажется, что первые образцы оружия, способного убивать без решения человека, так называемого летального автономного оружия (Lethal autonomous weapons, LAWs), появились не позже XVII в. Речь идёт о наземных и водных минах. Примитивный механизм мины «уполномочен» принимать решения об убийстве людей. Развитие технологий привело к появлению в XX в. различных самонаводящихся машин убийства — торпед и ракет, а затем и первых боевых роботов. К сожалению, несмотря на протесты общественности, разработка новых, всё более «умных» видов вооружения продолжается семимильными шагами во всех ведущих технологических державах. Многие учёные, работающие в области ИИ, выступают за запрет автономного летального оружия. В июле 2015 г. более тысячи экспертов в области ИИ подписали письмо, предупреждающее об угрозе гонки вооружений, основанных на технологиях ИИ, и призывающее к запрету автономного оружия. Письмо было представлено на XXIV Международной совместной конференции по искусственному интеллекту (International Joint Conferences on Artificial Intelligence, IJCAI-15) в Буэнос-Айресе. В числе его подписантов были Стюарт Рассел, Питер Норвиг, Ян Лекун, Йошуа Бенджио, Нильс Нильссон, Демис Хассабис и многие другие. Свою подпись под письмом поставили и учёные, работающие в других областях, такие как Стивен Хокинг, Макс Тегмарк, знаменитый американский лингвист и философ Ноам Хомский, а также ряд предпринимателей из мира информационных технологий — Илон Маск, Стив Возняк, соучредитель Skype Яан Таллинн и так далее<ref>Autonomous weapons: an open letter from AI &amp; robotics researchers (2015) // https://futureoflife.org/open-letter-autonomous-weapons/</ref>.

Хотя большинство стран — членов ООН выступает за запрет летального автономного оружия, меньшинство блокирует это решение. Всё дело в том, что в составе этого меньшинства США, Россия, Великобритания, Австралия и Израиль<ref>Gayle D. (2019). UK, US and Russia among those opposing killer robot ban / The Guardian, 29 Mar 2019 // https://www.theguardian.com/science/2019/mar/29/uk-us-russia-opposing-killer-robot-ban-un-ai</ref>.

При этом было бы наивно полагать, что другие страны в таких условиях откажутся от применения технологий ИИ при разработке систем вооружений. Например, масштабы их применения Китаем позволяет оценить вышедший в 2021 г. доклад, подготовленный специалистами Центра безопасности и перспективных технологий (Center for Security and Emerging Technology, CSET), под названием «Обузданная молния. Как китайские военные внедряют искусственный интеллект» (Harnessed Lightning. How the Chinese Military is Adopting Artificial Intelligence). В основу исследования положен анализ около 350 контрактов на связанное с ИИ оборудование, заключенных в 2020 г. Народно-освободительной армией Китая с государственными оборонными предприятиями<ref>Fedasiuk R., Melot J., Murphy B. (2021). Harnessed Lightning. How the Chinese Military is Adopting Artificial Intelligence / // https://cset.georgetown.edu/publication/harnessed-lightning/</ref>.

В марте 2022 г. печально известный журнал ''Nature Machine Intelligence'' опубликовал статью «Двойное использование основанных на ИИ методов поиска лекарственных препаратов» (Dual use of artificial-intelligence-powered drug discovery)<ref>Urbina F., Lentzos F., Invernizzi C., Ekins S. (2022). Dual use of artificial-intelligence-powered drug discovery / Nature Machine Intelligence, Vol. 4, pp. 189—191 (2022) // https://doi.org/10.1038/s42256-022-00465-9</ref>, в которой было показано, что генеративные модели могут вполне успешно использоваться для разработки новых видов химического оружия. К сожалению, многие технологии, создаваемые в области ИИ, могут применяться не только в мирных целях.

Завершившаяся 17 декабря 2021 г. в Женеве VI конференция по рассмотрению действия Конвенции о запрещении или ограничении применения конкретных видов обычного оружия (Convention on Certain Conventional Weapons) стала очередным источником пессимизма для сторонников ограничения применения технологий ИИ в военной сфере. Вот как резюмировал итоги конференции председатель Лиги независимых IT-экспертов, эксперт Российского совета по международным делам Сергей Карелов:

''Лицензия ИИ на убийство людей продлена на неограниченный срок.''

''8 лет экспертных обсуждений спущены в унитаз.''

''Завершившаяся в пятницу в Женеве 6-я конференция по рассмотрению действия Конвенции о запрещении или ограничении применения конкретных видов обычного оружия теперь войдёт в историю.''

''• 8 лет человечество обсуждало необходимость введения юридически значимых международных правил защиты людей от автономного смертельного оружия (роботов-убийц, принимающих решения с минимальным участием человека или без него).''

''• Впервые большинство из 125 стран заявили, что хотят ограничить возможности роботов-убийц.''

''• США, Россия, Великобритания и Индия заблокировали такое решение.''

''Моральные, этические и гуманитарные риски, риски безопасности и правовые риски применения роботов-убийц оказались далеко не самым важным вопросом для Конвенции ООН.''

''Конференция завершилась в пятницу лишь расплывчатым заявлением о целесообразности в 2022 [году] рассмотреть возможность поиска приемлемых для всех стран мер по данному вопросу.''

''«Я подумаю об этом завтра», — говорила в подобных случаях героиня «Унесённых ветром» Скарлетт О''’''Хара. Но проблема в том, что завтра может быть поздно.''

''За день до этого, в ходе дискуссии, организованной Международным Красным Крестом, я предсказал ровно этот бесславный итог конференции, за который очень скоро будет заплачено многими жизнями людей''.

В той или иной мере разделяют оценку Карелова и другие эксперты в этой области<ref>Shead S. (2021). UN talks to ban ‘slaughterbots’ collapsed — here’s why that matters / CNBC, Dec. 22, 2021 // https://www.cnbc.com/2021/12/22/un-talks-to-ban-slaughterbots-collapsed-heres-why-that-matters.html</ref><sup>,</sup> <ref>Карелов С. (2021). Лицензия ИИ на убийство людей продлена на неограниченный срок // https://sergey-57776.medium.com/лицензия-ии-на-убийство-людей-продлена-на-неограниченный-срок-ae6eecba9417</ref>. Хотя я радикально не согласен с Кареловым по целому ряду вопросов, связанных с развитием технологий ИИ, в данном случае я поддерживаю его обеспокоенность сложившейся ситуацией.

28 мая 2021 г. британская газета ''Daily Mail'' со ссылкой на отчёт ООН рассказала о первом в истории применении полностью автономных дронов, снабжённых взрывчаткой, для атаки на пехоту противника<ref>Avery D. (2021). Drones packed with explosives may have 'hunted down' and attacked HUMANS for the first time without using a remote pilot to guide them / Daily Mail, 28 May 2021 // https://www.dailymail.co.uk/sciencetech/article-9629801/Fully-autonomous-drones-hunted-attacked-humans-time.html</ref><sup>,</sup> <ref>Чоудхури Л. М. Р., Аун А., Бадауи Д., де Альбуркерке Бакардит Л. А., Марджан Я., Уилкинсон Э. (2021). Заключительный доклад Группы экспертов по Ливии, учреждённой резолюцией 1973 (2011) Совета Безопасности. S/2021/229 // https://undocs.org/ru/S/2021/229</ref>. Дроны-квадрокоптеры Kargu-2 производства турецкой компании STM (Savunma Teknolojileri Mühendislik ve Ticaret AŞ) способны самостоятельно обнаруживать и поражать цели — оператору нужно лишь направить их в определённую зону. При этом оператор может отменить атаку дрона или перенаправить его на другую цель (если, разумеется, имеется радиосвязь с дроном). В марте 2020 г. Kargu-2 были размещены в Ливии, где использовались в гражданской войне против сил, лояльных генералу Халифе Хафтару.

Несмотря на высокий уровень секретности, связанный с военным применением технологий ИИ, вряд ли приходится сомневаться, что подобные разработки ведутся сегодня практически всеми развитыми странами. Соответствующие заявления неоднократно делали официальные источники разных стран: США, России, Китая, Великобритании, Израиля, Южной Кореи, также известно о разработке летального автономного оружия и в странах Евросоюза: Франции, Германии, Италии и Швеции<ref>Boulanin V., Verbruggen M. (2017). Mapping the development of autonomy in weapon systems. Stockholm International Peace Research Institute (SIPRI) // https://www.sipri.org/sites/default/files/2017-11/siprireport_mapping_the_development_of_autonomy_in_weapon_systems_1117_1.pdf</ref><sup>,</sup> <ref>Haner J., Garcia D. (2019). The Artificial Intelligence Arms Race: Trends and World Leaders in Autonomous Weapons Development / Global Policy, Vol. 10, Iss. 3, September 2019 // https://doi.org/10.1111/1758-5899.12713</ref>. Растущая международная напряжённость и военные конфликты последних лет ещё в большей мере подстегнули гонку вооружений в этом направлении<ref>Dawes J. (2023). War in Ukraine accelerates global drive toward killer robots / The Conversation, February 21, 2023 // https://theconversation.com/war-in-ukraine-accelerates-global-drive-toward-killer-robots-198725</ref>.

Заметим, что для создания автономного оружия вовсе не нужен ни AGI, ни сверхразум, ни «интеллектуальный взрыв». Для этого вполне подходят современные прикладные системы ИИ, причём эта опасность носит не гипотетический, а весьма реальный характер. К сожалению, в результате спекуляций представителей лагеря алармистов на страхах публики, воспитанной на «Терминаторе» и знаменитом HAL 9000 Кларка и Кубрика, происходит смещение акцентов в сфере безопасности ИИ в сторону анализа маловероятных, но эффектных сценариев. При этом реальные опасности зачастую ускользают из виду.

Катастрофические нотки, звучащие из уст заметных медийных фигур, вульгаризируются вечно ищущими сенсации журналистами, а затем и авторами сценариев голливудских фильмов. В целом технопессимистические нотки доминируют в современном мейнстримном искусстве. На смену эпохе Жюля Верна, воспевавшей человеческий разум, жажду знаний и научно-технический прогресс, постепенно пришла эпоха творцов, в произведениях которых учёные в поиске способа межзвёздных путешествий открывают портал в ад (это, между прочим, синопсис реально существующего фильма под названием Event Horizon, в отечественном прокате получившего название «Сквозь горизонт»), а прогресс в области ИИ неизбежно приводит или к катастрофе, или в крайнем случае к построению пугающего дистопичного общества будущего. Даже герои некогда технооптимистичных и жюль-верновских по духу «Звёздного пути» (Star Trek) и «Звёздных врат» (Stargate) в последних сериалах, принадлежащих к этим вселенным, заняты главным образом постоянным самокопанием, решением личных психологических проблем и нескончаемыми конфликтами со своими же коллегами, а не изучением новых миров и технологий. Что уж говорить о новых научно-фантастических сериалах вроде «Видоизменённого углерода» (Altered Carbon) или «Мира Дикого Запада» (Westworld), где симпатии авторов сценария, кажется, и вовсе на стороне неолуддитов.

Создатели «Чёрного зеркала» (Black Mirror) и «Разрабов» (DEVS), которых трудно обвинить в отсутствии фантазии и таланта, предпочитают употребить свои умения для того, чтобы посильнее напугать зрителя последствиями технического прогресса. На фоне этой массовой волны технопессимизма технооптимистическому, неожюльвернианскому искусству буквально силой приходится пробивать себе дорогу в жизнь. В этом смысле показательна история создания книги «Марсианин» (The Martian), сюжет которой лёг в основу одноимённого оскароносного фильма. Автор книги, Энди Вейер, столкнувшись с полным отсутствием интереса со стороны издателей, принял решение публиковать книгу в интернете в открытом доступе, а затем по просьбе читателей выложил её в Amazon Kindle, где роман быстро завоевал статус бестселлера. Успех книги, а затем и снятого по её мотивам фильма показывает наличие спроса на технооптимизм среди читателей и зрителей, однако индустрия упорно продолжает клепать технофобские поделки. На фоне всеобщего технопессимизма произведения, подобные «Марсианину», «Двухсотлетнему человеку» (Bicentennial Man) или «Превосходству» (Transcendence) — фильму режиссёра Уолли Пфистера по сценарию Джека Паглена, лично мне кажутся глотками чистого воздуха, однако среди высокобюджетных фильмов, вышедших на экраны за последние три десятилетия, технооптимистические ленты можно пересчитать по пальцам максимум двух рук. Впрочем, я уверен, что найдётся множество людей, не разделяющих мою точку зрения.

[[File:image317.jpeg|642x856px]]

Основная проблема современных технопессимистических литературы и кино заключается в присущей им в массе неконструктивности. Рисуя катастрофические сценарии развития технологий, они мало что могут предложить взамен, кроме консервативной программы, призывающей к ограничению развития технологий, возврату к «исконным ценностям», «смирению гордыни» и тому подобной квазирелигиозной чепухе. Интересно, что ведущие мыслители, которых мы условно можем отнести к числу алармистов, обычно как раз предлагают конструктивные программы. Они есть и у Бострома, и у Маска, и выглядят эти программы местами вполне разумно, а в случае Маска даже подкреплены рядом практических проектов, которые можно только приветствовать. Однако эта часть их идей слабо известна обществу, в отличие от прохладных историй о скрепках или о самонадеянном умнике, призывающем дьявола. Доминирование технофобского дискурса в искусстве, недоверие (часто вполне обоснованное) к технологическим корпорациям, недостаточная информированность общества о современном состоянии и перспективах технологий ИИ и, как следствие, страх людей перед неизведанным — всё это вызывает серьёзные опасения. В условиях мировой политической нестабильности трудно сохранять уверенность в том, что завтра те или иные политики в погоне за дешёвой популярностью не попытаются запретить целые направления научных исследований. Такая победа технолуддитов может обернуться для всего человечества настоящей катастрофой. Лично мне кажется, что перед всеми нами стоит серьёзная задача — проложить путь в будущее, ведущий по тонкому краю, разделяющему мир скрепок и мир скреп, и, кажется, сегодня мы опасно накренились в сторону второго, а вовсе не первого.

Для того чтобы пройти по нашей узенькой тропке, разумеется, вовсе не следует закрыть глаза и стремглав бежать вперёд. Напротив, нам нужно хорошо видеть угрозы, подстерегающие нас на пути. К сожалению, многие из этих угроз в действительности ускользают от внимания публики, зачарованной яркими метафорами. В моей книге не будет готовых ответов или всестороннего анализа этих опасностей. Конечно, мне тоже хочется иногда побыть кинокритиком или философом, однако нужно держать себя в определённых рамках, иначе эта книга никогда не выйдет из печати. Поэтому я ограничусь кратким упоминанием стоящих перед ИИ проблем — как социальных, так и технологических — и небольшим количеством соображений по каждой из них. Эти соображения не будут содержать готовых ответов или рецептов, и в ряде случаев они увеличат число вопросов, а не ответов. Однако я надеюсь, что они послужат отправной точкой для более глубокого общественного обсуждения названных проблем, что в результате позволит выработать разумные прикладные рецепты в области социальной и научно-технической политики.

Мы уже упомянули несколько стоящих перед нами угроз: ИИ-апокалипсис при участии сверхразума, техногенный апокалипсис из-за недостатка «разума» при использовании могущественных технологий, гонку автономных вооружений с опасными для мира последствиями, а также победу неолуддитов. Этот список будет неполон без проблем, относящихся к социальным последствиям развития технологий ИИ. И самой обсуждаемой из них, безусловно, является угроза массовой безработицы. О ней мы и поговорим в следующем разделе.
<references />
<comments />