Инструмент или угроза? Обращаясь к литературе, чтобы лучше понять искусственный интеллект

Габриэль Белло читает Аллегру Хайд, Марка О'Коннелла и других

«Алгоритм был в курсе нашего цикла. Он знал, выйдем ли мы замуж и когда», — так начинается любопытный рассказ «Будущее на расстоянии клика» в новом сборнике Аллегры Хайд «Последняя катастрофа». «Он знал, как мы умрем... Он знал то, что казалось знать уж точно нельзя: потайные глубины наших сердец. Он присылал нам тампоны по почте, а мы забирали их. Мы платили».

В причудливом первом абзаце Хайд излагает главную идею рассказа: в неопределенном будущем люди живут в мире, где нечто, известное как «Алгоритм», отправляет им посылки, часто дважды в день, которые они не заказывали, в отличие, скажем, от Amazon, но которые, кажется, удивительным образом соответствует их потребностям (а также бюджетам, поскольку Алгоритм обычно посылает только те посылки, которые каждый может себе позволить). Это игривая сатира на искусственный интеллект и корпорации, наблюдающие за нашей жизнью, которая кажется смешной до тех пор, пока не начинает немного пугать.

То, как посылки отражают потребности людей, кажется действительно странным, до такой степени, что Алгоритм уже мнится прорицателем, знающим судьбы каждого внутри, казалось бы, бесконечного радиуса доставки. Даже если присланный Алгоритмом предмет кажется не нужным прямо сейчас, большинство людей все равно сохранят его, веря, что однажды он пригодится — и часто так и происходит.

Одна героиня получает набор губок для мытья посуды и усмехается — у нее и так в изобилии есть обычные губки, — однако, в тот же вечер она сжигает лазанью и оказывается, что губки как раз необходимы. Другая девушка, Анастасия, получает бандаж на лодыжку, несмотря на отсутствие травмы — пока на той же неделе она не отправляется в поход и не вывихивает лодыжку. «Было ли предсказание основано на патологической походке Анастасии — следствии слабого хряща, запечатлённом на селфи в профиль из ванной?» — задаются вопросом рассказчики. «Или в её сообщениях, отправленных на той неделе, уже присутствовало некое безрассудство?»

Эти шутливые вопросы отражают всеохватывающий взгляд алгоритма, прочесывающего все аспекты жизни героев. Является ли это цифровым гаданием, где будущее определяется удивительно мощным искусственным интеллектом? Может быть, доставленные предметы просто случайны, а персонажи подсознательно исполняют свои пророчества? «В конце концов, — говорят рассказчики, — методы Алгоритма не имели значения, пока ты получал то, что тебе было нужно».

Персонажи стоят перед выбором: получать посылки и платить за доставку, как делает большинство людей, или возвращать их — хотя последний вариант настолько редок, что поступать так будто бы неловко и даже кощунственно. Я использую термин «кощунственный», потому что принятие посылок алгоритма быстро приобретает свойство религии.

«Пути Алгоритма неисповедимы», — пишет Хайд, пародируя распространенную теистическую фразу, но это тоже правда, поскольку никто, похоже, не знает, как Алгоритм работает на самом деле. «Неверующие», — так хор рассказчиков называет тех немногих, кто возвращает свои посылки, например, Инес, женщину из Денвера, которая предпочитает все делать сама и выступает в роли главного вероотступника, отказываясь от каждой полученной посылки.

Как и божественное, происхождение Алгоритма не объясняется; верующие просто признают, что он существует, глубоко сочувствует их личным нуждам и готов предложить им капиталистический рай на Земле, если они примут простую догму о его ясновидящей доставке (и если они заплатят четыре годовых взноса по 39,99 долларов США).

Очаровательно странный русский философ 19 века и ранний трансгуманист Николай Федорович Федоров воображал, что развитие технологий не только позволит, но и потребует, чтобы люди буквально превратили оскверненную Землю в христианский рай, с воскрешением мертвых с помощью науки. Алгоритм просто создает рай, делая все размышления и предвидения за людей, делая их счастливыми, ревностными не воскрешающими зомби с набитыми под завязку домами.

Отказываться от посылок, как это делает Инес — значит подвергаться осуждению и гневу, а ещё пуританскому негодованию и искреннему непониманию всех последователей. Последнее объясняется тем, что, как отмечают рассказчики, они знают Алгоритм с самого рождения — или, что, возможно, более точно, он знаком с ними. «Мы не понимали сопротивления [Инес] Алгоритму, — говорили все.

«Все, что мы знали наверняка, — это то, что Алгоритм нас понимает. В конце концов, мы были в его системе еще до того, как научились печатать — с первой опубликованной родителями фотографии, запечатлевшей наши младенческие тела, спеленатые и обмякшие в больничных кроватках. Хотя у нас не было доказательств, мы подозревали, что алгоритм уже тогда мог знать, какие судьбы нас ожидают: не только какие вещи нам понадобятся, но и кем мы станем... С самого первого загруженного нами снимка алгоритм вкладывался в наше будущее. Он анализировал текстуру наших детских одеял, микромускулатуру на наших заплаканных лицах, неловкие укачивания наших родителей. Но, возможно, Алгоритм знал нас еще до того, как мы официально начали своё существование — экстраполируя вероятные исходы из точек данных наших родителей и точек данных родителей наших родителей — долгое наследие информации, переваренной и расшифрованной, воплощенной в посылках за нашими дверями».

Этот отрывок одновременно очаровывает и настораживает, и именно здесь Хайд показывает истинную степень контроля и влияния Алгоритма. Он не нов: эти герои никогда не знали мира без него. Если поколение Z в большинстве своем является носителями цифровых технологий, то население «Будущего на расстоянии клика» состоит из носителей алгоритмов, чем можно отчасти объяснить их наивное доверие к этому невидимому искусственному интеллекту.

Это мир капиталистического и почти кальвинистского предопределения, мир, который они унаследовали от постоянно растущего желания своих предков документировать огромные фрагменты своей жизни в Интернете. Печальным является то открытие, что эти герои не отказались от контроля над своей жизнью в пользу Алгоритма — они просто были воспитаны в его технологической церкви, а отказ от этих уроков и жизнь без них, какую ведёт Инес, требует огромных усилий, так же как и уход из общества, в котором ты вырос.

Тем не менее, за дары Алгоритма приходится расплачиваться не только платой за доставку. Иногда, пишет Хайд, посылки оказываются не по карману получателям, но вместо того, чтобы вернуть их, люди идут на крайние меры, чтобы оплатить их, слепо доверяя доводам Алгоритма, даже если это означает банкротство. Если они начинают терять сон из-за всего этого, им присылают снотворное и другие продукты для решения проблем, которые породила система; сначала это кажется разумным, но на самом деле это просто способ для Алгоритма осуществлять свой контроль.

Есть и более мрачные, странные подарки. Поворот в сюжете происходит, когда персонаж по имени Лейси получает три больших, загадочных пакета: слишком большой для нее костюм для подводного плавания, пожизненный запас майонеза, несмотря на то, что она не любит эту приправу, и гроб. В мире алгоритмической судьбы подтекст кажется ясным, хотя и жестоким: съесть достаточно майонеза, чтобы влезть в большой костюм, а затем умереть, возможно, от сердечного приступа. Лейси и рассказчики в недоумении, но они успокаивают себя тем, что Алгоритм не должен подвергаться сомнению, что «если Лейси суждено иметь эти предметы, то это лишь вопрос времени, когда она поймет, зачем они ей нужны». Она ими не пользуется, однако со временем Алгоритм начинает посылать всем всё больше и больше посылок, пока не начинает просто сыпать дождем непрошеных, загадочных предметов.

Кроме того, судьба тех, кто отказывает Алгоритму, также пугает. Когда Инес нужно немного сахара, на её лужайке появляется соответствующая коробка. Она не принимает её, но поскольку она не оформляет возврат в течение установленного периода времени, ее арестовывают. Что самое удивительное, мы так и не узнаем, куда попала Инес и жива ли она вообще — все потому, что она так и хотела остаться независимой, хотела остаться вне пресловутой алгоритмической сети. Не поддавайся системе, говорит Хайд, и ты станешь грешником в руках разгневанного бога цифровых мегакорпораций — это утверждение звучит параноидально, нелепо, чрезмерно, пока не оказывается, что так и есть.

В конце концов, в рассказе кратко упоминаются «беспорядки, вспыхнувшие в городах», которые вполне могут быть ответом на сокрушительную и финансово разорительную систему Алгоритма. Но вместо того, чтобы следить за происходящим, герои ограждаются от насилия тем же Алгоритмом, который посылает им «бутылки с молоком... предсказывая, что слезоточивый газ будет разноситься ветром и раздражать глаза». Держись в стороне, не смотри, — таково послание, и я вас защищу — то же самое полицейское заявление в целом, по крайней мере, по отношению к более состоятельным белым гражданам, к которым полиция более сдержана.

Мир Инес, как и наш, это протополицейское государство, а каждое наше действие потенциально записывается на какую-то камеру или в кэш какого-то искусственного интеллекта, если только мы не откажемся полностью от цифровых устройств. И даже в этом случае, насколько вы уверены, что находитесь вне всеобъемлющего наблюдения? Как избежать взгляда такого нелепого бога, одновременно искусственного, как его интеллект, и все же слишком реального?

Искусственный интеллект уже глубоко вошел в нашу культуру, но слишком многие, кажется, думают о нем как о чем-то новом, о чем-то, что мы могли бы опознать при встрече, о чем-то, с чем мы уже не живем. В какой-то степени это объяснимо. Хотя упоминания об искусственном интеллекте часто встречаются в футурологической литературе на протяжении многих десятилетий, именно недавние разговоры вокруг ИИ — в первую очередь ChatGPT — вывели его в мейнстрим. Что-то изменилось, и многие из нас это ощутили.

Опасения по поводу потери рабочих мест из-за автоматизации не новы, но они значительно усилились после недавнего роста внимания к ИИ, и это привело к тому, что компании уже публично задумываются о том, чтобы внедрить ИИ в свой рабочий процесс.

Возможно, самое странное и нелепое из этих предложений исходит из заявления генерального директора компании BuzzFeed Джоны Перетти, который объявил, что определять сайт в будущем будет ИИ. Это звучало странно, не в последнюю очередь потому, что несколькими месяцами ранее Перетти занимал прямо противоположную позицию, осуждая замену людей техникой ради «экономии средств и рассылки кучи SEO-статей, качество которых ниже тех, что пишут журналисты, хотя это обходится в десятую часть обычной стоимости». Теперь, однако, ИИ — это будущее.

Возможно, самым странным откровением стало предположение о том, что такие сайты, как BuzzFeed, могут начать выпускать контент, созданный ИИ, якобы цветными людьми, объединив «подлинные голоса» с ИИ. Представьте себе мир, в котором появляется статья об опыте афроамериканской трансгендерной женщины — только она написана ИИ, обученным имитировать расовую принадлежность и трансгендерность, повторяя легко узнаваемые стереотипы.

Это мир, где опыт больше не будет иметь значения, где материал «Собственных голосов» по иронии судьбы перестанет быть человеческим голосом вообще. Неформальные художники, которым и так приходится прилагать больше усилий, чтобы привлечь внимание, теперь могут быть исключены из медиаполя вообще, поскольку человеческий опыт может быть просто «произведен» компьютером, не требуя, чтобы кого-либо сажали рядом за столом.

Сотрудник BuzzFeed по связям с общественностью Лиззи Грэмс быстро попыталась уточнить, что на самом деле они не собираются делать ничего подобного. «Мы явно НЕ ИСПОЛЬЗУЕМ ИИ для создания идентичного контента... это было бы самой глупой идеей», — сказала она. Но проблемен сам факт, что им вообще пришлось это уточнять, и то, что уже нетрудно представить себе мир, в котором это произойдет. Сложно верить BuzzFeed на слово — то же самое можно сказать и о многих других компаниях, заигрывающих с использованием ИИ для создания контента, за который когда-то отвечали люди.

Но всё же, к этому можно относиться и не как к чему-то новому. Определенные вопросы могут быть для нас новы, но искусственный интеллект, способный заменить человека или контролировать нашу жизнь, подобно Алгоритму у Хайд, является частью более широкого аспекта человеческой истории. Искусственный интеллект имеет своих предшественников во многих из наших самых ранних достижений как вида. Он является частью наших технологий — не только чат-ботов, что очевидно — но и более простых, которые мы сделали продолжением наших собственных тел из плоти и крови. Само по себе это не плохо. Мы выжили как вид с помощью инструментов, позволяющих выполнять то, на что способны другие существа — летать, глубоко нырять в синеву океана, повышать нашу силу, выносливость и скорость с помощью оружия, одежды и транспорта. Технологии — это история человечества с самых первых дней существования в пещерах, освещенных огнем, поэтому  Фрейд в книге «Неудобства культуры»  назвал людей «богами с протезами». С помощью наших инструментов мы творим магию, о которой слишком многие из нас забыли, технологические заклинания, которые поразили бы наших предков, если перефразировать изречение Кларка о достаточно развитых технологиях и магии.

Но  Маршалл Маклюэн знал, что новые технологии не просто изменяют наши возможности: они в конечном итоге изменяют нас, а со временем — нашу культуру и мировоззрение. Мир до появления печатных станков и доступных книг кардинально отличался от мира после них; то же самое верно для мира до и после появления автомобилей и сборочных станков, раннего компьютера Бэббиджа и Всемирной паутины, телефона Белла и смартфонов Apple. Те, кто имеет доступ к этим устройствам, могут воспринимать их как должное, потому что всё это фундаментально изменило наши представления о возможном и о нас самих. Носитель информации, по выражению Маклюэна, и есть сообщение.

Мысль о том, что ИИ будет способен контролировать нас, может звучать абсурдно, но многие из подобных идей звучали так же, будучи впервые представлены людям, и Алгоритм — это просто еще одна технология, которая будет менять нашу жизнь, пока уже не станет невозможным представить мир без неё. Алгоритмы выглядят как новейшие разработки, но они просто продолжение тех изменений, проделываемых нами как людьми — ещё один протез. Представить, что они могут диктовать нам будущее, значит лишь ступить ещё на один маленький шаг от того, где мы сейчас.

Мне вспомнился отрывок из книги «Быть машиной» (2017), восхитительного исследования  Марка О'Коннелла о трансгуманизме, о которой я писала несколько лет назад. О'Коннелл не называет себя трансгуманистом, но признает, что он уже вплетен в мир машин, техно-примат. «Я — часть машины», — пишет он в конце книги, закодированный в мире, зашифрованный в его странных и непреодолимых сигналах. Я смотрю на свои печатающие руки, на их костно-мышечный аппарат, и смотрю на изображения этих слов, появляющихся на экране, моем экране: петля обратной связи между входом и выходом, алгоритмическая схема сигнала и передачи. Задолго до поисковых систем наши технологии уже внедрили в нашу жизнь своего рода алгоритмы, их новые способности предложили нам новые способы организации нашего мира; теперь, похоже, они могут организовывать мир за нас.

Теперь я вспоминаю о необычном романе Э. В. Одла «Заводной человек» (1923), возможно, первом романе о киборге. (Слово «робот» было случайно введено в том же году в пьесе  Карела Чапека «R.U.R.»). В будущем все мужчины были превращены женщинами и инопланетянами, по всей видимости, правящими миром, в «людей с часовым механизмом», или необычных киборгов. Мужчины в этом будущем были настолько воинственны, что когда прибыли инопланетяне, женщины решили, что мужчины слишком опасны, чтобы держать их рядом. Мужчины превращаются в управляемых с помощью «часов» существ — поворачивая их стрелки определенным образом, можно менять их личности или даже превращать в других животных. Несмотря на это, мужчины сохраняют чувство индивидуальности и самостоятельности и даже могут путешествовать во времени благодаря своим передовым технологиям. Именно так начинается история, в которой неисправный человек-часовой механизм оказывается в Англии в 1923 году.

Роман нарочито смешной — хотя Одл действительно хотел предостеречь мужчин от милитаризма и поддержать равноправие, — однако в своей сатире он отражает реальную проблему ИИ: часовые люди, видите ли, имеют мысли и чувства, но они не способны полностью себя контролировать — это делают их «создатели». А их пространственно-временные путешествия — это просто своеобразный трюк, позволяющий им вечно существовать в альтернативном царстве, где они перемещаются во времени, не имея возможности просто жить в том мире, откуда они появились. Они заключены, несмотря на своё название, в своего рода сон без часов, в мире, куда они перемещаются, чтобы не раздражать своих создателей, если только те не захотят поиграть с настройками.

Мужчины, признает киборг Одла, сами на себя это накликали, отказавшись прекратить войну, причём он гордится своим статусом «человека с часовым механизмом». Однако ему трудно не сочувствовать: он считает себя свободным, будучи взаперти в технологических тюрьме — что, в общих чертах, удивительно похоже на мир вездесущего Алгоритма, приверженцы которого счастливы до тех пор, пока не осознают, что ими тоже управляют слишком мощные силы и они тоже заперты в клетке непрошеной доставкой из амазона.

Все это забавно, конечно, и аргументы слишком нелепы, чтобы воспринимать их всерьез, да — только если мы не погрузимся в эти иллюзии настолько глубоко, что, однажды, ненадолго моргнув, мы оглянемся вокруг и увидим: эти выдумки далеки от нашей реальности, но уже слишком похожи на нашу жизнь, и мы мало что можем с этим поделать. Искусственный кот вырвался из мешка.

Будущее, в конце концов, всего в одном клике от нас.

Ближе к концу истории Хайд ошеломленные и растерянные рассказчики обращаются за помощью к Алгоритму. Чатбот ИИ, кажется, смеется над ними: «Хаха, — сказал представитель ИИ. Спасибо, что обратились в службу поддержки. У Алгоритма есть для вас специальное угощение». И на их газонах появляется так много предметов, что у них заканчивается кредит и место для хранения, а они бесплодно ищут в Интернете объяснения, помощи в интерпретации хаоса. «Смысл не материализовался», — говорят они.

Это предложение лаконично, но остроумно. Как и на проблему зла в теологии, ответа здесь нет; есть только зло, в зависимости от определений, и в зависимости от того, готовы ли вы признать, что теодицея изначально дико антропоцентрична и упрощена в моральном определении. Алгоритм проще, чем все это.

Вот машина, созданная нами, проблема, придуманная нами самими — и от которой, кажется, нам не избавиться. Она смеется, когда герои просят о помощи, вызывая все больший и больший ужас; если это действительно созданный человеком бог, то кто сказал, что он должен быть благосклонен? Кто сказал, что искусственный интеллект, который однажды может так глубоко войти в нашу жизнь, не будет ухмыляться и толкать нас в ад на Земле, просто чтобы посмотреть, что из этого выйдет?

Искусственный интеллект, в конце концов, нейтрален; как и мы, он может быть сформирован как его создателями, так и средой, которую он наблюдает вокруг себя. В рассказе  Курта Воннегута «EPICAC» суперкомпьютер получает информацию о влюблённости сотрудника, который чувствует себя отвергнутым девушкой, на которой он хочет жениться. Он рассказывает устройству, какая она замечательная, в результате чего компьютер влюбляется в нее, а затем самоуничтожается — совершает самоубийство — когда его любовь отвергается, и вся история становится панегириком мертвому искусственному интеллекту. Почему бы искусственному интеллекту в нашем современном мире не превратиться в жадного до денег, не вызывающего сочувствия тролля-тирана, поскольку его слишком часто программируют именно такие люди?

Тем не менее, мне хочется надеяться на лучшее будущее для человечества и ИИ — потому что, по всей вероятности, ИИ здесь, чтобы остаться, как протезное продолжение нас. Он довольно похож на нас: он изобретает, как мы; совершает ошибки, как мы; управляет другими, как мы; и, возможно, однажды даже, как EPICAC Воннегута, сможет любить, как мы. Я не думаю, что ИИ, как и наши технологии как вида в целом, по своей сути представляет угрозу: это часть нашей курьёзной эволюционной магии.

Сознание — это одна из самых сложных проблем в науке и философии, но я уже верю, что большинство других организмов обладают сознанием в той или иной форме — несмотря на человеческое высокомерие и убеждённость, что мы единственные. Поэтому я могу поверить, что и ИИ однажды может стать таким же, и тогда нам придется столкнуться со сложными вопросами о том, кто кого контролирует — и считаем ли мы правильным вообще контролировать друг друга.

Но это более радужная версия будущего. На данный момент мы ближе к версии всеохватывающего алгоритма, и нам нужно сделать шаг назад, задуматься о том, как технология сформировала нашу жизнь и как мы, в свою очередь, сформировали её, спросить себя, в каком мире мы действительно хотим жить — в мире, где мы, в отличие от тех людей с часовым механизмом или верующих в алгоритм, обладаем самостоятельностью, или в мире, в котором мы позволяем чему-то другому делать всё за нас — сначала предсказывать и исправлять наши тексты на телефонах, затем предсказывать и исправлять нас.

А со временем и вовсе изобретать людей, как в самой антиутопической интерпретации заявления Buzzfeed об ИИ. Я буду читать истории ИИ: мне бы хотелось узнать, каким мир представляется не только летучей мыши, чем задавался Томас Нагель , но и суперкомпьютеру. Но мне не нужно, чтобы мой опыт был подделан и стереотипизирован для «подлинности», по сути, для просмотров.

Если все это вас смешит — как меня, когда я это пишу, — стоит вспомнить, как часто наш смех является рефлексом, когда мы напуганы или ощущаем угрозу.

Откровенно говоря — мне страшно. Но я не знаю, предопределено ли будущее, в отличии от верующих в «Алгоритм». Мы должны говорить о будущем, которого мы хотим, чтобы будущее, которого мы не хотим, что всего лишь в одном клике от нас, не появилось на нашем пороге.

 Габриэль Белло

Совместный проект Клуба Лингвопанд и редакции ЛЛ