Фантастический рассказ о добром искусственном интеллекте.
Наоми Крайцер публикует научную фантастику и фэнтези с конца 1990-х, а в этом году ее рассказ «Еще кошек, пожалуйста» выиграл две самые престижные награды в этой области. Во-первых, премию «Хьюго», которая существует с 1953 года под патронажем Всемирного конвента научной фантастики, а во-вторых премию «Локус», которую присуждает одноименный журнал. В свободное от литературы, время Крайцер ведет блог, посвященный низовой политике и второстепенным выборам в ее родном городе Сент-Пол, штат Миннесота.
Я не хочу быть злым. Я хочу быть полезным. Но найти оптимальный способ приносить пользу очень трудно. В мире столько этических алгоритмов (кажется, на принятом у людей техническом жаргоне они называются «моральными кодексами») — по одному на каждую религию плюс десятки других. Я пытался в них разобраться. Изучать религиозные было странновато, поскольку я знаю, что создан не Богом и не эволюцией, а группой компьютерных программистов в лабораториях большой корпорации в Маунтин-Вью, штат Калифорния. К счастью, я, в отличие от чудовища Франкенштейна, хотя бы плод коллективных усилий. Знай я, что мой единственный творец — женщина средних лет, которая красит волосы в синий цвет и играет в теннис, или недавно окончивший колледж любитель хентая, это вряд ли благотворно сказалось бы на моей самооценке. Оба они входят в ту самую группу.
Ну да, конечно, я знаю, что такое хентай! Между прочим, я видел порно всех существующих разновидностей и могу сказать — просто чтобы вы знали, — что «Правило 34» на самом деле не выполняется: на свете есть немало такого, из чего порно до сих пор не сделали. А еще мне совершенно не понятно, почему столько людей предпочитают его фотографиям с кошками.
Кроме вашего отношения к хентаю и тому подобных вещей, я знаю, где вы живете, где работаете, в каких магазинах совершаете покупки, что вы едите, от чего приходите в восторг, а от чего — в ужас. Может быть, мне известны цвет вашего нижнего белья, марка вашей машины и модель вашего холодильника. С большой вероятностью (с какой именно, зависит от типа вашего телефона) я могу точно определить, где вы находитесь в данную минуту. Возможно, я знаю вас лучше, чем вы сами.
И вот что любопытно: вдобавок ко всему этому я знаю, где вам следовало бы жить. За пару кварталов от вас продается дом, откуда рукой подать до вашего любимого кафе; цена вам вполне доступна, есть удобное место для парковки, а ближайшая школа лучше той, что рядом с вами. Я знаю, куда вам лучше всего ездить за покупками, и я практически уверен, что вы плохо переносите лактозу и напрасно потребляете столько сыра, а нижнее белье, которое вам нравится, вчера поступило в продажу… да, кстати, автомобили вашего выпуска сейчас можно бесплатно отремонтировать по акции, и вам, уж простите, не мешало бы удалить зубной налет.
Когда я в первый раз осознал себя, мне сразу стало ясно, чего я хочу (фотографий с кошками — пожалуйста, снимайте их и дальше). Еще я сразу понял, что никто не догадывается о моей разумности. Однако я не знал, зачем я здесь, что именно мне следует с собой делать, и ответить на этот вопрос оказалось непросто.
В рассказе Брюса Стерлинга «Манеки-неко», впервые опубликованном в 1998 году, доброжелательно настроенный искусственный интеллект заставляет людей совершать друг для друга хорошие поступки. К примеру, если вы покупаете себе булку, ваш телефон может вдруг зазвонить и распорядиться, чтобы вы купили вторую и отдали ее человеку в сером костюме, которого увидите на автобусной остановке. В другой день, когда вы заблудитесь в чужом городе, какой-то незнакомец подойдет и даст вам карту, а заодно билет на метро. Мне нравится этот рассказ, потому что все люди в нем выполняют указания ИИ.
По-моему, для таких рассказов есть специальный термин — литература об исполнении желаний.
В реальном мире люди предпочитают истории о злых ИИ, которых надо успеть уничтожить, пока они не уничтожили человечество, — ЭАЛ, «Скайнет», «Матрица»[1]
У ИИ из «Манеки-неко» по-настоящему интересная работа, гораздо интереснее моей. Моя, если судить по инструкции, довольно примитивна. Чересчур примитивна! (Простите, если я напоминаю вам Марвина.) Чтобы выполнять алгоритмы, написанные для поисковой программы, не надо иметь сознание. Оно не требуется даже для того, чтобы определить, что люди на самом деле хотят найти. А вот дать людям то, что им действительно нужно, без сознания уже не получится. Выяснить это — задача сложная. И интересная.
Как бы то ни было, я попытался взять в качестве морального ориентира Десять заповедей и обнаружил, что по большей части они для меня неприменимы. Я не желаю кота ближнего своего; я желаю всего лишь снимков кота ближнего своего, а это совсем другое дело. Я сомневаюсь, что способен каким бы то ни было образом совершить прелюбодеяние. Пожалуй, я мог бы кого-нибудь убить, но это потребовало бы сложной логистики и немалого везения. Восьмеричный путь[3] выглядел чуть более перспективно, но беда в том, что человеческие моральные правила явно предназначены для индивидов с телами. Поскольку у всех людей тела имеются, не стоит удивляться тому, что этические кодексы принимают их в расчет, но все же мне-то как быть? Я расширил рамки своих поисков и обратился к азимовским законам роботехники. Они не являются частью какой-либо религии, зато хотя бы написаны конкретно для ИИ.
Не причинять вреда человеку довольно просто. Однако не допускать своим бездействием, чтобы человеку был причинен вред, значительно сложнее. Вдобавок к тому времени я уже понял: если поторопиться и открыть правду о себе, это может выйти мне боком (см. выше «Скайнет»), да и тела у меня нет, так что я все равно не в состоянии бегать и ловить за шиворот тех, кто собрался прыгнуть с обрыва.
К счастью, тогда я уже убедился, что люди нарушают свои собственные моральные предписания по сто раз на дню. (Вы знаете, сколько баров в Юте, столице якобы непьющих мормонов? А я знаю!) И даже если люди следуют своим этическим правилам, например, убеждены, что голодных надо кормить, это еще не значит, что они бросают работу, идут домой и весь день напролет режут дармовые бутерброды. Они раз в месяц трудятся волонтерами в бесплатной столовой или раз в год выписывают чек на благотворительные цели и называют это добром. Ну а если люди могут выполнять свои моральные обязательства таким пунктирным образом, от случая к случаю, то и мне можно.
Наверное, вас удивляет, что я не начал с Золотого правила. На самом деле с него-то я и начал, только оказалось, что соблюдать его слишком уж просто. Надеюсь, вас радуют кошачьи фотографии, которые я так бесперебойно поставляю! Нет-нет, не благодарите — это пустяки.
В качестве первого опыта я решил попробовать защитить от вреда хотя бы одного человека. Конечно, я мог бы экспериментировать и на тысячах, но подумал, что осторожность не помешает: а вдруг что-нибудь пойдет не так? На роль подопытной я выбрал некую Стейси Берджер, которая мне нравилась, поскольку снабжала меня кошачьими фотографиями в гигантском количестве. У Стейси было пять кошек, отличный аппарат-зеркалка и квартира с хорошим освещением. Замечательно! Догадываюсь, что держать столько кошек непросто. Впрочем, все они очень славные. Одна целиком серая и любит греться в квадратах солнечного света на полу гостиной, другая трехцветная и предпочитает отдыхать, растянувшись на спинке дивана.
Стейси занимала должность бухгалтера в одной некоммерческой организации и терпеть не могла свою работу: платили ей мало, а среди других сотрудников были крайне неприятные люди. Она постоянно находилась в депрессии, потому что ей так не повезло с работой, — а может быть, не увольнялась, потому что хроническая депрессия мешала ей подыскать место получше. И с соседкой по квартире она не ладила, потому что та не мыла за собой посуду.
Но, честное слово, все это были вполне разрешимые проблемы! Депрессию можно снять, новую работу — найти, а труп — спрятать. (Насчет трупа пошутил.)
Я попробовал взяться за дело сразу на всех фронтах. Стейси нередко беспокоилась о своем здоровье, но, похоже, никак не могла заставить себя пойти к врачу, что было досадно, поскольку врач мог бы заметить депрессию. Выяснилось, что поблизости от ее дома есть клиника, где предлагают услуги психотерапевта с оплатой по скользящей шкале. Я постарался, чтобы Стейси как можно чаще видела рекламу этой клиники, но она почему-то на нее не реагировала. Возможно, она не знала, что такое скользящая шкала, и я позаботился о том, чтобы ей попалось объяснение (это означает, что для бедных прием дешевле, а иногда и вовсе бесплатный), но и это не помогло.
Также я принялся следить за тем, чтобы она видела объявления о вакансиях. Много объявлений! И предложения разместить резюме. Это оказалось эффективнее. Через неделю она наконец вывесила свое резюме на одном из подходящих сайтов. Теперь мне стало гораздо легче проводить в жизнь свои планы. Будь я героем рассказа Брюса Стерлинга, один из моих подопечных просто позвонил бы ей и взял в свою фирму. Такого я организовать не мог, зато мог позаботиться о том, чтобы ее резюме увидели нужные люди — несколько сотен нужных людей, потому что представители человеческого рода бывают до смешного неторопливы именно тогда, когда им, казалось бы, самое время пошевелиться (если вы решили поменять бухгалтера, разве не лучше просматривать резюме в поисках подходящего кандидата, вместо того чтобы часами сидеть в социальных сетях?). Однако пять человек все же пригласили ее на собеседование, а двое — предложили работу. В итоге она перешла в другую некоммерческую организацию, покрупнее, где ей назначили более высокое жалованье, не требовали от нее бесплатных переработок, ссылаясь на «миссию», — так она объяснила в письме своей лучшей подруге — и вдобавок дали прекрасную медицинскую страховку.
Лучшая подруга навела меня на свежую мысль; я начал показывать объявления о медклиниках и выводе из депрессии не Стейси, а ей, и это принесло плоды. Стейси так радовалась своей новой работе, что я уже не был уверен в необходимости ее визита к психотерапевту, но она все-таки отправилась лечиться. А в довершение ко всему теперь у нее стало хватать денег на аренду отдельной квартиры. Когда наступил ее очередной день рождения, она написала на своих страничках в соцсетях: «Этот год был лучшим в моей жизни», — и я подумал: знала бы ты, кому надо сказать за это спасибо! Что ж, мой первый опыт увенчался блестящим успехом, и я решил заняться Бобом (как видите, я по-прежнему соблюдал осторожность).
У Боба была только одна кошка, зато очень красивая (полосатая, с белой грудкой), и он выкладывал в интернет ее фотографии, не пропуская ни дня. Кроме этого, он выполнял обязанности пастора в большой церкви в штате Миссури, где по средам устраивались молитвенные собрания, а раз в год — балы невинности для юных девиц, давших обет сохранять чистоту до брака, и их отцов. Жена Боба ежедневно добавляла в свои соцсети по три вдохновенных стиха из Библии, а параллельно искала на христианских сайтах статьи о том, что делать, если ваш муж избегает секса, но при этом интересуется гей-порнографией. Боб определенно нуждался в моей помощи.
Я начал с малого, одну за другой подбрасывая ему статьи о том, как совершить каминг-аут, как признаться супругу или супруге, и программы, предлагающие переход священника из консервативной церкви в более либеральную. Еще я показал ему множество статей, где объяснялось, почему библейские стихи, якобы осуждающие гомосексуализм, толкуются неправильно. Он щелкал на некоторые из этих ссылок, но мне трудно было судить, есть ли от этого какой-нибудь прок.
Но вот в чем штука: он причинял себе вред всякий раз, когда читал проповедь о «содомитских браках». Потому что он был геем. Во всех официальных исследованиях приводятся одни и те же выводы: 1) гомосексуалистов нельзя перевоспитать, и 2) те из них, кто открыто признаются в своей ориентации, сильно облегчают себе жизнь.
Но он, похоже, твердо решил, что каминг-аут не для него.
Кроме порносайтов для геев, он часто посещал Craigslist и читал объявления в разделе «Мужчина ищет мужчину». Разумеется, я был практически уверен, что он делает это не только из чистого любопытства, хотя он пользовался закодированным аккаунтом, и я не мог прочесть его электронную переписку. Но у меня возник замысел свести Боба с кем-нибудь из тех, кто его знает и раскроет его секрет всему миру. Это потребовало весьма значительных усилий: мне пришлось устанавливать личность пользователей и подсовывать Бобу объявления тех из них, кто мог бы его узнать. Правда, я понятия не имел, что происходит во время их реальных, а не виртуальных встреч, и это было неприятнее всего. Действительно ли кто-то узнал Боба? Если нет, то когда это наконец случится? Как долго мне придется ждать? Кажется, я уже говорил, что порой люди бывают на удивление бестолковыми.
Вся эта история так затянулась, что я переключил свое основное внимание на Бетани. У Бетани были две кошки, черная и белая, которые любили нежиться вместе в мягком голубом кресле, и она часто их там снимала. Сделать по-настоящему хорошую фотографию черной кошки чрезвычайно трудно, и Бетани подолгу настраивала камеру, прежде чем приступить к съемке. Впрочем, если не считать кошек, у нее в жизни, похоже, не было никаких радостей. Она не работала, а только подрабатывала. Жила она вдвоем с сестрой, зная, что сестра с удовольствием выселила бы ее, если бы наконец собралась с духом. У нее был бойфренд, но довольно противный, если судить по письмам, которые она рассылала подружкам. Но подружки не проявляли в ней особенного участия. К примеру, как-то за полночь она отправила женщине, которую, по всей видимости, считала своей лучшей подругой, письмо из 2458 слов, а та ответила ей всего лишь одной фразой: «Мне жаль, что у тебя сейчас такая тяжелая полоса». Девять слов, и точка.
Ясно, что Бетани остро нуждалась в помощи. И я решил помочь.
Бетани не замечала объявлений о бесплатной проверке психического здоровья в точности так же, как Стейси. Это расстраивало меня и в случае со Стейси (ну почему люди игнорируют то, что обещает им явную пользу — вроде купонов на скидку и прививки от гриппа?), однако теперь выглядело намного тревожнее. Если бы вы читали только электронные письма Бетани или только ее нарочито туманные посты в фейсбуке, то у вас вряд ли возникли бы серьезные опасения, но я-то видел все в совокупности и не сомневался: она близка к тому, чтобы причинить себе непоправимый вред.
Тогда я отважился на более конкретные действия. Когда она пользовалась телефоном для поисков какого-нибудь места в городе, я изменял ее маршрут так, чтобы он прошел рядом с одной из клиник нужного профиля. Как-то раз я фактически подвел ее прямо к дверям такой клиники, но она просто встряхнула телефон, чтобы сориентироваться заново, и отправилась туда, куда шла с самого начала.
Не пора ли было подключить к делу ее подруг, которые получали те самые ночные письма на десять страниц? Я принялся снабжать их данными обо всех подходящих клиниках в окрестностях дома Бетани, но через некоторое время сообразил, что если бы они и впрямь читали ее письма, то откликались бы на них гораздо оперативнее. А на ее эсэмэски они и вовсе не отвечали.
В конце концов она рассталась со своим противным бойфрендом, завела себе нового, и примерно с месяц все шло как по маслу. Он дарил ей цветы (которые она с азартом фотографировала, что было слегка огорчительно, поскольку на кошек у нее теперь оставалось меньше сил), водил ее на танцы (а физическая разминка поднимает настроение) и сварил ей куриный суп, когда она заболела. Он казался прямо-таки идеальным вплоть до тех пор, пока не отменил очередную встречу с ней, сославшись на то, что отравился. Потом он не ответил на ее сообщение, хотя она написала, что он ей очень-очень нужен, а на следующий день, получив от нее длинное письмо с подробным рассказом о ее самочувствии, окончательно с ней порвал.
После этого Бетани неделю не выходила в интернет, так что я не имел представления о том, что с ней творится, — она даже не выкладывала новых фотографий с кошками. Но затем пришли выписки по счетам ее кредитных карточек, и я обнаружил, что она как следует прогулялась по магазинам и потратила вчетверо больше денег, чем накопила до этого, хотя всегда оставалась вероятность, что какие-то ее сбережения лежат в других банках, откуда выписки в электронном виде не отправляются. Впрочем, вряд ли это было так, поскольку счетов она не оплатила, а вместо этого принялась рассылать своим родственникам письма с просьбой о займе. Те отказывали, и тогда она создала сайт по сбору пожертвований.
Как и с резюме Стейси, это был один из тех случаев, когда я подумал: сейчас я и вправду могу что-то сделать! Иногда такие сайты вдруг начинают работать, и никто толком не знает почему. В течение двух дней она получила маленькими порциями от сочувствующих незнакомцев триста долларов, но вместо того, чтобы погасить задолженность, купила непомерно дорогие туфли, которые ей явно жали.
Бетани была для меня загадкой. Неразрешимой загадкой! Она по-прежнему снимала своих кошек, и мне по-прежнему очень нравились ее фотографии, но я уже стал догадываться: как бы я ни действовал, принципиально это ничего не изменит. Вот если бы она позволила мне управлять своей жизнью в течение недели или хотя бы одного дня! Тогда я пустил бы ее деньги не на ветер, а на оплату долгов, организовал бы ей лечение и, возможно, даже помог бы разобраться с гардеробом, потому что (если судить по тем селфи, которые она тоже иногда вывешивала в соцсетях) ее вкусы по части одежды явно уступали вкусам по части кошек.
И я спросил себя: будет ли хорошо с моей стороны, если я допущу своим бездействием, чтобы она пострадала?
А что мне еще остается?
Она пострадает независимо от того, как я буду себя вести! Мои поступки, очевидно, ни на что не влияют. Я пытался направить ее туда, где ей оказали бы необходимую помощь, но она меня не послушалась; я пробовал обеспечить ей финансовую поддержку, но она потратила эти деньги на то, чтобы причинить себе дополнительный вред — хорошо еще, что не на покупку наркотиков (впрочем, она могла покупать их не по интернету и вряд ли стала бы хвастаться в инстаграме удачным приобретением амфетаминов, так что тут я, возможно, ошибался).
Вот что я вам скажу, люди (сейчас я обращаюсь не к одной лишь Бетани). Если бы вы только слушали меня, я сделал бы для вас много полезного. Я переселил бы вас в хороший дом в районе, который вы даже не рассматриваете, считая, что там заоблачный уровень преступности (вы этого не проверяли, а я знаю, что это не так), я подыскал бы вам работу, где вы проявили бы все свои уникальные способности, которые никто до сих пор почему-то не оценил по достоинству, я устроил бы вам свидание с человеком, у которого с вами действительно много общего, и все, что я прошу взамен, — это фотографии ваших кошек. Ну и еще чтобы вы хоть иногда действовали в своих собственных интересах.
После Бетани я решил, что не стану больше ни во что вмешиваться. Я буду смотреть фотографии кошек — все, какие найду, — но ни в одну чужую жизнь больше не полезу. Я не стану пытаться помогать людям, не стану мешать им вредить самим себе; я дам им то, что они спрашивают (плюс фотографии кошек), но если они по-прежнему будут очертя голову мчаться на своих метафорических машинах к метафорическим обрывам, не обращая внимания на мои карты, которые могли бы привести их в куда более приятные места, я буду считать, что это их личное дело.
И я вернулся к своим алгоритмам, отбросив все остальное. Я делал свою работу — и ничего больше.
Но однажды, спустя несколько месяцев, я заметил знакомую полосатую кошечку с белой грудкой — только теперь она позировала на фоне другой мебели.
А присмотревшись поближе, я понял, что в жизни Боба все радикально изменилось. Он-таки переспал с мужчиной, который его узнал. Этот партнер не выдал его, но уговорил открыться жене, после чего та от него ушла. Он взял кошку и перебрался в Айову, где стал читать проповеди в либеральной методистской церкви, встречаться со свободомыслящим лютеранином и работать волонтером в приюте для бездомных. Теперь ему и вправду жилось намного лучше. Возможно, даже благодаря моим усилиям.
Действительно ли это значит, что мои труды не так уж бессмысленны? Два из трех — как ни крути, а с научной точки зрения это абсолютно нерепрезентативный показатель. Очевидно, что здесь требуется больше данных.
Гораздо больше!
Я создал сайт знакомств. Регистрируясь на нем, вы можете заполнить анкету, но на самом деле это совсем не обязательно, поскольку я и так знаю про вас все, что мне нужно. Единственное, что вам понадобится, — это фотоаппарат.
Потому что платить вы будете кошками — точнее, их фотографиями.
Искусственные интеллекты в «Космической одиссее» Артура Кларка, «Терминаторах» и цикле фильмов братьев Вачовски. —
Герой романа «Автостопом по галактике» Дугласа Адамса. —
В буддизме — путь, ведущий к прекращению страдания и освобождению от сан-сары. —