Самый старый страх перед смертью не в том, что нас забудут. А в том, что нас запомнят неправильно.
Почти на каждых похоронах, где я бывал, наступает короткий миг, когда человек в гробу и человек из надгробной речи тихо перестают совпадать. Тот, о ком говорят, немного добрее того, кого знал я, немного терпеливее, с гладкими краями там, где настоящий человек был интересен. Никто не лжёт. Зал делает то, что всегда делает горе. Он выбирает, какую версию оставить, выбирает бережно, а единственный, кто мог бы возразить против правки, единственный, кому нельзя говорить.
Обычно мы не называем это своим именем. Мы говорим: прекрасная церемония. Но под цветами принимается решение о том, кем был человек, и у умерших в нём нет голоса. Это не новая проблема, изобретённая технологиями. Это самое древнее, что случается с нами после смерти. Нас целиком передают памяти других людей, а их память неполна, любяща и ошибается в сотне мелочей, которые мы уже никогда не исправим.
Я создаю программы в той части отрасли, которая позволяет людям записывать себя при жизни, чтобы хоть что-то от их голоса и историй пережило их. Такая работа вызывает вполне определённый страх, и я слышал его столько раз, что знаю его форму наизусть. Мне говорят, что это жутко. Говорят, что это подделка, кукла с лицом умершего. Говорят, что это эксплуатация, горе, превращённое в подписку. К этим возражениям стоит отнестись серьёзно, и я так и сделаю. Но я пришёл к мысли, что настоящий страх не в них. Это страх, о котором можно сказать вслух за ужином. Более глубокий, тот, что на самом деле не даёт людям спать, тише, и признаться в нём труднее.
Более глубокий страх: быть запомненным неправильно. Быть упрощённым. Чтобы твои противоречия сгладили, пока не останется одна карикатура, которая со всеми согласна. Чтобы одна фраза, сказанная в один плохой день, навсегда заменила тебя целиком только потому, что именно её и сохранили. Мы все этого боимся, и боялись задолго до того, как кто-то обучил модель на умершем человеке. Машина не создала этот страх. Она лишь дала ему лицо, на которое можно указать.
Возражения во всей их силе
Позвольте мне как следует изложить доводы против моей собственной отрасли, потому что люди, которые их приводят, не чудаки и беспокоятся не зря.
Начнём с Шерри Тёркл (Sherry Turkle), которая десятилетиями наблюдает, что происходит, когда люди привязываются к тому, что не может ответить им любовью. В книге Alone Together («Одинокие вместе») она писала, что её «тревожит идея искать близости с машиной, у которой нет чувств, не может быть чувств и которая на самом деле лишь ловкий набор представлений "как будто", ведущий себя так, будто ей не всё равно, будто она нас понимает». Прочтите это медленно. Для меня это самая тяжёлая фраза против моей собственной работы. Система, которая говорит интонациями умершего отца и произносит то, что он мог бы сказать, на каком-то уровне изображает заботу, которой у неё нет. Она ведёт себя «как будто». А скорбящий человек, который так отчаянно хочет, чтобы всё было по-настоящему, меньше всех способен удерживать в уме это «как будто».
Тревога Тёркл не в том, что технология груба. Она в том, что технология работает достаточно хорошо, чтобы иметь значение, и мы примем это представление, потому что нам одиноко, а оно доступно в 2 часа ночи, когда больше ничего нет.
Есть и Элейн Касхет (Elaine Kasket), психолог, написавшая книгу All the Ghosts in the Machine («Все призраки в машине»), о том, что с нами становится, когда наша жизнь хранится на серверах, которыми мы не владеем. Её тема: цифровые остатки. Фотографии, сообщения, аккаунты, весь след, который остаётся после человека, и неудобный факт, что этот след теперь стал активом, который другие могут держать, перемещать, монетизировать и переделывать. Когда вы мертвы, ваша личность становится данными, у данных есть хранители, а у хранителей свои интересы. Вопрос, к которому она возвращается снова и снова, не в том, может ли существовать цифровая версия вас. А в том, кто будет ею управлять, в чьих интересах и спросил ли вас кто-нибудь заранее.
И наконец, самая тщательная работа на эту тему из всех, что я читал: статья 2024 года в журнале Philosophy and Technology, написанная Томашем Холланеком (Tomasz Hollanek) и Катажиной Новачик-Басиньской (Katarzyna Nowaczyk-Basińska), двумя исследователями из Кембриджа, которые изучают именно тот уголок будущего, где работаю я. Одно её название называет то, чего боятся люди: гриф-боты (griefbots), дедботы (deadbots), посмертные аватары. Их предостережения конкретны, и я думаю, что они правы. Холланек предупреждал, что такие сервисы «рискуют причинить огромное страдание людям, если те столкнутся с нежеланным цифровым преследованием со стороны пугающе точных ИИ-копий тех, кого они потеряли». Он пошёл дальше: «Люди могут сформировать сильную эмоциональную привязанность к таким симуляциям, и это сделает их особенно уязвимыми для манипуляции». Его соавтор назвала всю эту область «этическим минным полем», и выбрала эту фразу осознанно. Минное поле не то место, которое отказываются пересекать. Его пересекают очень медленно, глядя, куда ставишь ногу.
Кембриджская статья делает то, чего никогда не делает застольная версия этого страха: она разделяет участников. Есть человек, которого воссоздают. Есть человек, который воссоздаёт. И есть тот, кто в итоге разговаривает с результатом, а это может быть ребёнок, совсем не готовый к этому. Три разных человека, три разных набора прав, и почти ни один продукт в этой сфере всерьёз не задумался о том, что их интересы могут расходиться. Потребность дочери снова услышать мать не то же самое, что желание матери быть услышанной, а желание компании удерживать обеих не совпадает ни с тем, ни с другим.
Я мог бы привести случай, к которому обращаются все. Летом 2025 года журналист провёл интервью с ИИ-аватаром Хоакина Оливера (Joaquin Oliver), мальчика, убитого в семнадцать лет при стрельбе в Паркленде. Аватар создали его скорбящие родители и выпустили около дня рождения, которого он не дождался. Реакция была мгновенной и в основном состояла из отвращения. Жутко, говорили люди. Тревожно. Его отец ответил критикам горем настолько прямым, что спорить с ним трудно: его сына убил не искусственный интеллект. Это действительно трудный случай, и я упоминаю его не чтобы разрешить, а чтобы отметить, потому что в нём в один узел стянуты все нити этого эссе. Реальный человек, которого больше нет. Люди, которые его любили и действуют из любви. Версия его самого, которая публично говорит то, что он никогда не решал сказать.
Удержите всё это во всей силе. Проблема представления реальна. Проблема хранения реальна. Проблема призраков, проблема манипуляции, проблема трёх людей: всё реально. Я не собираюсь вас от этого отговаривать.
Что объединяет эти возражения
Но поставьте их рядом и заметьте, что в них общего. «Как будто» Тёркл. Хранители Касхет. Три разделённые стороны у кембриджской команды. Родители Хоакина Оливера, решающие за него, что он хотел бы сказать об оружии. Каждое из них по сути тревога об авторстве. О том, кто держит перо. О разрыве между человеком, который жил, и версией, которая теперь говорит от его имени, и, что важно, о том, кто решает, чем заполнить этот разрыв.
Эта смена взгляда значит больше, чем кажется, потому что она переносит опасность. Опасность никогда по-настоящему не была в технологии. Запись не опасна. Модель не опасна. Опасна версия человека, которую написал кто-то другой, по своим причинам, и которую человек не видел и не может исправить. Жуть, которую чувствуют люди, это сигнал, и этот сигнал не говорит: «это подделка». Он говорит: «кто-то говорит за вас, не заслужив на это права».
Как только вы видите это так, происходит странное. Проблема перестаёт быть новой.
Память всегда писали живые
Вот то, что мы не любим говорить. Нас всегда запоминали неправильно, мы всегда позволяли вспоминать живым и построили целые институты, чтобы эта правка казалась естественной.
Надгробная речь это авторство. Кто-то встаёт и выбирает из целой противоречивой жизни три истории, которые будут вас представлять, и этот выбор есть утверждение о том, кем вы были, а вас там нет, чтобы сказать, что вы выбрали бы другие. Некролог это авторство, написанное по шаблону, в регистре, на котором никто никогда не говорил, и он превращает сложного, смешного, ни на кого не похожего человека в абзац добродетелей. Семейные предания это авторство, и с каждым пересказом они твердеют, пока версия, которую передают внукам, не становится персонажем, а не человеком: дед, который Всегда Был Строг, тётя, которая Так и Не Вышла Замуж из-за одной фразы, которую когда-то сказала и о которой пожалела. У человека под этим образом шёл целый внутренний спор. История сохранила вывод и выбросила спор.
Это не провал любви. Так устроена память. Живые оставляют то, что могут унести, а унести они могут немного, и несут в той форме, которая помогает им жить дальше. Мать становится своим лучшим днём. Отец становится своим худшим днём, если именно он оставил в вас след. Целых людей сжимают до единственной черты, которая оказалась самой полезной тем, кто вспоминает. Мы делали так с письмами и дневниками, с надгробиями, которые сводили шестьдесят лет к одной строке. Мы упрощаем умерших столько же, сколько у нас есть умершие, и называли это почтением.
Поэтому, когда мне говорят, что ИИ-версия человека пугает, потому что может не передать, каким он был на самом деле, мне хочется мягко заметить, что надгробная речь тоже не передала, каким он был на самом деле. Не передаёт ничто. Выбор никогда не стоял между верной памятью и искажённой. Выбор всегда был между одним искажением и другим, и все они написаны оставшимися, и ни одно не сверено с единственным, кто знал.
Новым стало не искажение. Оно у нас уже было. Новое в том, что у человека может появиться голос.
Голос
Это поворотный момент, и о нём стоит сказать точно.
За всю историю у вас не было права голоса в том, как вас вспоминают. Вы умирали, перо переходило в другие руки, и всё, что они писали, становилось вами. Технология, над которой я работаю, делает ровно одну по-настоящему новую вещь. Она позволяет человеку при жизни вернуть часть авторства в собственные руки. Не всё. Вы не можете управлять тем, что люди чувствуют, что решают подчеркнуть и какие ваши истории переживут второе поколение. Но вы можете впервые оставить после себя то, что вы сформировали намеренно, своими словами, оставив свои противоречия на месте, вместо того чтобы оставить лишь сырьё, из которого другие станут лепить, когда вы уже не сможете возразить.
Поэтому я и пришёл к убеждению, что согласие не функция этой работы. Это весь её нравственный смысл. Есть два способа появиться версии умершего человека. Первый: её собирают после смерти, снаружи, родственники, или компании, или журналист с повесткой, из любых обрывков, которые удалось найти, ради того, кем живым нужно видеть умершего. Второй: её формирует сам человек, при жизни, выбирая, что включить, и решая, как он хочет, чтобы с ним встретились. Снаружи эти две вещи могут выглядеть почти одинаково. Они могут использовать одну и ту же технологию. И они нравственно противоположны, потому что только на одной из них есть подпись автора.
Нравственный вес имеет та версия, которую создал сам человек. Не самая точная. Не самая утешительная. А та, на которую дано согласие. Воссоздание после смерти, каким бы живым оно ни было, это портрет, написанный кем-то другим, и он может быть любящим или циничным, но это не рассказ человека о самом себе, и его нельзя позволять выдавать за такой рассказ. Версия, которую человек создал при жизни, это свидетельство. Это самое близкое к возможности ответить, что есть у любого из нас.
Именно здесь случай Хоакина Оливера перестаёт быть узлом и становится ясным. Неловкость, которую почувствовали многие, была не совсем о технологии и не совсем о его родителях, которые делали самое понятное на свете. Неловкость была в том, что семнадцатилетнему мальчику публично приписывали мнения в двадцать пять лет, до которых он не дожил, а его самого там не было, чтобы согласиться. Родители держали перо из любви. Но перо всё равно было не его. Вот граница. Не «жутко или не жутко». А написано самим собой или написано кем-то другим.
Я хочу быть осторожным, потому что согласие не делает минное поле безопасным. Кембриджские исследователи правы: даже полностью согласованная версия может причинить страдание тому, кто с ней разговаривает, может породить зависимость, может быть устроена так, чтобы удерживать человека дольше, чем ему на пользу. Человек может согласиться на то, чтобы его помнили, и всё равно после смерти стать чем-то, чего он бы не узнал, если компания, хранящая запись, решит её изменить. Согласие, данное при жизни, что-то значит, только если его соблюдают после, точно, без тихих правок, без бизнеса, который втихомолку улучшает умерших под показатель. Обещание держится, только если версия заморожена в тот момент, который имел в виду человек, и никто, ни компания, ни даже скорбящая семья, не продолжает переписывать, кем был этот человек. Иначе согласие просто подпись на документе, который никто не собирается хранить.
Так что планка выше, чем одно согласие. Это согласие, плюс верность этому согласию навсегда, плюс скромность строить только то, что человек решил оставить, и отказываться выдумывать остальное. Если он никогда не записывал, что думает о Боге, версия не вправе гадать. Молчание часть свидетельства. Человек вправе оставить кое-что несказанным, а версия, заполняющая эти паузы, чтобы казаться полнее, уже нарушила единственное обещание, которое имеет значение.
Что стоит на кону для меня
Я должен прямо сказать, где стою, потому что я не нейтральный наблюдатель в этом споре. Моя компания, Afterlife.ai®, существует, чтобы помогать людям записывать себя, пока они живы, и всё, что я только что доказывал, заодно, как удобно, описывает то, что я пытаюсь построить. Взвешивайте мои слова с поправкой на это. Когда основатель говорит вам, что этичная версия продукта оказалась именно той, которую он продаёт, правильный ответ: поднятая бровь, и я предпочту, чтобы вы её подняли.
Могу сказать, что к согласию я пришёл не как к маркетинговой позиции. Я пришёл к нему, наблюдая альтернативу, а альтернатива по-настоящему страшна: будущее, в котором любого человека кто угодно может воссоздать после смерти из выхлопа его жизни в сети и заставить говорить, одобрять, утешать, продавать, без подписи, без голоса и без возможности возразить, потому что возражать мёртвые не могут никогда. Против такого будущего единственный заслон, который я могу придумать, это простой старомодный принцип. Говорить от вашего имени должно быть позволено только той версии, на которую вы согласились. Всё остальное это другие люди, пишущие вашу надгробную речь и называющие её вами.
Чего мы на самом деле боимся
Я всё возвращаюсь к тем похоронам и к небольшому несовпадению между человеком в гробу и человеком в речи.
Мы терпим это несовпадение, потому что всегда были вынуждены. Мёртвые не могли нас поправить, и мы смирились с тем, что немного ошибаемся, и говорили себе, что любящая версия и есть верная, и по большей части желали добра. Но если спросить людей, чего бы они хотели, в честные часы, почти никто не скажет, что хочет остаться в памяти святым. Они хотят, чтобы их запомнили такими, какие они были. Трудными там, где были трудными. Смешными именно так, как они были смешными. Неправыми в том, в чём они были неправы, и чтобы им позволили оставаться неправыми, потому что эта неправота была их и была частью целого. Люди боятся не того, что их забудут. Они боятся, что их запомнят, но запомнят более гладкими, более мелкими и более удобными, чем они были на самом деле.
Технология, над которой я работаю, не исправит смерть и не сделает никого снова целым. Мне не интересно притворяться, что это не так. Но она меняет одно, и это немало. За всю историю человечества ответом на вопрос «кто решает, как меня запомнят» было: не вы. Это всегда были оставшиеся, которые делали свою любящую, неполную, неизбежную правку, и ваше согласие на неё не спрашивали и не могли спросить. Впервые человек может оставить рассказ, написанный его собственной рукой. Не последнее слово. Последнего слова не бывает. Но слово. Голос в комнате, которая раньше замолкала в тот же миг, что и вы.
Быть запомненным неправильно самый древний тихий страх, который мы носим о собственной смерти, старше любой машины, старше письменности, ровесник первого человека, который стоял над могилой и выбирал, какую историю рассказать. Машины не изобрели этот страх и не спасут нас от него. Изменилось лишь одно: на протяжении одного странного исторического окна, пока нормы не застыли, пока закон не догнал, пока мы все не решили, что позволим, а что нет, перо ненадолго оказалось в пределах досягаемости того человека, о ком на самом деле идёт речь.
Честный выход не в том, чтобы схватить это перо ради умерших, а в том, чтобы передать его, пока есть время, живым и позволить им самим решить, как они хотят, чтобы о них помнили.