Най-старият страх от умирането не е да бъдем забравени. А да бъдем запомнени погрешно.
На почти всяко погребение, на което съм присъствал, има един малък миг, в който човекът в ковчега и човекът в погребалната реч тихо престават да си приличат. Описваният е малко по-добър от този, когото познавах, малко по-търпелив, заглазден по ръбовете, там където истинският човек е бил интересен. Никой не лъже. Залата прави онова, което винаги прави скръбта. Избира коя версия да запази, избира нежно, а единственият човек, който може да възрази срещу редакцията, е единственият, на когото не е позволено да говори.
Обикновено не наричаме това с истинското му име. Наричаме го хубава церемония. Но под цветята се взема решение за това кой е бил човекът, а мъртвите нямат глас в него. Това не е нов проблем, измислен от технологиите. Това е най-старото нещо, което ни се случва, след като умрем. Предават ни цялостно на паметта на други хора, а тяхната памет е непълна, обичаща и погрешна в сто малки неща, които никога няма да имаме възможност да поправим.
Създавам софтуер в онази част от индустрията, която позволява на хората да записват себе си, докато са живи, така че нещо от гласа и историите им да ги надживее. Тази работа привлича един съвсем определен страх и вече съм го чувал толкова пъти, че знам формата му наизуст. Хората ми казват, че е зловещо. Казват ми, че е фалшиво, кукла с лицето на мъртвия. Казват ми, че е експлоатация, скръб, превърната в абонамент. Тези възражения заслужават да бъдат взети на сериозно и аз ще го направя. Но започнах да мисля, че те не са истинският страх. Те са страхът, който хората могат да изкажат на глас на вечеря с гости. По-дълбокият, онзи, който наистина не ги оставя да спят, е по-тих и по-трудно се признава.
По-дълбокият страх е да бъдеш запомнен погрешно. Да бъдеш сплескан. Противоречията ти да бъдат заглаждани, докато не остане нищо освен карикатура, която се съгласява с всички. Едно изречение, казано в един лош ден, да представлява цялото ти същество завинаги, само защото то е било запазеното. Всички се страхуваме от това и сме се страхували много преди някой да обучи модел върху мъртъв човек. Машината не създаде този страх. Само му даде лице, към което да сочим.
Възраженията в пълната им сила
Нека изградя както трябва аргумента срещу собствената си индустрия, защото хората, които го издигат, не са чудаци и не грешат, като се тревожат.
Да започнем със Sherry Turkle, която десетилетия наред наблюдава какво се случва, когато хората се привързват към неща, които не могат да им отвърнат с обич. В Alone Together тя пише, че е „обезпокоена от идеята да търсим близост с машина, която няма чувства, не може да има чувства и всъщност е просто умела колекция от изпълнения ‚като че ли‘, държащи се така, сякаш я е грижа, сякаш ни разбира“. Прочетете го бавно. Това е най-тежкото изречение, което знам, срещу собствената ми работа. Система, която говори с интонациите на мъртъв баща и казва неща, които той би могъл да каже, до известна степен изпълнява грижа, каквато няма. Държи се така, сякаш. А скърбящият човек, който толкова силно иска това да е истина, е точно човекът, който най-трудно може да държи в ума си това „като че ли“.
Тревогата на Turkle не е, че технологията е груба. А че работи достатъчно добре, за да има значение, и че ще приемем изпълнението, защото сме самотни, а то е на разположение в 2 ч. през нощта, когато нищо друго не е.
После е Elaine Kasket, психоложката, написала All the Ghosts in the Machine, книга за това какво става с нас, когато животът ни се съхранява на сървъри, които не притежаваме. Темата ѝ са дигиталните останки: снимките, съобщенията, акаунтите, всичко, което човек оставя след себе си, и неудобният факт, че тези останки вече са актив, който други хора могат да държат, местят, монетизират и преобразяват. След като умреш, твоето аз са данни, данните си имат пазители, а пазителите имат собствени интереси. Въпросът, към който тя непрекъснато се връща, не е дали може да съществува дигитална версия на теб. А кой има право да я управлява, в чий интерес и дали някой те е попитал първо.
И накрая е най-внимателната работа по темата, която съм чел: статия от 2024 г. във Philosophy and Technology от Tomasz Hollanek и Katarzyna Nowaczyk-Basińska, двама изследователи от Кеймбридж, които изучават точно онзи ъгъл на бъдещето, в който работя аз. Самото заглавие назовава нещата, от които хората се страхуват: ботове на скръбта (griefbots), ботове на мъртвите (deadbots), посмъртни аватари. Предупрежденията им са конкретни и мисля, че са прави. Hollanek предупреждава, че тези услуги „рискуват да причинят огромно страдание на хората, ако са подложени на нежелани дигитални призраци от тревожно точни ИИ пресъздавания на тези, които са загубили“. Той отива по-далеч: „Хората може да изградят силни емоционални връзки с подобни симулации, което ги прави особено уязвими към манипулация.“ Съавторката му нарече цялата област „етично минно поле“ и избра тази фраза внимателно. Минното поле не е място, което отказваш да прекосиш. То е място, което прекосяваш много бавно, внимавайки къде стъпваш.
Онова, което статията от Кеймбридж прави и което вариантът на страха от вечерята никога не прави, е да разграничи участващите. Има човек, който се пресъздава. Има човек, който го пресъздава. И има този, който в крайна сметка говори с резултата, който може да е дете, който може да е далеч от готовност. Трима различни души, три различни набора от права, и почти никой от продуктите в тази област не е помислил сериозно, че те могат да се разминат. Нуждата на една дъщеря да чуе отново майка си не е същото като желанието на майката да бъде чута, а желанието на една компания да задържи и двете ангажирани не е същото като нито едното от тях.
Бих могъл да добавя случая, към който всички посягат. Лятото на 2025 г. един журналист проведе интервю с ИИ аватар на Joaquin Oliver, момче, убито на 17 години при стрелбата в Паркланд, създаден от скърбящите му родители и пуснат около рождения ден, който той никога не получи. Реакцията беше мигновена и предимно погнуса. Зловещо, казваха хората. Смущаващо. Баща му отговори на критиците със скръб, толкова директна, че беше трудно да се спори с нея: изкуственият интелект не е убил сина му. Това е наистина труден случай и го повдигам не за да го разреша, а за да го отбележа, защото той държи всички нишки на това есе в един възел. Истински човек, който го няма. Хора, които са го обичали и действат от обич. Версия на него, която казва неща, публично, които той никога не е могъл да реши, че ще каже.
Дръжте всичко това в пълната му сила. Проблемът с изпълнението е реален. Проблемът с пазителите е реален. Проблемът с призраците, проблемът с манипулацията, проблемът с тримата души, всички са реални. Няма да се опитвам да ви разубедя за нито един от тях.
Какво е общото между възраженията
Но ги наредете един до друг и вижте какво всъщност споделят. „Като че ли“ на Turkle. Пазителите на Kasket. Тримата разграничени участници на екипа от Кеймбридж. Родителите на Joaquin Oliver, които решават от негово име какво би искал да се каже за оръжията. Всяко от тях по същество е тревога за авторството. За това кой държи перото. За пропастта между човека, който е живял, и версията, която сега говори от негово име, и, което е решаващо, за това кой решава какво изпълва тази пропаст.
Това преформулиране значи повече, отколкото изглежда, защото премества опасността. Опасността никога не е била всъщност технологията. Един запис не е опасен. Един модел не е опасен. Опасна е версия на човек, която някой друг е сътворил, по свои причини, която човекът никога не е видял и не може да поправи. Зловещото усещане е сигнал, а сигналът не е „това е фалшиво“. Сигналът е „някой говори вместо теб, без да е заслужил това право“.
Щом го видите така, се случва странно нещо. Проблемът престава да бъде нов.
Паметта винаги е била писана от живите
Ето онова, което не обичаме да казваме. Винаги са ни запомняли погрешно, винаги сме оставяли живите да помнят и сме изградили цели институции, за да изглежда редактирането естествено.
Погребалната реч е авторство. Някой става и избира от един цял противоречив живот трите истории, които ще те представят, а изборът е аргумент за това кой си бил, и ти не си там, за да кажеш, че би избрал други истории. Некрологът е авторство, писан по шаблон, в регистър, на който никой всъщност не е говорил, и превръща труден, смешен, конкретен човек в абзац от добродетели. Семейните истории са авторство и се втвърдяват с всяко преразказване, докато версията, предавана на внуците, се превърне в персонаж, а не в човек: дядото, който е Винаги Строг, лелята, която Никога Не Се Е Омъжвала заради едно изречение, което някога е казала и за което е съжалявала. Човекът отдолу е водел цял вътрешен спор. Историята е запазила заключението и е изхвърлила спора.
Това не е провал на любовта. Това е механиката на паметта. Живите запазват онова, което могат да носят, а то е малко, и го носят във формата, която им помага да продължат да живеят. Майката става най-добрият си ден. Бащата става най-лошия си, ако най-лошият му е този, който е оставил следа у теб. Цели хора се свиват до единствената черта, която е била най-полезна за хората, които помнят. Правили сме го с писма и дневници, и с надгробни плочи, които свеждат шейсет години до един ред. Сплесквали сме мъртвите, откакто имаме мъртви, и сме го наричали почит.
Затова, когато някой ми каже, че ИИ версията на човек е плашеща, защото може да не улови кой е бил той наистина, искам нежно да посоча, че погребалната реч също не е уловила кой е бил наистина. Нищо не го улавя. Изборът никога не е бил между вярна и изкривена памет. Изборът винаги е бил между едно изкривяване и друго, всички създадени от хората, които остават, нито едно проверено от единствения човек, който е знаел.
Наистина новото не е изкривяването. Него си го имахме. Новото е, че човекът може да получи глас.
Правото на глас
Това е ключовата точка и си струва да бъдем точни.
През цялата история не си имал думата за собственото си запомняне. Умирал си, перото преминавало в други ръце и каквото те напишели, това ставало ти. Технологията, върху която работя, прави точно едно нещо, което е наистина ново. Позволява на човек, докато е жив, да върне част от авторството в собствените си ръце. Не цялото. Не можеш да контролираш какво чувстват хората, нито какво избират да подчертаят, нито кои от историите ти ще оцелеят до второто поколение. Но можеш, за първи път, да оставиш нещо, което си оформил нарочно, със собствени думи, със собствените си противоречия вътре, вместо да оставиш само суровия материал, който други да оформят, когато вече не можеш да възразиш.
Затова започнах да вярвам, че съгласието не е функция на тази работа. То е цялата морална разлика. Има два начина, по които може да се появи версия на мъртъв човек. Единият е сглобена след смъртта, отвън, от роднини или компании или журналист със скрит интерес, от каквито и фрагменти успеят да съберат, в услуга на онова, което живите имат нужда мъртвият да бъде. Другият е оформена от самия човек, докато е жив, като избира какво да включи и решава как иска да бъде срещнат. Тези две неща могат да изглеждат почти еднакви отвън. Могат да използват една и съща технология. И са морално противоположни, защото само едното носи подписа на автора.
Версията с морален авторитет е тази, която човекът е направил. Не най-точната. Не най-утешителната. Тази, за която има съгласие. Пресъздаването, направено след смъртта, колкото и да е правдоподобно, е портрет, нарисуван от някой друг, може да е любящ или цинично портрет, но не е собственият разказ на човека за себе си и никога не бива да му се позволява да минава за такъв. Версията, която човекът е изградил, докато е бил жив, е свидетелство. Това е най-близкото до възможността да отговорим, което всеки от нас някога ще има.
Тук случаят с Joaquin Oliver престава да бъде възел и става поучителен. Неудобството, което толкова хора почувстваха, не беше всъщност за технологията и не беше всъщност за родителите му, които правеха най-разбираемото нещо на света. Неудобството беше, че на момче на 17 години се дават мнения, публично, на възраст 25 години, до която той никога не стигна, и той не беше там, за да се съгласи. Родителите му държаха перото от любов. Но перото все пак не беше негово. Това е границата. Не зловещо или не зловещо. Написано от самия човек или написано от някой друг.
Искам да бъда внимателен тук, защото съгласието не прави минното поле безопасно. Изследователите от Кеймбридж са прави, че дори напълно съгласувана версия може да наскърби човека, който говори с нея, може да насърчи зависимост, може да бъде изградена така, че да задържа някого ангажиран отвъд точката, която е добра за него. Човек може да се съгласи да бъде запомнен и все пак след смъртта да бъде превърнат в нещо, което не би разпознал, ако компанията, която държи записа, реши да го промени. Съгласието, дадено приживе, означава нещо само ако бъде спазено после, точно, без тихи редакции, без бизнес, който тихо подобрява мъртвите, за да отговарят на някаква метрика. Обещанието важи само ако версията е замразена в момента, в който човекът го е имал предвид, и никой, нито компанията, нито дори скърбящото семейство, няма право да продължава да редактира кой е бил някой. Иначе съгласието е просто подпис върху документ, който никой не възнамерява да спази.
Така че стандартът е по-висок от самото съгласие. Това е съгласие, плюс вярност към това съгласие завинаги, плюс смирението да се изгради само онова, което човекът е избрал да остави, и да се откаже измислянето на останалото. Ако никога не е записал какво мисли за Бога, версията няма право да налучква. Мълчанието е част от свидетелството. На човека е позволено да е оставил някои неща неизказани, а версия, която запълва тези мълчания, за да изглежда по-пълна, вече е нарушила единственото обещание, което има значение.
Моят личен интерес, когато го казвам
Трябва да бъда откровен къде стоя, защото не съм неутрален наблюдател в този спор. Моята компания, Afterlife.ai®, съществува, за да помага на хората да записват себе си, докато са живи, а всичко, което току-що аргументирах, е също, удобно, описание на това, което се опитвам да изградя. Трябва да претеглите казаното от мен според това. Когато основател ви казва, че етичната версия на продукта случайно е версията, която продава, правилният отговор е вдигната вежда и предпочитам да я вдигнете, отколкото да не го направите.
Мога да ви кажа, че не стигнах до съгласието като до маркетингова позиция. Стигнах до него, като наблюдавах алтернативата, а алтернативата е наистина страшна: бъдеще, в което всеки може да бъде реконструиран от всеки, след смъртта, от остатъците от онлайн живота му, и да бъде накаран да казва неща, да одобрява неща, да утешава хора, да продава неща, без подпис и без глас и без начин мъртвите да възразят, защото възразяването е единственото, което мъртвите никога не могат да правят. Срещу това бъдеще единствената защитна стена, за която се сещам, е прост, старомоден принцип. Единствената версия на теб, на която трябва да се позволява да говори от твое име, е тази, с която си се съгласил. Всичко останало са други хора, които пишат твоята погребална реч и я наричат теб.
От какво всъщност се страхуваме
Продължавам да се връщам към онези погребения и малкото разминаване между човека в ковчега и човека в речта.
Търпим това разминаване, защото винаги сме трябвало. Мъртвите не можеха да ни поправят, затова се примирихме с това да ги описваме малко погрешно и си казахме, че любящата версия е вярната, и най-вече имахме добри намерения. Но ако попитате хората какво искат, в честните часове, почти никой не казва, че иска да го помнят като светец. Искат да ги помнят като себе си. Трудни там, където са били трудни. Смешни по онзи специфичен начин, по който са били смешни. Грешащи за нещата, за които са грешали, и с позволение да продължават да грешат, защото грешката е била тяхна и част от цялото. Хората не се страхуват да бъдат забравени. Страхуват се да бъдат запомнени, но запомнени като някой по-гладък, по-дребен и по-лесен, отколкото са били в действителност.
Технологията, върху която работя, няма да поправи смъртта и не може да направи никого отново цял. Нямам интерес да се преструвам на друго. Но тя променя едно нещо и то не е малко. През цялата човешка история отговорът на „кой решава как ще бъда запомнен“ беше: не ти. Винаги щяха да бъдат хората, които остават, със своето любящо, непълно, неизбежно редактиране, като твоето съгласие нито се иска, нито е възможно. За първи път човекът може да остави разказ със собствената си ръка. Не последната дума. Няма последна дума. Но дума. Глас в стаята, която преди замлъкваше в мига, в който замлъкваше ти.
Да бъдеш запомнен погрешно е най-старият тих страх, който носим за собствената си смърт, по-стар от всяка машина, по-стар от писмеността, стар колкото първия човек, застанал над гроб и избрал коя история да разкаже. Машините не измислиха този страх и няма да ни спасят от него. Променило се е само това: за времето на един странен исторически прозорец, преди нормите да се втвърдят и законът да настигне и всички да решим какво ще позволим и какво не, перото е за кратко в обсега на човека, за когото всъщност става дума.
Честното нещо е да не го грабваме за мъртвите. А да го подадем, докато има време, на живите и да ги оставим сами да решат как искат да бъдат съхранени.