Nejstarší strach z umírání není zapomnění. Je to strach, že si nás budou pamatovat špatně.
Skoro na každém pohřbu, kterého jsem se zúčastnil, nastane malý okamžik, kdy se člověk v rakvi a člověk v smuteční řeči tiše přestanou shodovat. Ten, o kterém se mluví, je o trochu laskavější než ten, kterého jsem znal, o trochu trpělivější, obroušený tam, kde byl skutečný člověk zajímavý. Nikdo nelže. Místnost dělá to, co smutek dělá vždycky. Vybírá, kterou verzi si ponechat, vybírá jemně, a jediný člověk, který by mohl proti té úpravě namítat, je jediný, kdo nesmí promluvit.
Obvykle to nenazýváme pravým jménem. Říkáme tomu hezký obřad. Ale pod květinami se rozhoduje o tom, kým někdo byl, a mrtví při tom nemají hlas. Není to nový problém, který vymyslela technologie. Je to nejstarší věc, která se nám po smrti děje. Jsme celí předáni do paměti jiných lidí, a jejich paměť je neúplná, láskyplná a ve stovkách drobností nepřesná, což už nikdy nebudeme moci napravit.
Vyvíjím software v oblasti, která lidem umožňuje nahrát se, dokud žijí, aby z jejich hlasu a příběhů něco přežilo. Taková práce vyvolává velmi konkrétní strach a slyšel jsem ho už tolikrát, že znám jeho podobu zpaměti. Lidé mi říkají, že je to děsivé. Říkají mi, že je to falešné, loutka s tváří mrtvého. Říkají mi, že je to vykořisťování, smutek proměněný v předplatné. Tyto námitky stojí za to brát vážně a budu je tak brát. Ale došel jsem k názoru, že to není ten skutečný strach. Je to strach, který lidé dokážou vyslovit nahlas na večírku. Ten hlubší, který lidem opravdu nedá spát, je tišší a hůř se přiznává.
Hlubší strach je, že si nás budou pamatovat špatně. Že nás zploští. Že naše rozpory vyhladí, až nezbyde nic než karikatura, která souhlasí se všemi. Že jedna věta, kterou jsme řekli v jeden špatný den, bude navždy zastupovat celého nás, protože to byla ta věta, která se uložila. Všichni se toho bojíme a bojíme se toho dávno předtím, než kdokoli natrénoval model na mrtvém člověku. Stroj ten strach nevytvořil. Jen mu dal tvář, na kterou lze ukázat.
Námitky v plné síle
Dovolte, abych proti vlastnímu oboru vystoupil pořádně, protože lidé, kteří tyto námitky vznášejí, nejsou podivíni a mají právo se obávat.
Začněme u Sherry Turkle, která desítky let sleduje, co se děje, když si lidé vytvoří citové pouto k věcem, které jim lásku vrátit nemohou. V knize Alone Together napsala, že ji „znepokojuje myšlenka hledat blízkost se strojem, který nemá city, nemůže mít city a je ve skutečnosti jen chytrou sbírkou představení ‚jako by‘, chovajících se, jako by mu na nás záleželo, jako by nám rozuměl.“ Čtěte to pomalu. Je to nejtvrdší věta proti mé vlastní práci, jakou znám. Systém, který mluví s intonací mrtvého otce a říká věci, které by mohl říct, v jistém smyslu předvádí péči, kterou nemá. Chová se jako by. A truchlící člověk, který si tak moc přeje, aby to bylo skutečné, je přesně ten, kdo je nejméně schopen mít to „jako by“ stále na mysli.
Turkle se nebojí toho, že je technologie primitivní. Bojí se, že funguje dost dobře na to, aby na tom záleželo, a že to představení přijmeme, protože jsme osamělí a ono je k dispozici ve 2 ráno, kdy nic jiného není.
Pak je tu Elaine Kasket, psycholožka, která napsala All the Ghosts in the Machine, knihu o tom, co se s námi stane, když je náš život uložen na serverech, které nevlastníme. Jejím tématem jsou digitální pozůstatky: fotografie, zprávy, účty, všechno, co po sobě člověk zanechá, a nepříjemná skutečnost, že tyto pozůstatky jsou dnes majetek, který mohou jiní držet, přesouvat, zpeněžit a přetvářet. Až zemřete, je vaše já jen data, data mají správce a správci mají vlastní zájmy. Otázka, ke které se stále vrací, není, zda může existovat digitální verze vás. Je to, kdo ji smí provozovat, v zájmu koho, a zda se vás na to někdo předtím zeptal.
A pak je tu nejpečlivější práce, jakou jsem na toto téma četl: studie z roku 2024 v časopise Philosophy and Technology od Tomasze Hollaneka a Katarzyny Nowaczyk-Basińské, dvou výzkumníků z Cambridge, kteří studují přesně ten kout budoucnosti, v němž pracuji já. Už jejich název pojmenovává to, čeho se lidé bojí: griefboti, deadboti, posmrtné avatary. Jejich varování jsou konkrétní a myslím, že mají pravdu. Hollanek upozornil, že tyto služby „riskují, že způsobí lidem obrovské strádání, budou-li vystaveni nechtěnému digitálnímu strašení od znepokojivě přesných AI napodobenin těch, které ztratili.“ Šel ještě dál: „Lidé si k takovým simulacím mohou vytvořit silná citová pouta, a proto budou obzvlášť snadno zranitelní vůči manipulaci.“ Jeho spoluautorka celou oblast nazvala „etickým minovým polem“ a ten výraz volila pečlivě. Minové pole není místo, které odmítnete přejít. Je to místo, které přecházíte velmi pomalu a sledujete, kam došlapujete.
To, co cambridgeská studie dělá a co večírková verze strachu nikdy, je, že odlišuje zúčastněné lidi. Je tu člověk, který je znovu vytvářen. Je tu člověk, který ho znovu vytváří. A je tu ten, kdo nakonec s výsledkem mluví, kdo může být dítě, kdo může být zdaleka nepřipravený. Tři různí lidé, tři různé soubory práv, a téměř žádný z produktů v tomto oboru se vážně nezamyslel nad tím, že se mohou rozejít. Potřeba dcery slyšet znovu svou matku není totéž co přání její matky být slyšena a přání firmy udržet obě zapojené není totéž co ani jedno z nich.
Mohl bych přidat případ, po kterém sahá každý. V létě 2025 vedl novinář rozhovor s AI avatarem Joaquina Olivera, chlapce zabitého v sedmnácti letech při střelbě v Parklandu, kterého vytvořili jeho truchlící rodiče a zveřejnili kolem narozenin, které se nedočkal. Reakce byla okamžitá a převážně znechucená. Příšerné, říkali lidé. Znepokojivé. Jeho otec kritikům odpověděl smutkem tak přímým, že se mu těžko oponovalo: umělá inteligence jeho syna nezabila. Je to skutečně těžký případ a zmiňuji ho ne proto, abych ho rozřešil, ale abych ho označil, protože drží všechna vlákna tohoto eseje v jednom uzlu. Skutečný člověk, který je pryč. Lidé, kteří ho milovali a jednají z lásky. Jeho verze, která veřejně říká věci, o nichž nikdy nerozhodl, že je řekne.
Držte to všechno v plné síle. Problém předstírání je skutečný. Problém správy je skutečný. Problém strašení, problém manipulace, problém tří lidí, to všechno je skutečné. Nehodlám vás z žádného z nich vyvést.
Co mají námitky společného
Ale postavte je vedle sebe a všimněte si, co mají ve skutečnosti společné. „Jako by“ od Sherry Turkle. Správci podle Elaine Kasket. Tři oddělení zúčastnění z Cambridge. Rodiče Joaquina Olivera, kteří rozhodují za něj, co by chtěl říct o zbraních. Každá z těchto námitek je v jádru obavou o autorství. O to, kdo drží pero. O propast mezi člověkem, který žil, a verzí, která nyní mluví jeho jménem, a hlavně o to, kdo rozhoduje, co tu propast vyplní.
Toto přeformulování je důležitější, než se zdá, protože posouvá nebezpečí. Nebezpečí nikdy nebyla technologie. Nahrávka není nebezpečná. Model není nebezpečný. Nebezpečná je verze člověka, kterou napsal někdo jiný ze svých důvodů, kterou ten člověk nikdy neviděl a nemůže ji opravit. Znepokojení, které lidé cítí, je signál, a ten signál neříká „tohle je falešné“. Říká: „někdo mluví za vás a nezískal na to právo.“
Jakmile to vidíte takto, stane se zvláštní věc. Problém přestane být nový.
Paměť vždycky psali ti, kdo žijí
Tady je část, kterou nerad říkáme. Vždycky si nás pamatovali špatně, vždycky jsme nechávali pamatování na živých a vybudovali jsme celé instituce, aby se úpravy zdály přirozené.
Smuteční řeč je autorství. Někdo vstane a z celého rozporuplného života vybere tři příběhy, které vás budou zastupovat, a ten výběr je argumentem o tom, kdo jste byli, a vy tam nejste, abyste řekli, že byste zvolili jiné příběhy. Nekrolog je autorství, psané podle šablony, v rejstříku, kterým nikdo nikdy opravdu nemluvil, a mění obtížného, vtipného, konkrétního člověka v odstavec ctností. Rodinné příběhy jsou autorství a s každým převyprávěním tuhnou, až se verze předaná vnoučatům stane postavou, ne člověkem: dědeček, který byl Vždycky přísný, teta, která Nikdy se neprovdala kvůli jedné větě, kterou kdysi řekla a které litovala. Člověk pod tím vedl celý vnitřní spor. Příběh si ponechal závěr a spor zahodil.
Není to selhání lásky. Je to mechanika paměti. Živí si ponechávají to, co unesou, a to, co unesou, je málo, a nesou to v podobě, která jim pomáhá žít dál. Matka se stane svým nejlepším dnem. Otec se stane svým nejhorším, pokud právě ten nejhorší zanechal na vás stopu. Celí lidé se stlačí do jediné vlastnosti, která byla nejužitečnější pro ty, kdo si vzpomínají. Dělali jsme to s dopisy a deníky a s náhrobky, které šedesát let zredukovaly na jeden řádek. Zplošťujeme mrtvé tak dlouho, jak je máme, a říkali jsme tomu úcta.
Takže když mi někdo říká, že AI verze člověka je děsivá, protože by nemusela vystihnout, kým skutečně byl, chci jemně upozornit, že ani smuteční řeč nevystihla, kým skutečně byl. Nic to nedokáže. Volba nikdy nebyla mezi pravdivou a zkreslenou vzpomínkou. Volba vždy byla mezi jedním zkreslením a druhým, všechna napsali pozůstalí a žádné nebylo ověřeno u jediného člověka, který to věděl.
Skutečně nové není zkreslení. To tu bylo. Nové je, že ten člověk může dostat hlas.
Hlas
Tohle je závěs a stojí za to být přesný.
Po celou historii jste neměli žádné slovo ve svém vlastním vzpomínání. Zemřeli jste, pero přešlo do jiných rukou a cokoli napsaly, se stalo vámi. Technologie, na které pracuji, dělá právě jednu věc, která je skutečně nová. Umožňuje člověku, dokud žije, vrátit část autorství do vlastních rukou. Ne všechno. Nemůžete ovládat, co lidé cítí, co se rozhodnou zdůraznit nebo které z vašich příběhů přežijí druhou generaci. Ale můžete poprvé zanechat něco, co jste záměrně vytvarovali, svými slovy, se svými rozpory ponechanými uvnitř, místo abyste zanechali jen surový materiál, který budou jiní tvarovat poté, co už nemůžete namítat.
Proto jsem dospěl k přesvědčení, že souhlas není funkce této práce. Je to celý morální rozdíl. Existují dva způsoby, jak může vzniknout verze mrtvého člověka. Jeden je sestavení po smrti, zvenčí, příbuznými nebo firmami nebo novinářem s vlastním záměrem, z jakýchkoli střípků, které seženou, ve službě tomu, čím potřebují mrtvé mít živí. Druhý je, že ji vytvaruje sám člověk, za života, a vybírá, co zahrne, a rozhoduje, jak chce být přijat. Tyto dvě věci mohou zvenčí vypadat téměř stejně. Mohou používat stejnou technologii. A jsou morálně protikladné, protože jen jedna z nich nese podpis autora.
Verze s morální vahou je ta, kterou vytvořil sám člověk. Ne nejpřesnější. Ne nejutěšnější. Ta, s níž souhlasil. Rekonstrukce vytvořená po smrti, byť sebe věrnější, je portrét namalovaný někým jiným a může být láskyplný nebo cynický, ale není to vlastní výpověď člověka o sobě samém a nikdy by se nemělo připustit, aby za ni platila. Verze, kterou si člověk vytvořil za života, je svědectví. Je to nejbližší věc, jakou kdokoli z nás kdy bude mít k odpovědi.
Tady přestává být případ Joaquina Olivera uzlem a stává se jasným. Nepohodlí, které mnoho lidí cítilo, nebylo opravdu o technologii a ani o jeho rodičích, kteří dělali tu nejpochopitelnější věc na světě. Nepohodlí bylo v tom, že sedmnáctiletému chlapci byly veřejně připsány názory v pětadvaceti letech, jichž se nikdy nedožil, a on tam nebyl, aby souhlasil. Jeho rodiče drželi pero z lásky. Ale pero stejně nebylo jeho. To je ta hranice. Ne děsivé nebo neděsivé. Napsáno sebou samým, nebo napsáno někým jiným.
Chci být tady opatrný, protože souhlas neučiní minové pole bezpečným. Výzkumníci z Cambridge mají pravdu, že i plně odsouhlasená verze může způsobit strádání tomu, kdo s ní mluví, může podporovat závislost, může být postavena tak, aby udržela člověka zapojeného za hranicí toho, co mu prospívá. Člověk může souhlasit s tím, že si ho budou pamatovat, a přesto se po smrti stát něčím, co by nepoznal, pokud se firma, která drží nahrávku, rozhodne ji změnit. Souhlas daný za života něco znamená, jen pokud je po smrti dodržen, přesně, bez tichých úprav, bez firmy, která mrtvé potichu vylepšuje podle nějaké metriky. Slib platí, jen pokud je verze zmrazena v okamžiku, který měl člověk na mysli, a nikdo, ani firma, ani truchlící rodina, nemá právo dál upravovat, kým kdo byl. Jinak je souhlas jen podpis na dokumentu, který nikdo nehodlá dodržet.
Takže laťka je výš než samotný souhlas. Je to souhlas, plus věrnost tomuto souhlasu navždy, plus pokora postavit jen to, co člověk zvolil zanechat, a odmítnout vymýšlet zbytek. Pokud nikdy nenahrál, co si myslel o Bohu, verze to nesmí hádat. Mlčení je součástí svědectví. Člověk smí některé věci nechat nevyslovené a verze, která ta mlčení vyplní, aby se zdála úplnější, už porušila jediný slib, na kterém záleží.
Co v tom mám já
Měl bych být upřímný o tom, kde stojím, protože nejsem neutrální pozorovatel tohoto sporu. Moje společnost, Afterlife.ai®, existuje proto, aby lidem pomáhala nahrát se, dokud žijí, a všechno, co jsem právě tvrdil, je zároveň, jak se to šťastně hodí, popisem toho, co se snažím vybudovat. Měli byste to podle toho vážit. Když vám zakladatel řekne, že etická verze produktu je náhodou ta, kterou prodává, správnou reakcí je zvednuté obočí a já bych raději, abyste ho zvedli, než abyste nezvedli.
Mohu vám říct, že k souhlasu jsem nedošel jako k marketingovému postoji. Došel jsem k němu pohledem na alternativu, a ta alternativa je skutečně děsivá: budoucnost, v níž kohokoli může kdokoli rekonstruovat po smrti z výfuku jeho online života a donutit ho říkat věci, schvalovat věci, utěšovat lidi, prodávat věci, bez podpisu, bez hlasu a bez možnosti, aby mrtví namítali, protože namítat je jediná věc, kterou mrtví nikdy nemohou. Proti takové budoucnosti je jediná protipožární zeď, kterou si dokážu představit, jednoduchý, staromódní princip. Jediná verze vás, která smí mluvit vaším jménem, je ta, se kterou jste souhlasili. Všechno ostatní jsou jiní lidé, kteří píší vaši smuteční řeč a říkají tomu vy.
Čeho se doopravdy bojíme
Neustále se vracím k těm pohřbům a k malému nesouladu mezi člověkem v rakvi a člověkem v řeči.
Ten nesoulad snášíme, protože jsme museli vždycky. Mrtví nás nemohli opravit, a tak jsme se smířili s tím, že je trochu zkreslíme, a namlouvali jsme si, že láskyplná verze je ta pravdivá, a většinou jsme to mysleli dobře. Ale když se lidí zeptáte, co by chtěli, v upřímných hodinách, skoro nikdo neřekne, že chce být zapamatován jako světec. Chtějí, aby si je pamatovali jako sebe. Obtížné tam, kde byli obtížní. Vtipné tím konkrétním způsobem, jakým byli vtipní. Pomýlení v tom, v čem se mýlili, a s právem se dál mýlit, protože ta pomýlenost byla jejich a byla součástí celku. Lidé se nebojí, že budou zapomenuti. Bojí se, že si je budou pamatovat, ale jako někoho hladšího, menšího a snazšího, než ve skutečnosti byli.
Technologie, na které pracuji, smrt neopraví a nemůže nikoho znovu učinit celým. Nemám zájem předstírat opak. Ale jednu věc mění a není malá. Po celou lidskou historii byla odpověď na otázku „kdo rozhoduje, jak si mě budou pamatovat“: ne vy. Vždy to budou ti, kdo zůstali, kteří vás budou láskyplně, neúplně a nevyhnutelně upravovat, a váš souhlas nebyl ani vyžadován, ani možný. Poprvé může člověk zanechat výpověď vlastní rukou. Ne poslední slovo. Žádné poslední slovo neexistuje. Ale slovo. Hlas v místnosti, která dřív umlkla ve chvíli, kdy jste umlkli vy.
Být zapamatován špatně je nejstarší tichý strach, který nosíme o vlastní smrti, starší než jakýkoli stroj, starší než psané slovo, starý jako první člověk, který stál nad hrobem a zvolil, který příběh vypráví. Stroje ten strach nevynalezly a před ním nás nezachrání. Změnilo se jen tohle: po dobu jednoho zvláštního historického okna, než normy ztuhnou a právo to dožene a všichni se rozhodneme, co dovolíme a co ne, je pero krátce na dosah člověka, o kterém to doopravdy je.
Poctivá věc, kterou s tím udělat, není uchopit je pro mrtvé. Je to předat je, dokud je čas, živým a nechat je, aby si sami rozhodli, jak chtějí být uchováni.