Najstarszy lęk przed umieraniem to nie zapomnienie. To bycie źle zapamiętanym.
Na prawie każdym pogrzebie, w którym uczestniczyłem, jest taka krótka chwila, kiedy człowiek w trumnie i człowiek z przemowy po cichu przestają do siebie pasować. Ten opisywany jest odrobinę życzliwszy niż ten, którego znałem, odrobinę cierpliwszy, wygładzony w tych miejscach, w których prawdziwy człowiek był interesujący. Nikt nie kłamie. Sala robi to, co zawsze robi żałoba. Wybiera, którą wersję zachować, i wybiera delikatnie, a jedyna osoba, która mogłaby sprzeciwić się tej redakcji, jest jedyną, której nie wolno zabrać głosu.
Zwykle nie nazywamy tego po imieniu. Mówimy: piękna uroczystość. Ale pod kwiatami zapada decyzja o tym, kim ktoś był, a zmarli nie mają w niej głosu. To nie jest nowy problem wymyślony przez technologię. To najstarsza rzecz, która się z nami dzieje po śmierci. Zostajemy przekazani, w całości, pamięci innych ludzi, a ich pamięć jest cząstkowa, pełna miłości i myląca się na sto drobnych sposobów, których nigdy nie będziemy mogli sprostować.
Tworzę oprogramowanie w tej części branży, która pozwala ludziom nagrywać siebie za życia, tak aby coś z ich głosu i opowieści ich przeżyło. Ta praca przyciąga bardzo konkretny lęk, a ja słyszałem go już tyle razy, że znam jego kształt na pamięć. Ludzie mówią mi, że to upiorne. Mówią, że to fałszywe, że to kukła w twarzy zmarłego. Mówią, że to wyzysk, żałoba zamieniona w abonament. Te zarzuty zasługują na poważne potraktowanie i tak je potraktuję. Ale doszedłem do wniosku, że to nie jest prawdziwy lęk. To lęk, który da się wypowiedzieć na głos na przyjęciu. Głębszy, ten, który naprawdę nie pozwala ludziom spać, jest cichszy i trudniej się do niego przyznać.
Głębszy lęk to bycie źle zapamiętanym. Bycie spłaszczonym. Wygładzenie wszystkich twoich sprzeczności, aż zostanie z ciebie tylko karykatura, która we wszystkim się z każdym zgadza. To, że jedno zdanie, które powiedziałeś w jeden zły dzień, zastąpi cię całego, na zawsze, bo to akurat zdanie zostało zapisane. Wszyscy się tego boimy i baliśmy się, zanim ktokolwiek wytrenował model na zmarłej osobie. Maszyna nie stworzyła tego lęku. Dała mu tylko twarz, na którą można wskazać.
Zarzuty w pełnej sile
Pozwólcie, że przedstawię argumenty przeciwko własnej branży porządnie, bo ci, którzy je podnoszą, nie są dziwakami i nie bez powodu się martwią.
Zacznę od Sherry Turkle, która od dziesięcioleci obserwuje, co się dzieje, gdy ludzie przywiązują się do rzeczy, które nie mogą odwzajemnić miłości. W książce Alone Together napisała, że „niepokoi ją pomysł szukania bliskości z maszyną, która nie ma uczuć, nie może ich mieć i jest w gruncie rzeczy tylko sprytnym zbiorem występów ‚jak gdyby’, zachowujących się tak, jak gdyby jej zależało, jak gdyby nas rozumiała”. Przeczytajcie to powoli. To najtrudniejsze zdanie przeciwko mojej własnej pracy, jakie znam. System, który mówi kadencjami zmarłego ojca i wypowiada rzeczy, które mógłby powiedzieć, w jakimś sensie odgrywa troskę, której nie ma. Zachowuje się jak gdyby. A osoba w żałobie, która tak bardzo pragnie, żeby to było prawdziwe, jest właśnie tą osobą, która najgorzej potrafi utrzymać w głowie to „jak gdyby”.
Obawa Turkle nie polega na tym, że ta technologia jest prymitywna. Polega na tym, że działa na tyle dobrze, by mieć znaczenie, i że przyjmiemy ten występ, bo jesteśmy samotni, a on jest dostępny o 2 w nocy, kiedy nie ma nic innego.
Jest też Elaine Kasket, psycholożka, autorka książki All the Ghosts in the Machine, o tym, co się z nami dzieje, gdy nasze życie jest przechowywane na serwerach, które do nas nie należą. Jej tematem są cyfrowe pozostałości: zdjęcia, wiadomości, konta, cały osad, jaki człowiek po sobie zostawia, oraz niewygodny fakt, że ten osad jest dziś zasobem, który inni mogą przetrzymywać, przenosić, zamieniać w pieniądze i przekształcać. Gdy umrzesz, twoje ja staje się danymi, dane mają opiekunów, a opiekunowie mają własne interesy. Pytanie, do którego wciąż wraca, nie brzmi, czy cyfrowa wersja ciebie może istnieć. Brzmi: kto ją prowadzi, w czyim interesie i czy ktoś cię o to najpierw zapytał.
I wreszcie najstaranniejsza praca na ten temat, jaką czytałem: artykuł z 2024 roku w czasopiśmie Philosophy and Technology, autorstwa Tomasza Hollanka i Katarzyny Nowaczyk-Basińskiej, dwojga badaczy z Cambridge, którzy zajmują się dokładnie tym zakątkiem przyszłości, w którym ja pracuję. Już sam tytuł wymienia rzeczy, których ludzie się boją: griefboty, deadboty, pośmiertne awatary. Ich ostrzeżenia są konkretne i uważam, że słuszne. Hollanek ostrzegał, że takie usługi „niosą ryzyko wyrządzenia ogromnego cierpienia ludziom, którzy zostaną poddani niechcianym cyfrowym nawiedzeniom ze strony niepokojąco dokładnych odtworzeń, wykonanych przez sztuczną inteligencję, osób, które utracili”. Poszedł dalej: „Ludzie mogą nawiązać silne więzi emocjonalne z takimi symulacjami, co sprawi, że będą szczególnie podatni na manipulację”. Jego współautorka nazwała cały ten obszar „etycznym polem minowym” i wybrała to określenie z rozmysłem. Pole minowe to nie miejsce, którego odmawia się przekraczać. To miejsce, które przekracza się bardzo powoli, patrząc, gdzie stawia się stopy.
To, co robi artykuł z Cambridge, a czego nigdy nie robi wersja tego lęku z przyjęcia, to rozdzielenie zaangażowanych osób. Jest osoba, którą się odtwarza. Jest osoba, która odtwarza. I jest ten, kto w końcu rozmawia z rezultatem, a kto może być dzieckiem, kto może być zupełnie nieprzygotowany. Trzy różne osoby, trzy różne zestawy praw, a prawie żaden produkt w tej dziedzinie nie zastanowił się poważnie nad tym, że mogą się one rozejść. Potrzeba córki, by znów usłyszeć matkę, to nie to samo, co pragnienie matki, by zostać usłyszaną, a chęć firmy, by utrzymać zaangażowanie obu, to nie to samo, co jedno albo drugie.
Mógłbym dodać przypadek, po który wszyscy sięgają. Latem 2025 roku dziennikarz przeprowadził wywiad z awatarem AI Joaquina Olivera, chłopca zabitego w wieku siedemnastu lat podczas strzelaniny w Parkland, stworzonym przez jego pogrążonych w żałobie rodziców i udostępnionym w okolicach urodzin, których nigdy nie doczekał. Reakcja była natychmiastowa i w większości pełna odrazy. Upiorne, mówili ludzie. Niepokojące. Jego ojciec odpowiedział krytykom żalem tak bezpośrednim, że trudno było się z nim spierać: to nie sztuczna inteligencja zabiła jego syna. To naprawdę trudny przypadek i przywołuję go nie po to, by go rozstrzygnąć, ale by go zaznaczyć, bo zawiera wszystkie wątki tego eseju w jednym węźle. Prawdziwy człowiek, którego nie ma. Ludzie, którzy go kochali, działający z miłości. Wersja go, mówiąca publicznie rzeczy, o których nigdy nie mógł zdecydować, że je powie.
Trzymajcie to wszystko w pełnej sile. Problem odgrywania jest prawdziwy. Problem opieki nad danymi jest prawdziwy. Problem nawiedzania, problem manipulacji, problem trzech osób, wszystko to prawdziwe. Nie zamierzam wam żadnego z nich wyperswadować.
Co łączy te zarzuty
Ale zestawcie je obok siebie i zobaczcie, co naprawdę mają wspólnego. Turkle i jej „jak gdyby”. Opiekunowie Kasket. Trzy rozdzielone strony według zespołu z Cambridge. Rodzice Joaquina Olivera, decydujący w jego imieniu, co by chciał powiedzieć o broni. Każde z tych zastrzeżeń jest w gruncie rzeczy troską o autorstwo. O to, kto trzyma pióro. O przepaść między osobą, która żyła, a wersją, która teraz mówi w jej imieniu, a przede wszystkim o to, kto decyduje, czym ta przepaść zostanie wypełniona.
To przeformułowanie znaczy więcej, niż się wydaje, bo przesuwa niebezpieczeństwo. Niebezpieczeństwem nigdy tak naprawdę nie była technologia. Nagranie nie jest niebezpieczne. Model nie jest niebezpieczny. Niebezpieczna jest wersja człowieka, którą napisał ktoś inny, z własnych powodów, której ten człowiek nigdy nie widział i której nie może poprawić. Niepokój, który ludzie odczuwają, jest sygnałem, ale nie jest to sygnał „to jest fałszywe”. Sygnał brzmi: „ktoś mówi za ciebie i nie zasłużył na to prawo”.
Kiedy spojrzy się na to w ten sposób, dzieje się coś dziwnego. Problem przestaje być nowy.
Pamięć zawsze pisali żywi
Oto rzecz, której nie lubimy mówić. Zawsze byliśmy źle zapamiętywani, zawsze pozwalaliśmy żywym zajmować się pamiętaniem i zbudowaliśmy całe instytucje po to, by to redagowanie wydawało się naturalne.
Mowa pogrzebowa to autorstwo. Ktoś wstaje i wybiera z całego, pełnego sprzeczności życia trzy historie, które mają cię reprezentować, a ten wybór jest argumentem o tym, kim byłeś, i nie ma cię tam, by powiedzieć, że wybrałbyś inne. Nekrolog to autorstwo, pisane według szablonu, w rejestrze, w którym nikt naprawdę nie mówił, i zamieniające trudnego, zabawnego, wyjątkowego człowieka w akapit cnót. Rodzinne opowieści to autorstwo i twardnieją z każdym powtórzeniem, aż wersja przekazana wnukom jest postacią, nie człowiekiem: dziadek, który był Zawsze Surowy, ciocia, która Nigdy Nie Wyszła za Mąż z powodu jednego zdania, które kiedyś powiedziała i którego żałowała. Człowiek pod spodem toczył ze sobą cały wewnętrzny spór. Opowieść zachowała wniosek, a spór wyrzuciła.
To nie jest porażka miłości. To mechanika pamięci. Żywi zachowują to, co mogą unieść, a to, co mogą unieść, jest małe, i niosą to w kształcie, który pomaga im żyć dalej. Matka staje się swoim najlepszym dniem. Ojciec staje się swoim najgorszym, jeśli to ten najgorszy zostawił na tobie ślad. Cali ludzie zostają skompresowani do jednej cechy, która była najbardziej użyteczna dla tych, którzy pamiętają. Robiliśmy to z listami i pamiętnikami, z nagrobkami, które sprowadzały sześćdziesiąt lat do jednego wiersza. Spłaszczamy zmarłych od tak dawna, jak dawno ich mamy, i nazywaliśmy to oddawaniem im czci.
Kiedy więc ktoś mówi mi, że wersja AI człowieka jest przerażająca, bo może nie oddać tego, kim naprawdę był, chcę łagodnie zauważyć, że mowa pogrzebowa też nie oddała tego, kim naprawdę był. Nic tego nie oddaje. Wybór nigdy nie stał między prawdziwą pamięcią a zniekształconą. Wybór zawsze stał między jednym zniekształceniem a drugim, a wszystkie napisali ci, którzy zostali, i żadne nie zostało sprawdzone przez jedyną osobę, która wiedziała.
Naprawdę nowe nie jest zniekształcenie. To już mieliśmy. Nowe jest to, że ten człowiek może dostać głos.
Głos
To jest zawias całej sprawy i warto być tu dokładnym.
Przez całą historię nie miałeś nic do powiedzenia w sprawie własnego zapamiętania. Umierałeś, pióro przechodziło w inne ręce, a cokolwiek napisały, stawało się tobą. Technologia, nad którą pracuję, robi dokładnie jedną rzecz, która jest naprawdę nowa. Pozwala człowiekowi, gdy żyje, oddać w swoje ręce część autorstwa. Nie całość. Nie możesz kontrolować tego, co ludzie czują, co zdecydują się podkreślić ani które z twoich opowieści przetrwają drugie pokolenie. Ale możesz po raz pierwszy zostawić coś, co ukształtowałeś celowo, własnymi słowami, ze swoimi sprzecznościami, zamiast zostawiać wyłącznie surowiec, który inni ukształtują, gdy już nie będziesz mógł zaprotestować.
Dlatego uważam, że zgoda nie jest funkcją tej pracy. To cała różnica moralna. Wersja zmarłego człowieka może powstać na dwa sposoby. Pierwszy: zostaje złożona po śmierci, z zewnątrz, przez krewnych, firmy albo dziennikarza z własnym planem, z jakichkolwiek fragmentów, które uda się zebrać, na użytek tego, czym żywi potrzebują, by byli zmarli. Drugi: kształtuje ją sam człowiek, za życia, wybierając, co zawrzeć, i decydując, jak chce być spotkany. Z zewnątrz te dwie rzeczy mogą wyglądać niemal identycznie. Mogą korzystać z tej samej technologii. A są moralnie przeciwne, bo tylko jedna z nich nosi podpis autora.
Wersją z moralnym prawem jest ta, którą stworzył sam człowiek. Nie najdokładniejsza. Nie najpocieszniejsza. Ta, na którą wyraził zgodę. Odtworzenie zbudowane po śmierci, choćby najbardziej wierne życiu, jest portretem namalowanym przez kogoś innego i może być portretem pełnym miłości albo cynicznym, ale nie jest własną relacją człowieka o sobie samym i nigdy nie powinno być uznawane za taką. Wersja, którą człowiek zbudował za życia, jest świadectwem. To najbliższa rzecz do odpowiedzenia, jaką ktokolwiek z nas będzie miał.
Tu przypadek Joaquina Olivera przestaje być węzłem i staje się jasny. Dyskomfort, który odczuło tylu ludzi, nie dotyczył tak naprawdę technologii ani jego rodziców, którzy robili najbardziej zrozumiałą rzecz na świecie. Dyskomfort polegał na tym, że siedemnastoletniemu chłopcu przypisywano publicznie poglądy w wieku dwudziestu pięciu lat, którego nigdy nie osiągnął, a on nie mógł się z nimi zgodzić. Jego rodzice trzymali pióro z miłości. Ale pióro nadal nie było jego. Oto granica. Nie: upiorne albo nie upiorne. Napisane przez siebie samego albo napisane przez kogoś innego.
Chcę być tu ostrożny, bo zgoda nie czyni pola minowego bezpiecznym. Badacze z Cambridge mają rację, że nawet w pełni uzgodniona wersja może zasmucić osobę, która z nią rozmawia, może rodzić uzależnienie, może być zbudowana tak, by utrzymać kogoś w zaangażowaniu poza punktem, w którym jest to dla niego dobre. Człowiek może wyrazić zgodę na zapamiętanie i mimo to po śmierci zostać zamieniony w coś, czego by nie rozpoznał, jeśli firma, która przechowuje nagranie, zdecyduje się je zmienić. Zgoda wyrażona za życia coś znaczy tylko wtedy, gdy zostanie uszanowana potem, dokładnie, bez cichych poprawek, bez firmy po cichu ulepszającej zmarłych pod kątem wskaźnika. Obietnica trzyma się tylko wtedy, gdy wersja jest zamrożona w chwili, którą człowiek miał na myśli, i nikt, ani firma, ani nawet pogrążona w żałobie rodzina, nie może dalej redagować tego, kim ktoś był. W przeciwnym razie zgoda to tylko podpis na dokumencie, którego nikt nie zamierza dotrzymać.
Poprzeczka jest więc wyżej niż sama zgoda. To zgoda, plus wierność tej zgodzie na zawsze, plus pokora, by budować wyłącznie to, co człowiek zdecydował się zostawić, i odmówić wymyślania reszty. Jeśli nigdy nie nagrał, co myśli o Bogu, wersja nie ma prawa zgadywać. Milczenie jest częścią świadectwa. Człowiek ma prawo zostawić pewne rzeczy niewypowiedziane, a wersja, która wypełnia te milczenia, by wydać się pełniejszą, złamała już jedyną obietnicę, która się liczy.
Mój interes w tym, co mówię
Powinienem jasno powiedzieć, gdzie stoję, bo nie jestem neutralnym obserwatorem tego sporu. Moja firma, Afterlife.ai®, istnieje po to, by pomagać ludziom nagrywać siebie za życia, a wszystko, co właśnie wywodziłem, jest też, wygodnie, opisem tego, co próbuję zbudować. Powinniście to uwzględnić, oceniając moje słowa. Gdy założyciel mówi, że etyczna wersja produktu akurat jest tą, którą sprzedaje, właściwą reakcją jest uniesiona brew i wolę, żebyście ją unieśli, niż żebyście tego nie zrobili.
Mogę wam powiedzieć, że do zgody nie doszedłem jako do stanowiska marketingowego. Doszedłem do niej, patrząc na alternatywę, a alternatywa jest naprawdę przerażająca: przyszłość, w której każdy może zostać zrekonstruowany przez kogokolwiek, po śmierci, z odpadów swojego życia w sieci, i sprawiony, by mówił rzeczy, popierał rzeczy, pocieszał ludzi, sprzedawał rzeczy, bez podpisu, bez głosu i bez możliwości sprzeciwu zmarłych, bo sprzeciw to jedyna rzecz, jakiej zmarli nigdy nie mogą zrobić. Wobec takiej przyszłości jedyna zapora, jaka przychodzi mi do głowy, to prosta, staromodna zasada. Jedyna wersja ciebie, której wolno mówić w twoim imieniu, to ta, na którą się zgodziłeś. Cała reszta to inni piszący twoją mowę pogrzebową i nazywający ją tobą.
Czego naprawdę się boimy
Wciąż wracam do tych pogrzebów i do drobnej niezgodności między człowiekiem w trumnie a człowiekiem z przemowy.
Tolerujemy tę niezgodność, bo zawsze musieliśmy. Zmarli nie mogli nas poprawić, więc pogodziliśmy się z tym, że opisujemy ich trochę źle, wmawialiśmy sobie, że wersja pełna miłości jest prawdziwa, i w większości mieliśmy dobre intencje. Ale jeśli zapytać ludzi, czego by chcieli, w uczciwych godzinach, prawie nikt nie mówi, że chce być zapamiętany jako święty. Chcą być zapamiętani jako oni sami. Trudni tam, gdzie byli trudni. Zabawni w ten swój konkretny sposób. Niemający racji w tym, w czym jej nie mieli, i mogący dalej jej nie mieć, bo to było ich i było częścią całości. Ludzie nie boją się bycia zapomnianymi. Boją się bycia zapamiętanymi, ale jako ktoś gładszy, mniejszy i łatwiejszy, niż naprawdę byli.
Technologia, nad którą pracuję, nie naprawi śmierci i nie sprawi, że ktokolwiek znów będzie cały. Nie mam ochoty udawać, że jest inaczej. Ale zmienia jedną rzecz i nie jest to rzecz mała. Przez całą historię ludzkości odpowiedź na pytanie „kto decyduje, jak będę zapamiętany” brzmiała: nie ty. Zawsze mieli to robić ci, którzy zostają, ze swoim pełnym miłości, cząstkowym, nieuniknionym redagowaniem, bez zgody, której nie dało się ani zapytać, ani uzyskać. Po raz pierwszy człowiek może zostawić relację własną ręką. Nie ostatnie słowo. Nie ma ostatniego słowa. Ale słowo. Głos w pokoju, który zawsze milkł w chwili, gdy milkłeś ty.
Bycie źle zapamiętanym to najstarszy cichy lęk, jaki nosimy w związku z własną śmiercią, starszy niż jakakolwiek maszyna, starszy niż pismo, stary jak pierwszy człowiek, który stanął nad grobem i wybrał, którą historię opowiedzieć. Maszyny nie wymyśliły tego lęku i nas przed nim nie ocalą. Zmieniło się tylko tyle: przez czas jednego dziwnego okna historii, zanim normy stwardnieją, a prawo nadgoni i wszyscy zdecydujemy, na co pozwolimy, a na co nie, pióro znajduje się na chwilę w zasięgu ręki osoby, której naprawdę dotyczy.
Uczciwie jest nie chwytać pióra dla zmarłych. Jest oddać je, póki jest czas, żywym i pozwolić im samym zdecydować, jak chcieliby zostać zachowani.