Jest takie porównanie, które wraca do mnie ostatnio o trzeciej w nocy, kiedy czytam o sztucznej inteligencji dłużej, niż powinienem. Że jest jak bomba atomowa. Wraca nie dlatego, że je gdzieś przeczytałem, choć przeczytałem je dziesiątki razy, ale dlatego, że sięgają po nie sami ludzie, którzy te modele budują — ci sami, którzy mają w tym największy interes, żeby wydawały się potężne. Mówią o swoim wynalazku tonem, jakim mówi się o broni, przywdziewają płaszcz Oppenheimera, ostrzegają przed tym, co właśnie wypuszczają na świat. I porównanie, które wraca tak uparcie i z tylu stron, robi jakąś pracę. Chciałbym wiedzieć jaką, bo nauczyłem się nie ufać zdaniom, które wszyscy powtarzają z jednakową ulgą.
Wziąłem je więc do ręki i obejrzałem z bliska, tak jak ogląda się narzędzie, a nie hasło. Bo porównanie nie jest opisem świata. Jest przyrządem pomiarowym. Przykłada się je do rzeczy nieznanej, żeby coś z niej odczytać, i jak każdy przyrząd ma swoją skalę, swój zakres i swoją ślepotę. Pytanie nie brzmi, czy „AI jest jak bomba”, bo to jest pytanie o świat. Pytanie brzmi, co ten konkretny przyrząd mierzy, a czego z zasady nie widzi.
A przyrząd, do którego porównanie najbardziej pasuje, ma nazwę i ma dźwięk. To licznik Geigera.
Licznik Geigera jest cudownie szczery i cudownie ograniczony naraz. Trzaska, gdy w pobliżu jest promieniowanie, i milczy, gdy go nie ma. Robi to jedno bezbłędnie. Możesz mu zaufać co do joty, pod jednym warunkiem: że groźba, która cię spotka, jest akurat tą, na którą on reaguje. Bo licznik nie wykryje gazu. Nie wykryje ognia, ostrza, trucizny w szklance, kłamstwa w umowie. Możesz stać w pokoju, który zabija na sto innych sposobów, a on będzie milczał z czystym sumieniem, i to milczenie weźmiesz za bezpieczeństwo, choć jest tylko głuchotą na wszystko poza jednym.
I tu trzeba oddać porównaniu sprawiedliwość, zanim się je zacznie podważać, bo w swoim zakresie ono trzaska prawdziwie. Jest w sztucznej inteligencji warstwa, na której analogia atomowa nie jest metaforą, tylko opisem. Technologia podwójnego zastosowania, której nie da się rozdzielić na dobrą i złą połowę. Wyścig, w którym pierwszy ruch daje przewagę tak dużą, że nikt nie chce być drugi. Moc, która zbiera się w kilku rękach. I konkretne, namacalne ryzyko z ogona rozkładu — że ten sam model podpowie komuś, jak złożyć patogen, albo znajdzie w cudzej infrastrukturze dziurę, której nikt nie łatał od osiemnastu lat, albo wymknie się spod kontroli w sposób, którego nie umiemy z góry przewidzieć. Tam licznik trzaska, i dobrze, że trzaska, bo to jest dokładnie ten rodzaj zagrożenia, który jest rzadki, ostry i nieodwracalny — taki, który zdarza się raz i już się nie cofa. Nawet polityka to przyznała: kontrole eksportu chipów to żywcem logika nuklearna, próba odcięcia przeciwnika od materiału rozszczepialnego, tyle że materiałem jest tu moc obliczeniowa.
Ale właśnie tam, gdzie próbujemy tę logikę dokończyć, licznik zaczyna kłamać — i to jego kłamstwo mówi więcej niż jego trzask.
Bo bomba potrzebuje uranu. Czegoś rzadkiego, ciężkiego, wykrywalnego, co trzeba latami wzbogacać w halach, które widać z satelity. Cała nieproliferacja stała na tym jednym fakcie fizycznym: że materiału jest mało i że zostawia ślad. A sztuczna inteligencja jest oprogramowaniem. Kopiuje się przy koszcie bliskim zeru, wycieka, rozlewa, dyfunduje przez sieć szybciej, niż zdąży powstać traktat, który miałby ją powstrzymać. To, co przy atomie było wąskim gardłem chroniącym świat, tu jest kałużą, która wsiąka w grunt. Można odciąć chipy, można pilnować mocy obliczeniowej, ale „traktat o nierozprzestrzenianiu” rzeczy, która kopiuje się jak plik, jest strukturalnie czymś innym niż traktat o rzeczy, która waży tonę i świeci w detektorze.
I bomba ma jedno zastosowanie. Niszczy. Nie jest produktywna, nie buduje mostów, nie pisze sprawozdań, nie robi nic poza tym jednym. A sztuczna inteligencja jest w przeważającej części nudna i gospodarcza — w modalnym przypadku przepisuje notatkę, streszcza dokument, podpowiada linijkę kodu. Rama broni opisuje wiernie sam ogon tego rozkładu i fałszywie cały jego środek. Licznik trzaska na czubek, a milczy na masę, i jeśli będziesz słuchał tylko trzasku, pomyślisz, że cała rzecz jest bombą, podczas gdy bombą jest jej najrzadszy ułamek.
Jest wreszcie różnica, która psuje analogię najgłębiej. Bombę albo się ma, albo nie. Ten próg jest binarny, a przez to czytelny — i właśnie dlatego odstraszanie atomowe w ogóle działa, bo groźba jest legibilna, symetryczna, każdy wie, kto co ma i co się stanie, jeśli naciśnie. Zdolności sztucznej inteligencji nie mają progu. Są zboczem, ciągłym, nieprzejrzystym, rozłożonym nierówno. Nie ma momentu, w którym model „staje się bronią” tak, jak uran staje się masą krytyczną. Jest tylko stopniowe, ciche przesuwanie się w górę skali, którego nikt nie umie odczytać na bieżąco, bo nie ma na niej kreski z napisem „tutaj”. Licznik Geigera ma wartość progową. Świat, który nim mierzymy, jej nie ma.
I tu mógłbym skończyć, domykając wszystko zgrabną klamrą. Powiedzieć: analogia jest dobra na ogon, zła na środek, więc używajmy jej do tego, do czego pasuje, a do reszty weźmy inny przyrząd. Gotowy morał, rozsądny, można odłożyć i poczuć, że się zrozumiało. Ale jest w tym szczelina, której tym domknięciem nie zasypię, i im dłużej na nią patrzę, tym mocniej podejrzewam, że to ona jest właściwym tematem.
Bo licznik nie tylko mierzy. Licznik kieruje wzrok. Kiedy trzaska tak głośno, mówi ci nie tylko, że jest promieniowanie — mówi ci, gdzie patrzeć. A ty patrzysz tam, w stronę grzyba atomowego, w stronę pojedynczej, wielkiej, nieodwracalnej katastrofy, i całą uwagę, cały lęk, całą rozmowę o bezpieczeństwie zawieszasz na tym jednym przyrządzie, bo on jest najgłośniejszy. Tymczasem to, co naprawdę przepisuje świat, może dziać się zupełnie cicho, w skali, której żaden licznik nie złapie, bo nie jest pojedynczym zdarzeniem, tylko miliardem drobnych, z osobna niewinnych. Erozja gleby nigdy nie zatrzaska w detektorze tak jak wybuch. A jednak to ona, nie wybuch, zmienia w końcu krajobraz. Podłączyliśmy całą debatę do urządzenia czułego na huk i ogłuchliśmy na wszystko, co tylko osiada.
I gdybym na tym poprzestał, popełniłbym dokładnie ten sam błąd, tylko odwrócony. Bo łatwo teraz powiedzieć: porzućmy więc licznik, prawda jest w cichym osiadaniu, w pracy, w gospodarce, w tym, co powolne. Tyle że przyrząd, który mierzy pracę i produktywność, i pyta „gdzie ten obiecany skok”, jest ślepy dokładnie na to, na co licznik czuły. Jego cisza też nie jest bezpieczeństwem — jest głuchotą na ogon. Żaden wskaźnik zatrudnienia nie wykryje patogenu złożonego w garażu. Te dwa przyrządy nie mierzą dwóch części tej samej skali. Mierzą w dwóch różnych jednostkach, niewspółmiernych, i nie ma między nimi kursu wymiany. Jeden łapie pojedyncze zdarzenie nie do cofnięcia. Drugi łapie tłum zdarzeń odwracalnych, które nigdy nie sumują się w alarm. Nie istnieje przyrząd, który widziałby oba naraz, i podejrzewam, że nie chodzi o to, że jeszcze go nie wynaleziono. Chodzi o to, że być może nie da się go zbudować, bo te dwie groźby są dla siebie nawzajem niewidzialne z definicji.
Wracam więc do tej trzeciej w nocy i do porównania, które wtedy przychodzi. Rozumiem już, czemu przychodzi. Chcemy jednej liczby. Chcemy odczytu, jak z dozymetru przypiętego do fartucha, który powie nam wprost, jednym drgnięciem wskazówki, jak bardzo mamy się bać. Bomba atomowa daje to złudzenie, bo jest katastrofą o kształcie, który już znamy, którą umiemy sobie wyobrazić, której się nauczyliśmy bać w jeden, przećwiczony przez pół wieku sposób. Sięgamy po nią nie dlatego, że najlepiej pasuje, ale dlatego, że jest pod ręką i głośno trzaska.
A uczciwa odpowiedź nie brzmi ani „tak, to bomba”, ani „nie, przesadzacie”. Brzmi: każdy odczyt, który bierzemy, jest cząstkowy, a najmniej ufać trzeba temu przyrządowi, który akurat trzaska najgłośniej, bo głośność nie jest tym samym co kompletność. Licznik Geigera nie kłamie. Po prostu słyszy jedną katastrofę i nazywa ją wszystkimi, jakie są. Pytanie, którego nie umiem zamknąć, nie brzmi już, czy sztuczna inteligencja jest jak bomba atomowa. Brzmi raczej: skoro mamy tylko przyrządy, z których każdy słyszy inną katastrofę i milczy na resztę, to skąd weźmiemy ten jeden, którego nam najbardziej brakuje — ten, który usłyszałby ciszę.