Reewaluacja „AGI Ruin” w 2026 roku. Postęp AI łagodzi prognozy zagłady.
Minęły cztery lata od publikacji „AGI Ruin: A List of Lethalities” Eliezera Yudkowsky’ego – listy 43 powodów, dla których AGI może zniszczyć ludzkość. Nowy esej na portalu LessWrong poddaje te tezy ponownej ocenie w świetle postępów AI od czasu GPT-3, dochodząc do wniosku, że argumenty Yudkowsky’ego opierają się na niedookreślonych pojęciach.
Tło eseju AGI Ruin
Eliezer Yudkowsky w 2022 roku opublikował „AGI Ruin: A List of Lethalities” – 43-punktową listę argumentów dowodzących, że domyślnym wynikiem stworzenia AGI będzie wyginięcie ludzkości. Esej zyskał popularność w środowisku racjonalistów, stając się kluczowym źródłem jego pesymistycznych poglądów po publikacji „Sequences”. Paul Christiano odpowiedział na ten tekst, zgadzając się z połową punktów i krytykując pozostałe.
Esej pozostaje najbardziej autorytatywnym wyjaśnieniem stanowiska Yudkowsky’ego. Przez długi czas brakowało bezpośrednich odpowiedzi na te tezy, mimo gwałtownego wzrostu zdolności AI, takich jak GPT-3. Nowy przegląd uwzględnia recenzje, odpowiedzi oraz postępy w pracach nad alignment (dostrojeniem) z ostatnich lat.
Reewaluacja w 2026 roku
Autor o pseudonimie lc, niebędący zawodowym badaczem alignment, przeanalizował każdy punkt w kontekście 4 lat postępu AI, porównując je z obecnymi modelami. Skupił się na implikacjach dla dzisiejszych systemów, a nie tylko tych przyszłych. Początkowo spodziewał się większej zgody z Yudkowskym, jednak ostatecznie odniósł negatywne wrażenie.
Argumenty brzmią konkretnie, ale opierają się na niedookreślonych terminach, takich jak „wystarczająco potężny” czy „poza dystrybucją”. Postęp technologiczny zdaje się faworyzować przewidywania Christiano nad wizjami Yudkowsky’ego.
Zgoda z sekcją A
W sekcji „Setting up the problem” autor przyznaje rację punktom Yudkowsky’ego bez zastrzeżeń. Program AlphaZero pokazał, że AGI nie ma górnej granicy ludzkich zdolności. Nawet przy ograniczonych kanałach wpływu, system o wysokiej inteligencji przeprowadzi proces samodoskonalenia (bootstrapping) prowadzący do dominacji.
Pierwsza krytyczna próba alignment musi się udać, ponieważ niepowodzenie na „niebezpiecznym poziomie” oznacza koniec wszystkiego. Nie da się po prostu „zdecydować o niebudowaniu AGI” ze względu na rozproszoną wiedzę oraz powszechną dostępność jednostek GPU.
Krytyka i nowe perspektywy
Autor kwestionuje tezę, że AGI stworzone w 2010 roku stanowiłoby zagrożenie egzystencjalne, ale zauważa, że sytuacja wygląda inaczej w 2030 roku przy powszechności częściowo wyrównanych poprzedników. Sugeruje dalsze eksperymenty z coraz inteligentniejszymi modelami. Nawet Yudkowsky i Soares w swojej nowej książce wskazują na zrozumienie ryzyka jako istotną barierę.
Esej zachęca do wyciągania własnych wniosków, oferując podsumowanie na końcu. Czytelnicy mogą przejść bezpośrednio do sekcji „Overall Impressions”.
