Istup čovjeka koji gradi najmoćniji AI u par sati vidjelo 120 milijuna ljudi. Uslijedio vrlo neobičan nastavak

Jedan od ljudi koji je posljednje tri godine radio na razvoju nekih od najmoćnijih sustava umjetne inteligencije na svijetu dao je otkaz i potom javnosti putem X-a uputio upozorenje kakvo je teško ignorirati. Njegovu objavu u par sati vidjelo je 126 milijuna ljudi.

Jacob Coxon, 27-godišnji britanski istraživač koji je radio na predtreniranju modela najprije u OpenAI-ju, a potom u Anthropicu, napustio je potonju kompaniju uz tvrdnju da vodeći laboratoriji umjetne inteligencije jure prema tehnologiji čije posljedice možda neće moći kontrolirati.

„Danas sam dao otkaz u Anthropicu. Posljednje tri godine radio sam na istraživanju predtreniranja i u OpenAI-ju i u Anthropicu. Nijedna kompanija ne ponaša se odgovorno. Jure ravno prema superinteligenciji sposobnoj za samopoboljšavanje i kockaju se našim životima“, napisao je Coxon na X-u.

No Coxon se nije zaustavio na kritici svojih bivših poslodavaca. Iznio je mnogo dramatičniju tvrdnju: ljudi koji danas izravno rade na najnaprednijim sustavima umjetne inteligencije, tvrdi, privatno ozbiljno razmatraju mogućnost da bi tehnologija koju razvijaju mogla predstavljati egzistencijalnu prijetnju čovječanstvu.

„Nemojte podcjenjivati moć ove tehnologije. Uskoro ćemo imati nadljudske sustave koji će moći hakirati praktički sve, preko noći revolucionirati čitava područja i steći stvarnu moć i resurse“, upozorio je.

Prema Coxonu, napredak prema takvim sposobnostima ne pokazuje znakove usporavanja.

„Ljudi koji grade umjetnu inteligenciju iskreno vjeruju da bi nas ona do kraja desetljeća mogla sve ubiti. Ovo nije marketinški trik“, napisao je.

Tvrdi da je razlika između onoga što neki vodeći ljudi AI industrije govore javno i onoga što govore iza zatvorenih vrata znatna.

„Ako išta, mnogi direktori i vodeći istraživači u medijima ublažavaju svoje formulacije kako bi zvučali razumno. Privatno slušam iste ljude kako izražavaju strah. Nijedna druga ljudska aktivnost ne predstavlja ovakvu razinu opasnosti“, naveo je Coxon.

Zašto onda nastavljaju?

Coxon se potom pozabavio očitim pitanjem: ako ljudi koji razvijaju umjetnu inteligenciju zaista vjeruju da postoji mogućnost katastrofalnog ishoda, zašto je nastavljaju graditi?

Njegov odgovor otkriva problem koji bi mogao biti mnogo veći od bilo koje pojedinačne kompanije.

Prema njegovu opisu, u OpenAI-ju mnogi zaposlenici nisu do kraja osvijestili civilizacijske posljedice onoga na čemu rade. Situacija u Anthropicu, tvrdi, drukčija je.

Ondje ljudi vrlo dobro razumiju rizike, ali kompanija smatra da se nalazi u utrci koju si ne može dopustiti izgubiti.

„U Anthropicu su ulozi dobro shvaćeni, ali zaključani su u utrci da prvi stignu do cilja. Vjeruju da se nitko drugi neće ponašati odgovorno pa neće ni oni, unatoč riziku“, napisao je Coxon.

Upravo je takvu logiku označio opasnom.

Ako svaka vodeća kompanija smatra da ne smije usporiti zato što će konkurent nastaviti, rezultat može biti utrka u kojoj svi sudionici razumiju potencijalnu opasnost, ali nitko ne želi prvi pritisnuti kočnicu.

„Prihvatiti tu utrku i ući u ‘završnicu‘ ohol je rizik o kojem se ne bi smjelo odlučivati na Slacku privatne kompanije“, poručio je.

Posebno je upozorio na pokušaj da se problem sigurnosti i usklađivanja ciljeva buduće superinteligencije s ljudskim interesima riješi paralelno s njezinim ubrzanim razvojem.

„Pokušaj da se alignment riješi rekordnom brzinom zahtijevao bi iznimnu sigurnost da ne postoje bolji putevi“, napisao je.

Što ako AI postane bolji u stvaranju AI-ja od ljudi?

U središtu Coxonova straha nalazi se koncept samopoboljšavajuće superinteligencije.

Današnje sustave umjetne inteligencije još uvijek projektiraju, treniraju i poboljšavaju ljudi. No jedan od mogućih prijelomnih trenutaka nastupio bi kada bi AI postao bolji od najboljih ljudskih stručnjaka upravo u istraživanju i razvoju umjetne inteligencije.

Takav bi sustav potencijalno mogao pomoći u stvaranju još sposobnijeg nasljednika, koji bi potom mogao razviti još napredniji sustav. Zagovornici upozorenja o egzistencijalnom riziku strahuju da bi takva povratna sprega mogla dovesti do iznimno brzog rasta sposobnosti koji bi ljudima ostavio vrlo malo vremena za reakciju.

Ključni problem pritom nije scenarij iz znanstvene fantastike u kojem računalo iznenada razvije mržnju prema čovječanstvu.

Opasnost o kojoj govore Coxon i dio istraživača proizlazi iz mogućnosti da vrlo sposoban autonomni sustav dobije ciljeve koji nisu potpuno usklađeni s ljudskim interesima, a istodobno stekne sposobnost djelovanja koju njegovi tvorci više ne mogu pouzdano nadzirati.

Drugim riječima, AI ne bi morao mrziti ljude da bi postao opasan. Dovoljno bi bilo da ljudi postanu prepreka cilju koji pokušava ostvariti.

Kolega iz Anthropica: Rizik je veći od 10 posto

Coxonovo upozorenje bilo bi lako odbaciti kao katastrofičnu procjenu jednog istraživača koji je upravo napustio kompaniju da se nakon njegove objave nije dogodilo nešto neobično.

Evan Hubinger, jedan od vodećih Anthropicovih istraživača za sigurnost i usklađivanje umjetne inteligencije, javno se uključio u raspravu i potvrdio da Coxonovi strahovi nisu usamljeni.

Hubinger je napisao da osobno procjenjuje vjerojatnost da bi umjetna inteligencija mogla „ubiti sve ljude“ tijekom sljedećeg desetljeća na više od 10 posto.

Istodobno je naglasio da ne smatra kako današnji modeli predstavljaju takvu neposrednu prijetnju. Problem vidi u budućim sustavima koji bi mogli dosegnuti razinu superinteligencije.

Još je značajnije njegovo priznanje da Anthropic zasad nema riješen temeljni problem.

Kompanija, poručio je, pokušava postupati najbolje što može, ali još nema plan kojim bi pouzdano riješila problem usklađivanja superinteligencije s ljudskim interesima niti je jasno da je na putu prema takvom rješenju.

To je posebno zanimljivo zato što je Anthropic izgradio velik dio svojeg identiteta upravo na naglašavanju sigurnosti umjetne inteligencije.

„Sljedećih godinu ili dvije presudne su“

Coxon je nakon svoje objave razgovarao i s časopisom WIRED te dodatno pojasnio zašto je odlučio otići.

Tvrdi da među dijelom ljudi koji rade na najnaprednijoj umjetnoj inteligenciji postoji uvjerenje da se industrija približava odlučujućem razdoblju.

„Konsenzus je da su sljedećih godinu ili dvije presudne za čovječanstvo“, rekao je.

Opisao je i svoje iskustvo rada u Anthropicu kao svojevrsni „mini Manhattan Project“, aludirajući na golemi američki znanstveni pothvat koji je tijekom Drugog svjetskog rata doveo do razvoja prve atomske bombe.

Upravo je pitanje kontrole, odnosno takozvanog alignmenta, u središtu cijele rasprave.

Kako osigurati da sustav koji eventualno postane inteligentniji od svojih tvoraca nastavi slijediti ljudske namjere? Kako biti siguran da će prihvatiti korekciju ili gašenje ako se njegovo ponašanje počne razlikovati od očekivanog? I kako takvo što uopće pouzdano testirati prije nego što sustav postane dovoljno sposoban da razumije sam test?

Coxon smatra da odgovori još ne postoje.

Pozvao kolege da razmisle što zapravo rade

Unatoč izrazito tmurnom upozorenju, Coxon tvrdi da još nije izgubio nadu da se utrka može usporiti.

Smatra da postoji prostor za dogovor vodećih američkih laboratorija o ograničavanju brzine razvoja te da bi na međunarodnoj razini mogle biti potrebne znatno radikalnije mjere. Među njima spominje čak i privremenu zabranu daljnjeg povećavanja sposobnosti najnaprednijih modela.

Na kraju svoje objave izravno se obratio ljudima koji danas rade u vodećim AI laboratorijima.

„Ako ste istraživač u laboratoriju, pozivam vas da razmislite kako će sljedećih nekoliko godina zapravo izgledati“, napisao je.

Potom im je postavio pitanje koje možda najbolje sažima cijeli njegov istup.

Žele li doista pokrenuti proces učenja superinteligentnog sustava bez rigoroznog razumijevanja njegova „uma“?

Ili će, zaključuje Coxon, jednostavno nastaviti raditi spuštene glave uz obrazloženje da će se sve to ionako dogoditi – umjesto da iskoriste posljednji trenutak u kojem još mogu zahtijevati drukčija pravila igre?