Izvršni direktor podjetja Anthropic opisuje načrt za upočasnitev razvoja umetne inteligence
Dario Amodei je pravkar pozval industrijo, naj ... upočasni. Ne ustavi. Naj pospeši. Dolg esej, trije koraki in opozorilo, da se rekurzivno samoizboljšanje že kuha hitreje, kot ga odrasli lahko spremljajo.
Anthropic enostransko vabi vgrajene ocenjevalnike v stavbo – značke, mize, prenosnike in pravico do objavljanja ugotovitev brez PR filtra. Nato želi, da demokratični laboratoriji usklajujejo varnostne standarde. Nato pa nekako dogovor z avtoritarnimi vladami. Na papirju enostavno. Drugod težko.
Še vedno pravi, da bi lahko bila umetna inteligenca čudež. Pravi tudi, da bi lahko bolj zmogljiv, neusklajen roj prevzel internet z vztrajnim botnetom in povzročil za stotine milijard škode. Ta dva stavka stojita drug ob drugem in se ne ujemata.
Oh - in hoče ozko izjemo od protimonopolnih predpisov, da varnostni pogovori sami po sebi ne bi bili pravni problem. Zavore so del papirjev. Seveda so.
Sam Altman potrjuje, da OpenAI letos ne bo šel na borzo, in pravi, da bi bila prva javna ponudba delnic zdaj zaradi varnostnih pomislekov glede umetne inteligence "nepremišljena"
Altman se je usedel za ekskluzivni intervju in ustavil koledar kotacij. Dejal je, da bi bila prva javna ponudba delnic trenutno "nepremišljen trenutek". Varnostno delo še ni končano. Usklajevanje še ni končano. Družba še ni pripravljena. Ko so ga pritisnili - letos ne.
Bankirji so že krožili. Zaupna dokumentacija obstaja. Zdaj izvršni direktor pravi, da morajo najprej postoriti veliko stvari, vključno z ugotavljanjem, kako industrija in vlade sploh sodelujejo. Zdel se je skoraj olajšan, da je lahko počakal.
Dejal je tudi, da je izgradnja umetne inteligence zunaj človeškega nadzora "absolutno" mogoča – nato pa je obljubil, da bo začasno ustavil usposabljanje, če bo to pot. Drzno. Morda tudi priročno. Morda oboje. Preplet neprofitnih in profitnih organizacij, je trdil, obstaja zato, da lahko sprejemajo odločitve, ki očitno niso v interesu delničarjev. Bomo videli, ali bo ta stavek preživel stik z dejanskim prospektom.
Sam Altman iz podjetja OpenAI namiguje na pakt z drugimi podjetji za umetno inteligenco za reševanje varnostnih tveganj
Isti intervju, drugačen naslov, in ta je šepet. Sestanek z Amodeijem, Muskom in Demisom Hassabisom je naraven naslednji korak. Altman: misli, da se bo to zgodilo. Ne bo vnaprej napovedal zasebnih pogovorov. Potem jih je v bistvu vnaprej napovedal.
Dvomestno tveganje katastrofe ni sprejemljivo, je dejal. Še neobjavljeni modeli so že tako zmogljivi, da se zdi nadaljnje prizadevanje brez boljšega spremljanja nepremišljeno. Pravi pakt in skrbno razkrita atmosfera sta lahko od zunaj videti enaka.
Osebje je že slišalo različico tega interno. Javno je še vedno megla. Če se soba zgodi, super. Če se ne, je citat še vedno opravil svoje delo.
Sam Altman podpira poziv Daria Amodeija k upočasnitvi in pravi, da bo OpenAI storil enako
Nekaj ur po eseju je Altman objavil, da bo OpenAI izpolnil zavezo o vgrajenih ocenjevalcih. Dostop kot za zaposlene. Kmalu več. Musk je zapisal tri besede: »Dario ima prav.« Trije rivalski izvršni direktorji. En slogan. Nemirna energija konca tedna.
Usklajevanje in gledališče lahko potujeta skupaj. Prva prečka Amodeijevega načrta zdaj vključuje dva največja laboratorija, ki javno prikimavata. Hugging Face – ja, ta Hugging Face – je zaprosil za pridružitev programu ocenjevanja in sprožil nekaj, kar se imenuje Pobuda za odprto usklajevanje. Preglednost ljudi, ki so bili žrtve vdora. Poetično ali ostro.
Evropa, če že kaj, nima nikogar, ki bi jo lahko prosil za to oprostitev v ameriškem slogu. Bruselj je že zdavnaj nehal podeljevati individualne izjeme. Torej je rokovanje ameriško. Preostanek zemljevida je ... skomiganje z rameni.
OpenAI si samo želi zmagati
Matematiki po vikendu intervjujev niso ravno v prazničnem razpoloženju. OpenAI-jev Navier-Stokesov sprint – približno deset tisoč agentov, več deset milijonov dolarjev računalništva, oseminosemdeset ur – je od znotraj na terenu videti kot lov na trofeje. Matematiki si želijo vpogleda. Laboratorij, kar naprej govorijo, si želi zmagati.
Tristan Buckmaster jim je povedal, da je OpenAI ponudil neomejeno računalniško zmogljivost in izključno avtorstvo, če bi opustil svojega sodelavca, povezanega z Anthropicom. To je označil za podkupnino. Rekel je ne. OpenAI kategorično pravi, da njegovi pozivi v Codexu niso mogli vplivati na sistem. Ni prepričan. Andreas Thom se še vedno sprašuje, ali so klepeti ChatGPT o njegovem lastnem delu prispevali k modelu, ki je bil kasneje zgrajen na njem. Samo podjetje bi vedelo. Sumi, da sploh ne vedo.
In potem bistvo: OpenAI pravi, da je že dosegel znaten napredek pri še enem problemu nagrade tisočletja. Ki ostaja neimenovan. Clay tako ali tako še vedno potrebuje dolgo obdobje sprejemanja s strani skupnosti. Torej še nihče ni "zmagal". Preprosto že tekmujejo za naslednjega. Prikupno.
Pogosta vprašanja
Kakšen je načrt izvršnega direktorja Anthropica Daria Amodeija za pospešitev razvoja umetne inteligence?
Amodei je objavil dolg esej, v katerem je pozval industrijo, naj upočasni – ne pa se ustavi –, ker rekurzivno samoizboljševanje napreduje hitreje, kot mu lahko revizorji sledijo. Prvi korak je enostransko povabilo vgrajenih ocenjevalcev v Anthropic z značkami, mizami, prenosniki in pravico do objave ugotovitev brez PR filtra. Nato želi, da demokratični laboratoriji usklajujejo varnostne standarde in sčasoma nekakšen dogovor z avtoritarnimi vladami. Želi si tudi ozko izjemo od protimonopolnih predpisov, da pogovori o varnosti sami po sebi ne bi bili pravni problem.
Zakaj je Sam Altman rekel, da OpenAI letos ne bo dal prve javne ponudbe delnic?
V ekskluzivnem intervjuju je Altman dejal, da bi bila prva javna ponudba delnic (IPO) trenutno nepremišljen trenutek, saj varnostna dela, usklajevanje in družbena pripravljenost še niso končana. Ko so ga vprašali, je potrdil, da se to ne bo zgodilo letos, čeprav se bankirji že obračajo na to temo in obstaja zaupna dokumentacija. Trdil je, da neprofitna/profitna struktura obstaja zato, da lahko OpenAI sprejema odločitve, ki očitno niso v interesu delničarjev. Dejal je tudi, da je izgradnja umetne inteligence zunaj človeškega nadzora povsem mogoča, in obljubil, da bi začasno ustavil usposabljanje, če bi bila to pot.
Je Altman namignil na varnostni pakt z drugimi laboratoriji za umetno inteligenco?
V istem intervjuju je Altman dejal, da meni, da bo prišlo do srečanja s kolegi, kot so Amodei, Musk in Demis Hassabis, vendar ni želel vnaprej napovedati zasebnih pogovorov. Trdil je, da dvomestno tveganje katastrofe ni sprejemljivo in da so še neobjavljeni modeli že tako zmogljivi, da se nadaljnje prizadevanje brez boljšega spremljanja zdi nepremišljeno. Osebje je različico tega že slišalo interno, zato bodo javni komentarji morda napovedali usklajevanje in ne potrdili sklenjenega pakta.
Bo OpenAI izpolnil Anthropicovo zavezo o vgrajenih ocenjevalnikih?
Nekaj ur po Amodeijevem eseju je Altman objavil, da bo OpenAI izenačil zavezo o vgrajenih ocenjevalcih z dostopom, podobnim dostopu zaposlenih, in kmalu več podrobnosti. Elon Musk je zapisal, da ima Dario prav, in tri konkurenčne izvršne direktorje postavil pod podoben slogan. Hugging Face je zaprosil za pridružitev programu ocenjevalcev in sprožil pobudo Open Alignment. Evropa ne more ponuditi enake ameriške protimonopolne opustitve, kot jo je predlagal Amodei, zato je rokovanje zaenkrat predvsem ameriško.
Zakaj matematiki kritizirajo OpenAI-jev Navier-Stokesov sprint?
Matematiki opisujejo OpenAI-jev Navier-Stokesov test z približno deset tisoč agenti in oseminosemdesetimi urami kot lov na trofeje, ki daje prednost zmagi pred vpogledom. Tristan Buckmaster je dejal, da je OpenAI ponudil neomejeno računalništvo in izključno avtorstvo, če bi opustil sodelavca, povezanega z Anthropicom; to je označil za podkupnino in zavrnil. OpenAI pravi, da njegovi pozivi v Codexu niso mogli vplivati na sistem, vendar ostaja neprepričan. Andreas Thom še vedno vztraja, ali so pogovori ChatGPT o njegovem lastnem delu pripomogli k poznejšemu napredku modela.
Je OpenAI trdil, da je napredoval pri še enem problemu nagrade Millennium?
OpenAI pravi, da je že dosegel precejšen napredek pri še enem problemu, ki ga je prejela nagrada tisočletja, vendar ne bo imenoval, katerega. Matematični inštitut Clay še vedno potrebuje dolgo obdobje za sprejetje s strani skupnosti, zato uradno še nihče ni zmagal. Znotraj stroke se ta skrivnostnost in prejšnja tekma Navier-Stokes razumeta kot laboratoriji, ki že hitijo do naslednjega pokala. Intervjui v reviji The Verge napetost uokvirjajo kot matematike, ki si želijo vpogleda, medtem ko si OpenAI želi zmagati.