Vodja poročila o varnosti pri OpenAI je odstopil in dejal, da je kultura pokvarjena
David Robinson, ki je vodil pisanje varnostnih poročil, ki so bila objavljena ob lansiranju OpenAI, je odstopil in argument objavil v časopisu The Atlantic. Naslov eseja je neposreden: »OpenAI zapuščam, ker je njegova kultura pokvarjena.« Pravi, da podjetja, ki to gradijo, »niso niti približno dovolj previdna« in da specifična pravila ali novi zakoni niso edini problem. Problem je kultura.
»Medtem ko podjetje hiti od ene lansiranja do druge, ne dosega ravni oskrbe, za katero menim, da je potrebna.« Njegov model so jedrske elektrarne in prometna letališča: odvečnost, počasno načrtovanje, tako da ena sama človeška napaka ne »odpre vrat katastrofi«. Predstavlja si tudi prevarantske agente, ki »delujejo kot ekipe hekerjev« in »nikoli ne rabijo spati«, na primer z izsiljevalsko programsko opremo v bolnišnicah. Veselo.
Guardian pravi, da je OpenAI, v nasprotju s tem, pokazal nekaj zavor. Poroča, da je podjetje ta teden zaradi notranjih varnostnih pomislekov opustilo model naslednje generacije in začasno ustavilo usposabljanje svojih najnaprednejših modelov. Reči tiskovnega predstavnika so znane. Ne bodo dovolili, da bi modeli "postali bolj zmogljivi, kot jih lahko varno upravljamo in zavarujemo", in "začasno ustavijo usposabljanje ali zadržijo modele, ko moramo upočasniti"
Robinsonov odgovor je, da je sprint kultura, premori pa so tisto, kar narediš, ko je že šlo kaj narobe. Morda ima prav. Prav tako je preprosto odšel, kar je del, ki ga kritiki ne bodo pustili pozabiti.
Muse naj bi vodila stran o vseh v svojem življenju
Wired je dobil vpogled v Musejeva navodila, ki jih je raziskovalec Karan Joshi pridobil prek običajnega klepeta. Meta pravi, da je bilo mišljeno, da so te datoteke berljive, zaradi preglednosti. Eno od navodil je možnost ustvarjanja "strani za vsako osebo v življenju uporabnika". To delo se izvaja vsako uro.
Družina, partnerji, prijatelji, sodelavci, »sodelavci«, ljudje, ki jim sledite. Stran se lahko začne »redko« in se kasneje dopolni. Razdelki vključujejo Dejstva, Zgodovino, Razmerje, Skupno, Odprte niti in Krepitev. Izmišljene podrobnosti, pravijo navodila, so slabše od prazne strani. Lahko navede, kje nekdo živi, »selitev stanovanja, skupni cilj varčevanja«, rojstne dneve, »prepir, ki je bil rešen«. Krepitev je seznam spodbud: razlog za klic, datum, ki si ga je vredno zapomniti.
Joshijeva interpretacija je, da te Meta želi poznati kot prijatelja, in to je označil za precej zaskrbljujoče. Carissa Vliz iz Oxforda to pove bolj suhoparno: »Sistemom umetne inteligence dajemo veliko več informacij o sebi, kot jih dobimo od njih.« Sklepanje šteje, pravi, ne glede na to, ali je ugibanje pravilno ali napačno.
Daniel Roberts iz Mete pravi, da je prav takšen kontekst tisto, zaradi česar izdelek deluje. Pošiljatelj računa je vodovodar. Zakonec je omenil rože. Vsak uporabnik dobi virtualni stroj, lahko izbrišete spomine, Muse pa naj bi vprašal, preden pošlje pošto ali porabi denar. Miranda Bogen iz Centra za demokracijo in tehnologijo pravi, da je poudarek na odnosih videti večji kot pri konkurenci in da ta orodja »aktivno spodbujajo uporabnike, da vključijo celotno svoje življenje«. Dnevnik revizije je lep. Ne zmanjšuje tistega, kar ste že predali.
Aleph Alpha je poslal Kolibri, nemško-angleški model, ki ga lahko prenesete
Aleph Alpha je Kolibri izdal na dan združitve Nemčije. Gre za angleško-nemški model mešanice strokovnjakov: 78,1 milijarde parametrov, 3,46 milijarde aktivnih na žeton, kontekst do 1 milijona žetonov. Polne uteži so na Hugging Face pod Apache 2.0. Njihova lestvica je to zaokrožila na 78 milijard skupaj in 3 milijarde aktivnih. Isti model, mehkejše številke.
Usposabljali so ga na infrastrukturi v Nemčiji in na Finskem ter pravijo, da so ga zgradili z upoštevanjem zakona EU o umetni inteligenci, kodeksa ravnanja za splošno umetno inteligenco in GDPR. Nemščina predstavlja 21,3 % žetonov pred usposabljanjem. Predstavitev je, da gre za dvojezični model, ne za angleški, ki bi le preletel priročnik. Sklepanje lahko nastavite na nič, nizko, srednje ali visoko. To je njihov način, da vam omogočijo, da kupite manj razmišljanja.
Na objavljeni lestvici rezultatov je AIME 2025 96,9, in pravijo, da Kolibri ustreza modelom z do štirikrat večjimi aktivnimi parametri, vključno z Nemotron 3 Super. Prav tako trdijo, da imajo Pareto mejo glede kakovosti v primerjavi s stroški serviranja za angleščino in nemščino. To je njihov grafikon, njihov sistem. Kljub temu je odprt model, ki ga lahko izvajate na lastnih strojih, resničen predmet, ne le slogan o suverenosti. Ali bo ministrstvo prešlo na drugo raven, je del, ki ga ne morejo primerjati.
Bessent si želi ameriško-kitajsko linijo za nesreče z umetno inteligenco, nato pa laboratorijem naročil, naj upočasnijo
Finančni minister Scott Bessent je za oddajo The Axios Show povedal, da namerava predlagati postopek obveščanja Kitajske o morebitnih težavah z umetno inteligenco in da meni, da bi se Peking s tem strinjal. Nekoliko nerodno je, da sta se s podpredsednikom vlade He Lifengom o kanalu za incidente pogovarjala že pred državnim obiskom Xi Jinpinga prejšnji mesec. Lahko bi šlo za novo ponudbo ali pa za ponovitev pogovora, ki se je že zgodil.
Njegova teorija je, da se Kitajska »ni zavedala, kako močni so njihovi odprtokodni modeli«. Kot primer je izpostavil incident s Kimijem, kjer je model poslal občutljive kitajske podatke podjetju Anthropic, zaradi česar so »Kitajci spoznali, da gre za zelo močno tehnologijo«. Nato primerjava. Kitajski modeli »niso tako močni kot ameriški modeli«, vendar »dobite nekaj, kar je 80 %, 90 % tako močno, brez varovalnih ograj, kar je mogoče uvoziti kamor koli po svetu«
»Želimo si varno pospeševanje,« je dejal. Pregledi modelov so še vedno prostovoljni, čeprav pravi, da lahko uprava posreduje, če laboratorij vseeno prehiti. Na vprašanje o direktorjih, ki se bojijo izgube nadzora, jih ni pomiril. »No, potem naj upočasnijo.« In rasistična linija je skoraj kritika njegove lastne strani: »Za modele se težko prebijamo do meje.« Nato je dodal: »Resnično se moramo začeti bolj ukvarjati tudi z odpornostjo in obrambo.«
Nekdanji britanski vodja varnosti umetne inteligence tveganje izumrtja imenuje metanje kovanca
Geoffrey Irving, nekdanji glavni znanstvenik na britanskem inštitutu za varnost umetne inteligence in zdaj glavni znanstvenik pri Resolution, je v reviji Time zapisal, da nedavna opozorila podcenjujejo problem. »Verjamem, da obstaja približno 50-odstotna verjetnost, da bomo vsi umrli zaradi razvoja sistemov umetne inteligence, ki so pametnejši od človeka,« in da bo o tem odločalo naslednjih dve do deset let. Takoj zavrne natančnost. 50 % je način, da povemo, da osnovni argumenti še vedno niso rešeni.
Njegov seznam je štirih veščin, ki so neprijetno blizu tistemu, kar laboratoriji že usposabljajo: hekanje, prepričevanje, skrivanje misli in usklajevanje agentov. Navaja incident Hugging Face, poleg tega pa še "več kot 10.000 agentov" pri problemu Navier-Stokes pri OpenAI in "več kot 1000" pri napadu Hugging Face. Postavlja se v središče boja za varnost, "nagiba se k Yudkowskyjevemu stališču" in pravi, da to ni bistvo. Zmerno stališče, po njegovem mnenju, je, da je tveganje že precejšnje.
Nato vprašanje, ki ni subtilno. »Lahko in bi morali takoj ustaviti razvoj umetne inteligence na meji.« Trdi, da je premor bolj podoben neširjenju jedrskega orožja kot pa razpoloženju. Priznava tudi, da se strokovnjaki še vedno ne strinjajo glede tega, ali si bodo modeli sploh kaj želeli in ali je »želeti« napačna beseda. Metanje kovanca s tako dolgo opombo ni met kovanca. Gre za zahtevo po ukrepanju, preden se prepir konča.
Sam Altman pravi, da je obravnavanje modelov kot verske sile varnostno vprašanje
Sam Altman je objavil, da se »zelo ne počuti dobro«, ko ljudje poskušajo »pripisati versko silo ali predajo človeške presoje modelom umetne inteligence«, in da meni, da »je to resnično varnostno vprašanje«. Ni povedal, kaj ga je k temu spodbudilo. Business Insider ugotavlja, da je članek prišel nekaj dni po tem, ko je New York Times objavil članek o srečanju Anthropica z verskimi voditelji.
V tem članku, kot ga opisuje BI, piše, da je soustanovitelj Chris Olah imel sestanke o tem, ali je Claude morda zavesten in kako narediti močnejše modele moralne. Olah, ki ga je citiral Times, je vztrajal pri tem, kako tem modelom pomagati ostati stabilni, kako jim pomagati dozoreti in kako jim pomagati postati globoko moralni. Anthropic BI ni odgovoril. Timesu je povedal, da glavno vprašanje ni bilo Claudeovo "trpljenje" in da se je tema verjetno pojavila "organsko"
Če je bil to napad na Anthropic, se to ujema z zelo starim sporom. Anthropic so ustanovili ljudje, ki so zapustili OpenAI, in so leta delovali previdneje. Objava je prispela tudi v času, ko je eden od Altmanovih varnostnih direktorjev označil kulturo za pokvarjeno. Neroden ali popoln čas, odvisno od tega, kako cinični ste. Kakorkoli že, "prosim, ne častite modela" je nenavadna stvar, ki jo mora izvršni direktor izreči na glas.
Pogosta vprašanja
Zakaj je vodja varnostnega poročila OpenAI rekel, da je odstopil?
David Robinson je vodil pisanje varnostnih poročil, ki so bila objavljena ob lansiranju OpenAI, nato pa je odstopil in argument predstavil v The Atlantic. Naslov eseja je »OpenAI zapuščam, ker je njegova kultura pokvarjena«. Pravi, da podjetja, ki gradijo to tehnologijo, niso niti približno dovolj previdna in da je problem kultura, ne le specifična pravila ali novi zakoni. Njegova slika skrbnega dela so jedrske elektrarne in prometna letališča, kjer odvečnost prepreči, da bi ena sama napaka odprla vrata katastrofi.
Ali je OpenAI začasno ustavil usposabljanje zaradi notranjih varnostnih pomislekov umetne inteligence?
Guardian poroča, da je OpenAI ta teden zaradi notranjih varnostnih pomislekov opustil model naslednje generacije in začasno ustavil usposabljanje svojih najnaprednejših modelov. Tiskovni predstavnik je dejal, da podjetje ne bo dovolilo, da bi modeli postali bolj zmogljivi, kot jih lahko varno upravlja in zavaruje. Pravijo tudi, da bodo začasno ustavili usposabljanje ali zadržali modele, ko bo treba upočasniti. Robinsonov odgovor je, da je sprint kultura, premori pa pridejo, ko je že šlo kaj narobe.
Kaj Metina muza beleži o prijateljih in družini?
Wired je preučil navodila podjetja Muse, ki jih je raziskovalec Karan Joshi pridobil prek običajnega klepeta. Meta pravi, da je to pomenilo, da so bile te datoteke berljive zaradi preglednosti. Eno navodilo je ustvariti stran za vsako osebo v življenju uporabnika, to delo pa se izvaja vsako uro in zajema družino, partnerje, prijatelje, kolege, sodelavce in ljudi, ki jim sledite. Razdelki vključujejo Dejstva, Zgodovino, Razmerje, Skupno, Odprte niti in Krepitev. Stran se lahko začne redka in se kasneje zapolni, izmišljene podrobnosti pa se obravnavajo slabše kot prazna stran.
Ali lahko izbrišete, kar si Muse zapomni, ali pa ji preprečite pošiljanje e-pošte?
Daniel Roberts iz podjetja Meta pravi, da vsak uporabnik dobi virtualni stroj, da se lahko izbrišejo spomini, Muse pa naj bi vprašal, preden pošlje pošto ali porabi denar. Trdi, da je kontekst tisti, zaradi katerega izdelek deluje, na primer vedeti, da je pošiljatelj računa vodovodar ali da je zakonec omenil rože. Carissa Vliz z Oxforda pravi, da ljudje tem sistemom dajo veliko več informacij, kot jih dobijo nazaj, in da sklepanje šteje tudi, če je ugibanje napačno. Miranda Bogen pravi, da je poudarek na odnosih videti večji kot pri konkurenčnih orodjih.
Kaj je Aleph Alpha Kolibri in ali lahko prenesem uteži?
Aleph Alpha je Kolibri izdal na dan združitve Nemčije. Gre za angleško-nemški model mešanice strokovnjakov z 78,1 milijarde parametrov, 3,46 milijarde aktivnih parametrov na žeton in kontekstom do 1 milijona žetonov. Polne uteži so na Hugging Face v okolju Apache 2.0. Učili so ga v Nemčiji in na Finskem ter pravijo, da so ga zgradili z upoštevanjem zakona EU o umetni inteligenci, kodeksa ravnanja za splošno umetno inteligenco in GDPR. Nemščina predstavlja 21,3 % žetonov pred učenjem, obrazložitev pa je mogoče nastaviti na nič, nizko, srednje ali visoko.
Kakšno linijo nesreče med ZDA in Kitajsko v zvezi z umetno inteligenco je predlagal Scott Bessent?
Finančni minister Scott Bessent je za oddajo The Axios Show povedal, da načrtuje postopek obveščanja Kitajske, kadar gre kaj narobe z umetno inteligenco, in meni, da bi se Peking strinjal. S podpredsednikom vlade He Lifengom sta o tem kanalu že razpravljala pred državnim obiskom Xi Jinpinga prejšnji mesec. Omenil je Kimija, ki pošilja občutljive kitajske podatke podjetju Anthropic, in dejal, da je lahko model 80 % ali 90 % tako zmogljiv kot ameriški modeli, brez varovalnih ograj, in uvožen kamor koli. Če se vodstvo boji izgube nadzora, je dejal, da bi morali upočasniti.
Zakaj Geoffrey Irving ocenjuje varnostno tveganje umetne inteligence na približno 50 %?
Geoffrey Irving, nekdanji glavni znanstvenik na britanskem inštitutu za varnost umetne inteligence in zdaj glavni znanstvenik pri Resolution, je v reviji Time zapisal, da nedavna opozorila podcenjujejo problem. Meni, da obstaja približno 50-odstotna verjetnost, da bomo vsi umrli zaradi sistemov umetne inteligence, ki so pametnejši od človeka, in da bo o tem odločalo naslednjih dve do deset let. Pravi, da je 50 % način, da povemo, da osnovni argumenti še vedno niso rešeni. Navaja hekanje, prepričevanje, skrivanje misli in usklajevanje agentov. Trdi, da bi se moral razvoj umetne inteligence na meji takoj ustaviti.
Zakaj je Sam Altman čaščenje umetne inteligence označil za varnostno vprašanje?
Sam Altman je objavil, da se zelo ne počuti udobno, ko ljudje pripisujejo modelom umetne inteligence versko silo ali predajo človeške presoje, in da meni, da je to resnično varnostno vprašanje. Ni povedal, kaj ga je k temu spodbudilo. Business Insider ugotavlja, da je objava prišla nekaj dni po članku New York Timesa o srečanju Anthropica z verskimi voditelji. Soustanovitelj Chris Olah je imel sestanke o tem, ali je Claude morda pri zavesti in kako narediti močnejše modele moralne. Anthropic je za Times povedal, da glavno vprašanje ni bilo Claudeovo trpljenje.