Koliko energije porabi umetna inteligenca?

Koliko energije porabi umetna inteligenca?

Odgovor: Umetna inteligenca lahko za preprosto besedilno nalogo porabi zelo malo električne energije, veliko več pa, kadar so pozivi dolgi, izhodi večmodalni ali sistemi delujejo v velikem obsegu. Usposabljanje je običajno glavni začetni udarec energije, medtem ko vsakodnevno sklepanje postane pomembno, ko se zahteve kopičijo.

Ključne ugotovitve:

Kontekst : Preden navedete kakršno koli oceno porabe energije, opredelite nalogo, model, strojno opremo in obseg.

Usposabljanje : Pri načrtovanju proračuna obravnavajte usposabljanje modela kot glavni predhodni energetski dogodek.

Sklepanje : Pozorno spremljajte ponavljajoče se sklepanje, saj se majhni stroški na zahtevo pri velikem obsegu hitro seštevajo.

Infrastruktura : V realistično oceno vključite hlajenje, shranjevanje, omrežja in neizkoriščeno zmogljivost.

Učinkovitost : Za zmanjšanje porabe energije uporabite manjše modele, krajše pozive, predpomnjenje in paketno obdelavo.

Koliko energije porabi umetna inteligenca? Infografika

Članki, ki jih boste morda želeli prebrati po tem:

🔗 Kako umetna inteligenca vpliva na okolje
Pojasnjuje ogljični odtis umetne inteligence, porabo energije in kompromise na področju trajnosti.

🔗 Je umetna inteligenca škodljiva za okolje?
Razkriva skrite okoljske stroške modelov umetne inteligence in podatkovnih centrov.

🔗 Je umetna inteligenca dobra ali slaba? Prednosti in slabosti
Uravnotežen pogled na koristi, tveganja, etiko in dejanske vplive umetne inteligence.

🔗 Kaj je umetna inteligenca? Preprost vodnik
Naučite se osnov umetne inteligence, ključnih izrazov in vsakdanjih primerov v nekaj minutah.

Zakaj je to vprašanje pomembnejše, kot si ljudje mislijo 🔍

Poraba energije umetne inteligence ni le okoljska tema pogovora. Dotika se nekaj zelo resničnih stvari:

  • Stroški elektrike – zlasti za podjetja, ki izvajajo veliko zahtev za umetno inteligenco

  • Vpliv ogljika – odvisno od vira napajanja za strežniki

  • Obremenitev strojne opreme - zmogljivi čipi porabijo veliko moči

  • Odločitve o skaliranju – ena poceni pobuda se lahko spremeni v milijone dragih

  • Oblikovanje izdelkov – učinkovitost je pogosto boljša lastnost, kot si ljudje mislijo ( Google Cloud , zelena umetna inteligenca )

Mnogi ljudje se sprašujejo: "Koliko energije porabi umetna inteligenca?", ker želijo dramatično številko. Nekaj ​​ogromnega. Nekaj, kar bi pritegnilo pozornost javnosti. Ampak boljše vprašanje je tole: O kakšni uporabi umetne inteligence govorimo? Ker to spremeni vse. ( IEA )

En sam predlog za samodejno dokončanje? Precej majhen.
Usposabljanje modela na mejnem območju v ogromnih grozdih? Veliko, veliko večji.
Vedno delujoč potek dela umetne inteligence v podjetju, ki se dotika milijonov uporabnikov? Da, to se hitro sešteva ... kot če bi se drobiž spremenil v najemnino. ( DOE , Google Cloud )

Koliko energije porabi umetna inteligenca? Kratek odgovor ⚡

Tukaj je praktična različica.

Umetna inteligenca lahko porabi od drobnega delčka vatne ure za lažje naloge do ogromnih količin električne energije za obsežno usposabljanje in uvajanje. Ta razpon se sliši komično širok, ker je širok. ( Google Cloud , Strubell et al. )

Preprosto povedano:

  • Preproste naloge sklepanja - pogosto relativno skromne na podlagi uporabe

  • Dolgi pogovori, veliki izhodi, ustvarjanje slik, ustvarjanje videa - opazno bolj energetsko potratno

  • Usposabljanje velikih modelov - prvak v težki kategoriji porabe energije

  • Celodnevno izvajanje umetne inteligence v velikem obsegu – kjer »majhna zahteva« postane »velik skupni račun« ( Google Cloud , DOE )

Dobro pravilo je tole:

  • Usposabljanje je velikanski dogodek, ki prinaša energijo 🏭

  • Sklep je tekoči račun za komunalne storitve 💡 ( Strubell et al. , Google Research )

Ko torej nekdo vpraša, koliko energije porabi umetna inteligenca?, je neposreden odgovor: »Ne ena sama količina – ampak dovolj, da je učinkovitost pomembna, in dovolj, da obseg spremeni celotno zgodbo.« ( IEA , Zelena umetna inteligenca )

Vem, da to ni tako privlačno, kot si ljudje želijo. Ampak res je.

Kaj naredi dobro različico ocene porabe energije z umetno inteligenco? 🧠

Dobra ocena ni le dramatična številka, prikazana na grafiki. Praktična ocena vključuje kontekst. Sicer je kot tehtanje megle s kopalniško tehtnico. Dovolj blizu, da se sliši impresivno, ne pa dovolj blizu, da bi ji zaupali. ( IEA , Google Cloud )

Dobra ocena energije umetne inteligence bi morala vključevati:

  • Vrsta naloge - besedilo, slika, zvok, video, učenje, natančna nastavitev

  • Velikost modela - večji modeli običajno potrebujejo več računalništva

  • Uporabljena strojna oprema - niso vsi čipi enako učinkoviti

  • Dolžina seje – kratki pozivi in ​​dolgi večstopenjski poteki dela se zelo razlikujejo

  • Poraba - sistemi v stanju mirovanja še vedno porabljajo energijo

  • Hlajenje in infrastruktura - strežnik ni celoten račun

  • Lokacija in energijska mešanica – elektrika ni povsod enako čista ( Google Cloud , IEA )

Zato se lahko dva človeka prepirata o porabi električne energije z umetno inteligenco in oba zvenita samozavestno, medtem ko govorita o popolnoma različnih stvareh. Ena oseba misli en sam odgovor klepetalnega robota. Druga misli velikanski trening. Oba rečeta "umetna inteligenca" in nenadoma pogovor zdrsne iz tira 😅

Primerjalna tabela - najboljši načini za oceno porabe energije umetne inteligence 📊

Tukaj je praktična tabela za vse, ki poskušajo odgovoriti na vprašanje, ne da bi ga spremenili v performans.

Orodje ali metoda Najboljše občinstvo Cena Zakaj deluje
Preprosta ocena na podlagi pravila palca Radovedni bralci, študenti Brezplačno Hitro, enostavno, malo nejasno - ampak dovolj dobro za grobe primerjave
Vatmeter na strani naprave Samostojni gradbeniki, hobisti Nizko Meri dejanski vlek stroja, ki je osvežujoče konkreten
Nadzorna plošča telemetrije GPU-ja Inženirji, ekipe strojnega učenja Srednje Boljše podrobnosti o računalniško zahtevnih nalogah, čeprav lahko spregledajo večje režijske stroške objekta
Obračunavanje v oblaku + dnevniki uporabe Zagonska podjetja, operativne ekipe Srednje do visoko Povezuje uporabo umetne inteligence z dejansko porabo - ni popolno, a še vedno precej dragoceno
Poročanje o energiji v podatkovnih centrih Podjetniške ekipe Visoka Omogoča širšo operativno preglednost, hlajenje in infrastruktura se začnejo prikazovati tukaj
Celotna ocena življenjskega cikla Ekipe za trajnostni razvoj, velike organizacije Visoka, včasih boleča Najboljše za resno analizo, ker gre dlje od samega čipa ... ampak je počasno in nekakšna zver

Popolne metode ni. To je tisti nekoliko frustrirajoči del. Vendar obstajajo ravni vrednosti. In ponavadi nekaj uporabnega premaga popolnost. ( Google Cloud )

Največji dejavnik ni magija - gre za računalništvo in strojno opremo 🖥️🔥

Ko si ljudje predstavljajo porabo energije z umetno inteligenco, si pogosto predstavljajo sam model kot nekaj, kar porablja energijo. Vendar je model programska logika, ki deluje na strojni opremi. Račun za elektriko se pojavi prav na strojni opremi. ( Strubell et al. , Google Cloud )

Največje spremenljivke običajno vključujejo:

Visoko optimiziran sistem lahko opravi več dela z manj energije. Površen sistem lahko porablja elektriko z osupljivo samozavestjo. Saj veste, kako je – nekatere nastavitve so dirkalni avtomobili, nekatere pa nakupovalni vozički z raketami, prilepljenimi z lepilnim trakom 🚀🛒

In ja, velikost modela je pomembna. Večji modeli običajno zahtevajo več pomnilnika in več računanja, zlasti pri ustvarjanju dolgih izhodov ali obdelavi kompleksnega sklepanja. Toda triki za učinkovitost lahko spremenijo sliko: ( Zelena umetna inteligenca , kvantizacija, paketiranje in strategije serviranja v rabi energije LLM )

Torej vprašanje ni le "Kako velik je model?", ampak tudi "Kako inteligentno se izvaja?"

Usposabljanje proti sklepanju - to sta različni živali 🐘🐇

To je razkol, ki zmede skoraj vse.

Usposabljanje

Usposabljanje je faza, ko se model uči vzorcev iz ogromnih naborov podatkov. To lahko vključuje veliko čipov, ki delujejo dalj časa in obdelujejo ogromne količine podatkov. Ta faza je energijsko lačna. Včasih zelo. ( Strubell et al. )

Energija vadbe je odvisna od:

  • velikost modela

  • velikost nabora podatkov

  • število vadbenih voženj

  • neuspešni poskusi

  • fino nastavljanje prehodov

  • učinkovitost strojne opreme

  • hladilni režijski stroški ( Strubell et al. , Google Research )

In tukaj je del, ki ga ljudje pogosto spregledajo – javnost si pogosto predstavlja en sam velik trening, opravljen enkrat, in konec zgodbe. V praksi lahko razvoj vključuje ponavljajoče se poskuse, uglaševanje, ponovno usposabljanje, evalvacijo in vse prozaične, a drage iteracije okoli glavnega dogodka. ( Strubell et al. , Green AI )

Sklepanje

Sklepanje je model, ki odgovarja na dejanske uporabniške zahteve. Ena zahteva se morda ne zdi veliko. Vendar se sklepanje dogaja znova in znova. Milijone-krat. Včasih milijarde-krat. ( Google Research , DOE )

Energija sklepanja narašča z:

Torej je trening potres. Sklepanje je plima. Eno je dramatično, drugo je vztrajno in oboje lahko nekoliko preoblikuje obalo. Morda je to nenavadna metafora, vendar bolj ali manj drži skupaj ...

Skriti stroški energije, na katere ljudje pozabljajo 😬

Ko nekdo oceni porabo energije umetne inteligence samo na podlagi čipa, običajno podceni porabo. Ne vedno katastrofalno, a dovolj, da je pomembno. ( Google Cloud , IEA )

Tukaj so skriti koščki:

Hlajenje ❄️

Strežniki proizvajajo toploto. Zmogljiva strojna oprema umetne inteligence je ustvari veliko. Hlajenje ni neobvezno. Vsak vat, porabljen za računanje, običajno zahteva večjo porabo energije samo za ohranjanje razumnih temperatur. ( IEA , Google Cloud )

Premik podatkov 🌐

Premikanje podatkov med shrambo, pomnilnikom in omrežji prav tako porablja energijo. Umetna inteligenca ne samo »razmišlja«. Prav tako nenehno premešča informacije. ( IEA )

Neaktivna zmogljivost 💤

Sistemi, zgrajeni za največje povpraševanje, ne delujejo vedno ob največji obremenitvi. Nedejavna ali premalo izkoriščena infrastruktura še vedno porablja električno energijo. ( Google Cloud )

Redundanca in zanesljivost 🧱

Varnostne kopije, sistemi za preklop v primeru okvare, podvojene regije, varnostne plasti – vse je dragoceno, vse del širše energetske slike. ( IEA )

Skladiščenje 📦

Podatki za učenje, vdelave, dnevniki, kontrolne točke, generirani izhodi - vse to nekje živi. Shranjevanje je seveda cenejše od računalništva, vendar ni brezplačno v smislu energije. ( IEA )

Zato na vprašanje » Koliko energije porabi umetna inteligenca?« ni mogoče dobro odgovoriti le z enim samim primerjalnim grafikonom. Pomemben je celoten sklad. ( Google Cloud , IEA )

Zakaj je lahko en poziv umetne inteligence majhen - naslednji pa je lahko pošast 📝➡️🎬

Vsi pozivi niso enaki. Kratka zahteva za prepisovanje stavka ni primerljiva z zahtevo po dolgi analizi, večstopenjski seji kodiranja ali ustvarjanju slik visoke ločljivosti. ( Google Cloud )

Stvari, ki ponavadi povečajo porabo energije na interakcijo:

Lahkoten besedilni odgovor je lahko relativno poceni. Velik multimodalni potek dela pa je lahko, no, ne poceni. To je nekoliko podobno naročanju kave v primerjavi s cateringom na poroki. Oboje se tehnično šteje kot »strežba hrane«. Eno ni enako drugemu ☕🎉

To je še posebej pomembno za produktne ekipe. Funkcija, ki se pri nizki uporabi zdi neškodljiva, lahko pri večjih količinah postane draga, če vsaka uporabniška seja postane daljša, bogatejša in bolj računalniško zahtevna. ( DOE , Google Cloud )

Potrošniška umetna inteligenca in umetna inteligenca za podjetja nista ista stvar 🏢📱

Povprečen človek, ki ležerno uporablja umetno inteligenco, bi lahko domneval, da so njihovi občasni pozivi velik problem. Običajno pa glavna zgodba o energiji ni tam. ( Google Cloud )

Uporaba v podjetjih spremeni matematiko:

  • tisoči zaposlenih

  • vedno vklopljeni kopiloti

  • avtomatizirana obdelava dokumentov

  • povzetek klicev

  • analiza slike

  • orodja za pregled kode

  • agenti v ozadju, ki se nenehno izvajajo

Tu začne skupna poraba energije igrati veliko vlogo. Ne zato, ker bi bilo vsako dejanje apokaliptično, ampak zato, ker je ponavljanje multiplikator. ( DOE , IEA )

Pri mojih lastnih testih in pregledih delovnega procesa so ljudje prav tukaj presenečeni. Osredotočijo se na ime modela ali bleščečo predstavitev in ignorirajo količino. Količina je pogosto pravi dejavnik – ali rešilna milost, odvisno od tega, ali zaračunavate strankam ali plačujete račun za komunalne storitve 😅

Za potrošnike se lahko vpliv zdi abstrakten. Za podjetja pa zelo hitro postane konkreten:

  • večji računi za infrastrukturo

  • večji pritisk za optimizacijo

  • večja potreba po manjših modelih, kjer je to mogoče

  • notranje poročanje o trajnostnem razvoju

  • več pozornosti predpomnjenju in usmerjanju ( Google Cloud , Green AI )

Kako zmanjšati porabo energije umetne inteligence, ne da bi se odpovedali umetni inteligenci 🌱

Ta del je pomemben, ker cilj ni »prenehati uporabljati umetno inteligenco«. Običajno to ni realistično in niti ni potrebno. Boljša uporaba je pametnejša pot.

Tukaj so največji vzvodi:

1. Uporabite najmanjši model, ki opravi delo

Ni vsaka naloga potrebna težka možnost. Lažji model za klasifikacijo ali povzemanje lahko hitro zmanjša odpadke. ( Zelena umetna inteligenca , Google Cloud )

2. Skrajšajte pozive in izpise

Več podrobnosti noter, več podrobnosti ven. Dodatni žetoni pomenijo dodatno računanje. Včasih je obrezovanje poziva najlažja zmaga. ( Kvantizacija, paketiranje in strategije serviranja v LLM Energy Use , Google Cloud )

3. Predpomni ponovljene rezultate

Če se ista poizvedba vedno znova pojavlja, je ne generirajte vsakič znova. To je skoraj očitno, a vendar se spregleda. ( Google Cloud )

4. Kadar je mogoče, izvajajte paketna opravila

Izvajanje nalog v paketih lahko izboljša izkoriščenost in zmanjša odpadke. ( Kvantizacija, paketno združevanje in strategije serviranja v LLM Energy Use )

5. Pametno usmerjajte naloge

Velike modele uporabljajte le, ko se zaupanje zmanjša ali se kompleksnost naloge poveča. ( Zelena umetna inteligenca , Google Cloud )

6. Optimizirajte infrastrukturo

Boljše razporejanje, boljša strojna oprema, boljša strategija hlajenja - prozaične stvari, ogromen dobiček. ( Google Cloud , DOE )

7. Izmerite, preden predpostavite

Veliko ekip misli, da vedo, kam gre moč. Nato izmerijo in tam je – dragi del je nekje drugje. ( Google Cloud )

Delo na področju učinkovitosti ni glamurozno. Redko dobi pohvale. Je pa eden najboljših načinov, da umetna inteligenca postane cenovno dostopnejša in bolj branljiva v velikem obsegu 👍

Pogosti miti o uporabi električne energije z umetno inteligenco 🚫

Razbijmo nekaj mitov, saj se ta tema hitro zaplete.

Mit 1 – Vsaka poizvedba umetne inteligence je izjemno potratna

Ni nujno. Nekateri so skromni. Obseg in vrsta naloge sta zelo pomembna. ( Google Cloud )

Mit 2 - Pomembno je le usposabljanje

Ne. Sklepanje lahko sčasoma prevlada, ko je uporaba ogromna. ( Google Research , DOE )

Mit 3 – Večji model vedno pomeni boljši rezultat

Včasih da, včasih absolutno ne. Veliko nalog deluje brez težav tudi z manjšimi sistemi. ( Zelena umetna inteligenca )

Mit 4 – Poraba energije samodejno pomeni ogljični vpliv

Ne ravno. Ogljik je odvisen tudi od vira energije. ( IEA , Strubell et al. )

Mit 5 – Za porabo energije umetne inteligence lahko dobite eno univerzalno številko

Ne moreš, vsaj ne v obliki, ki bi ostala smiselna. Lahko pa, vendar bo tako povprečeno, da ne bo več dragoceno. ( IEA )

Zato je pametno vprašati, koliko energije porabi umetna inteligenca – vendar le, če ste pripravljeni na večplasten odgovor namesto slogana.

Torej ... koliko energije v resnici porabi umetna inteligenca? 🤔

Tukaj je utemeljen sklep.

Umetna inteligenca uporablja:

  • malo , za nekaj preprostih opravil

  • veliko več , za težko multimodalno proizvodnjo

  • zelo velika količina za usposabljanje modelov velikega obsega

  • ogromna količina skupaj , ko se sčasoma naberejo milijoni zahtev ( Google Cloud , DOE )

Takšna je oblika.

Ključno je, da celotne težave ne zreduciramo na eno samo strašljivo številko ali en sam zaničljiv skomig z rameni. Poraba energije umetne inteligence je resnična. Pomembna je. Izboljšati jo je mogoče. In o tem se najbolje pogovarjamo v kontekstu, ne s teatralnostjo. ( IEA , Zelena umetna inteligenca )

Veliko javnih pogovorov niha med skrajnostmi – na eni strani »umetna inteligenca je v osnovi brezplačna«, na drugi pa »umetna inteligenca je električna apokalipsa«. Resničnost je bolj običajna, zaradi česar je bolj informativna. Gre za sistemski problem. Strojna oprema, programska oprema, uporaba, obseg, hlajenje, oblikovalske odločitve. Prozaično? Malo. Pomembno? Zelo. ( IEA , Google Cloud )

Ključne ugotovitve ⚡🧾

Če ste prišli sem in vprašali, koliko energije porabi umetna inteligenca?, je tukaj ključno vprašanje:

  • Ni univerzalne številke

  • Trening običajno porabi največ energije na začetku

  • Sklepanje postane pomemben dejavnik v velikem obsegu

  • Velikost modela, strojna oprema, delovna obremenitev in hlajenje so pomembni

  • Majhne optimizacije lahko naredijo presenetljivo veliko razliko

  • Najpametnejše vprašanje ni le »koliko«, ampak tudi »za katero nalogo, na katerem sistemu, v kakšnem obsegu?« ( IEA , Google Cloud )

Torej, da, umetna inteligenca porabi resnično energijo. Dovolj, da si zasluži pozornost. Dovolj, da upraviči boljši inženiring. Vendar ne na risankast način, ki temelji na eni sami številki.

Pogosta vprašanja

Koliko energije porabi umetna inteligenca za en sam poziv?

Za posamezen poziv ni univerzalne številke, ker je poraba energije odvisna od modela, strojne opreme, dolžine poziva, dolžine izpisa in morebitne dodatne uporabe orodij. Kratek besedilni odgovor je lahko relativno skromen, medtem ko lahko dolga večmodalna naloga porabi opazno več. Najbolj smiseln odgovor ni ena sama naslovna slika, temveč kontekst, ki obdaja nalogo.

Zakaj se ocene porabe moči umetne inteligence tako razlikujejo?

Ocene se razlikujejo, ker ljudje pogosto primerjajo zelo različne stvari pod eno samo oznako umetne inteligence. Ena ocena lahko opisuje lahek odgovor klepetalnega robota, druga pa lahko zajema ustvarjanje slik, video ali učenje modela v velikem obsegu. Da bi bila ocena smiselna, potrebuje kontekst, kot so vrsta naloge, velikost modela, strojna oprema, uporaba, hlajenje in lokacija.

Je večji strošek energije usposabljanje umetne inteligence ali vsakodnevno izvajanje umetne inteligence?

Usposabljanje je običajno velik začetni energijski dogodek, saj lahko vključuje veliko čipov, ki delujejo dlje časa na ogromnih naborih podatkov. Sklepanje so stalni stroški, ki se pojavijo vsakič, ko uporabniki pošljejo zahteve, in v velikem obsegu lahko postanejo zelo veliki. V praksi sta oba pomembna, čeprav na različne načine.

Zakaj je ena zahteva umetne inteligence veliko bolj energetsko potratna kot druga?

Daljša kontekstna okna, daljši izhodi, ponavljajoči se prehodi sklepanja, klici orodij, koraki iskanja in multimodalno generiranje – vse to ponavadi poveča porabo energije na interakcijo. Pomembni so tudi cilji zakasnitve, saj lahko zahteve po hitrejšem odzivu zmanjšajo učinkovitost. Majhna zahteva za prepisovanje in dolg delovni tok kodiranja ali slikanja preprosto nista primerljiva.

Katere skrite stroške energije ljudje spregledajo, ko sprašujejo, koliko energije porabi umetna inteligenca?

Mnogi se osredotočajo le na čip, pri čemer spregledajo hlajenje, premikanje podatkov, shranjevanje, zmogljivost mirovanja in zanesljivostne sisteme, kot so varnostne kopije ali območja za preklop v primeru okvare. Te podporne plasti lahko bistveno spremenijo celoten odtis. Zato samo merilo uspešnosti le redko zajame celotno sliko porabe energije.

Ali večji model umetne inteligence vedno porabi več energije?

Večji modeli običajno zahtevajo več računalništva in pomnilnika, zlasti za dolge ali kompleksne izhode, zato pogosto porabijo več energije. Vendar večji ne pomeni samodejno boljšega za vsako opravilo, optimizacija pa lahko sliko precej spremeni. Manjši specializirani modeli, kvantizacija, paketno združevanje, predpomnjenje in pametnejše usmerjanje lahko izboljšajo učinkovitost.

Je poraba umetne inteligence pri potrošnikih glavni energetski problem ali je večji problem umetna inteligenca pri podjetjih?

Občasna uporaba potrošnikov se lahko sešteje, vendar se širša zgodba o porabi energije pogosto pojavi pri uvajanju v podjetjih. Vedno delujoči kopiloti, obdelava dokumentov, povzemanje klicev, pregled kode in agenti v ozadju ustvarjajo ponavljajoče se povpraševanje pri velikih uporabniških bazah. Težava običajno ni toliko v enem dramatičnem dejanju kot v trajnostni količini skozi čas.

Koliko energije porabi umetna inteligenca, če vključimo podatkovne centre in hlajenje?

Ko je vključen širši sistem, postane odgovor bolj realističen in je običajno večji, kot kažejo ocene, ki temeljijo samo na čipih. Podatkovni centri potrebujejo energijo ne le za računanje, temveč tudi za hlajenje, mreženje, shranjevanje in vzdrževanje prostih zmogljivosti. Zato sta zasnova infrastrukture in učinkovitost objektov skoraj tako pomembna kot zasnova modela.

Kateri je najbolj praktičen način za merjenje porabe energije umetne inteligence v resničnem delovnem procesu?

Najboljša metoda je odvisna od tega, kdo meri in za kakšen namen. Grobo pravilo lahko pomaga pri hitrih primerjavah, medtem ko vatmetri, telemetrija GPU-ja, dnevniki obračunavanja v oblaku in poročanje podatkovnih centrov zagotavljajo postopoma močnejši operativni vpogled. Za resno delo na področju trajnosti je še močnejši celovitejši pogled na življenjski cikel, čeprav je počasnejši in zahtevnejši.

Kako lahko ekipe zmanjšajo porabo energije umetne inteligence, ne da bi se odpovedale uporabnim funkcijam umetne inteligence?

Največji dobički običajno izvirajo iz uporabe najmanjšega modela, ki še vedno opravlja delo, skrajšanja pozivov in izhodov, shranjevanja ponavljajočih se rezultatov v predpomnilnik, združevanja dela v pakete in usmerjanja le težjih nalog v večje modele. Pomembna je tudi optimizacija infrastrukture, zlasti razporejanje in učinkovitost strojne opreme. V mnogih prodajnih procesih merjenje najprej pomaga preprečiti, da bi ekipe optimizirale napačno stvar.

Reference

  1. Mednarodna agencija za energijo (IEA) - Povpraševanje po energiji zaradi umetne inteligence - iea.org

  2. Ministrstvo za energijo ZDA (DOE) - DOE je objavilo novo poročilo, ki ocenjuje povečano povpraševanje po električni energiji v podatkovnih centrih - energy.gov

  3. Google Cloud - Merjenje vpliva sklepanja umetne inteligence na okolje - cloud.google.com

  4. Google Research - Dobre novice o ogljičnem odtisu strojnega učenja - research.google

  5. Google Research - Ogljični odtis strojnega učenja se bo izravnal in nato zmanjšal - research.google

  6. arXiv - Zelena umetna inteligenca - arxiv.org

  7. arXiv - Strubell et al. - arxiv.org

  8. arXiv - Strategije kvantizacije, šaržiranja in serviranja pri rabi energije v programu LLM - arxiv.org

Poiščite najnovejšo umetno inteligenco v uradni trgovini z umetno inteligenco

O nas

Nazaj na blog