Kaj je podatkovni center z umetno inteligenco? [Videoposnetek in kviz]

Kratek odgovor: Podatkovni center umetne inteligence je z visoko gostoto , kjer so napajanje, hlajenje, tkanina in shranjevanje namenjeni usposabljanju in servisiranju modelov, ne pa strežniški sobi z dodatnimi grafičnimi procesorji. Čipi dobijo slavo; stavba odloča o tem, ali delujejo. Če slike ne morejo oditi, preuredite majhno celico; večina ekip bi morala najeti.

Ključne ugotovitve:

Čipi proti gradnji: Moč, hlajenje, tkanina in shranjevanje odločajo o tem, ali pospeševalniki delujejo.

Kraji, ne palače: Prenovite dva nosilca, ko podatkov ni mogoče oddati; ne kupujte kampusa.

Povprečje v primerjavi z mediano: Pri osmih izvedbah se mediana začne znova; uporabite 18-urno povprečje.

Odpornost proti zlorabi: Za dva regala v mešani dvorani ne navajajte PUE.

Ilustrativni rezultati: Osem poskusov je majhen zemljevid, ne pa 50-odstotni prihranek pri proizvodnji.

Članki, ki jih boste morda želeli prebrati po tem:

🔗 Ali je umetna inteligenca zanesljiva? Videoposnetek in kviz
Raziščite zanesljivost umetne inteligence z zanimivim videoposnetkom in interaktivnim kvizom.

🔗 Kako uporabljati umetno inteligenco v vsakdanjem življenju
Odkrijte praktične načine, kako lahko umetna inteligenca poenostavi vsakodnevna opravila in rutine.

🔗 Kako uporabljati umetno inteligenco pri delu
Naučite se praktičnih načinov uporabe umetne inteligence za pametnejšo produktivnost na delovnem mestu.

🔗 Ali lahko umetna inteligenca razmišlja sama s seboj?
Razumeti, ali lahko umetna inteligenca resnično razmišlja samostojno ali sklepa.

Kako se razlikuje od "običajnega" podatkovnega centra

Tradicionalne dvorane so optimizirane za mešane delovne obremenitve in čas delovanja za številne majhne storitve. Seveda vas zanima redundanca in koncept PUE – dodatna energija, ki jo stavba porabi za zagotavljanje ene vate računalniške moči. Običajno ne načrtujete vsakega hodnika okoli omare, ki se obnaša kot prenosna grelna elektrarna.

Spletna mesta z umetno inteligenco obrnejo razmerja. Gostota se poveča. Omrežje postane tkanina, brez katere usposabljanje ne more delovati. Shranjevanje mora zagotavljati gibanje kontrolnih točk ali pa pospeševalniki mirujejo, kot dirkalni konji v prometnem zastoju.

Obstaja tudi kulturna razlika. Podjetniške operacije razmišljajo o zahtevah in oknih za spremembe. Operacije umetne inteligence razmišljajo o čakalnih vrstah opravil in slabem občutku, ko vozlišče dolgoročno pozno odpove. Mislim, da bi oba še vedno lahko imenovali "podatkovni centri", ker to tudi so. Oznaka le skriva vodovodne instalacije.

Ni moralna lestvica. Različni stroji, isto družinsko ime.

Grafični procesorji, pospeševalniki in stojalo, ki porablja energijo

Če se sprehodite po tradicionalnih dvignjenih tleh, bodo regali videti skoraj vljudni. Če se sprehodite po vrsti z umetno inteligenco, bodo videti, kot da bi želeli pogoltniti stavbo.

Izstopajoča strojna oprema ni pametna CPU. Gre za pladenj pospeševalnika: grafični procesorji ali drugi čipi umetne inteligence, zbrani v strežnikih, nato v omare, nato v vrsticah, ki si delijo visokopasovno strukturo. Grafični procesorji med seboj povezujejo čipe v nekaj, kar se lahko pretvarja, da je en sam velikanski pospeševalnik; struktura gruče počne isti trik na ravni vrstic. Vzporedno učenje deluje le, če te povezave ostanejo debele in predvidljive. Če to izgubite, bo vaš "gruča" kup dragih delovnih postaj, ki si delijo poštno številko.

Moč sledi čipom. Ne okoren pisarniški PDU. Megavati IT obremenitve, ko se dvorana napolni – številke si ne bom izmislil. Gostota na ramo je preobrat v zgodbi. Manj rame. Vsaka je majhna peč. Omejujoči dejavnik je pogosto podpostaja, ne seznam želja po grafičnih procesorjih. Veste, kako je: nabava si želi več pospeševalnikov; komunalno podjetje si želi dolg pogovor in zelo velik ček.

Ena rahlo neumna metafora se ne morem otresti: stojalo je lačna žival. Lahko vzrediš hitrejšo. Še vedno ga moraš nahraniti in še vedno moraš odpravljati vročino. Če preskočiš katero koli od teh dveh, postane zelo draga utež za papir.

Težava z močjo, toploto in hlajenjem

Elektrika noter. Ogrevalni sistem ven. To je celotna religija.

Visoko gosto oddajajoči se regali odvajajo toploto na način, za katerega zrak ni bil nikoli prisiljen. Zrak lahko potisnete močneje – toplotni izmenjevalniki na zadnjih vratih, bolj vroči hodniki, pametno zadrževanje – in to deluje do določene mere. Nato se pojavi tekočina:

• Hlajenje neposredno na čip

• Hladilne zanke, zaradi katerih je strojnica videti kot kemična tovarna

• Potopitev v nekaj modelov, ki še vedno presenečajo ljudi, ki mislijo, da voda in strežniki ne bi smeli deliti stavka

Nič od tega ni glamurozno. Vse je posledica izdelka, saj je pospeševalnik, ki duši, tisti, za katerega ste že plačali in ga ne morete v celoti uporabljati.

PUE je še vedno pomemben. Gre za razmerje, ne za osebnost. Operaterji se za njim zavzemajo, ker je vsak vat, porabljen za ventilatorje in črpalke, vat, ki ni šel v grafični procesor. Ne bom navajal "tipične" številke; podnebje in način, kako porišete mejo, jo premikata, lažna natančnost pa je slabša kot nična. V zgodbi je tudi voda. Nekatere rastline srkajo. Nekatere goltajo. Izhlapevalno hlajenje je učinkovito, dokler ga reka ali suša ne naredita političnega.

Mreženje: zakaj je tkanina tako pomembna kot čipi

Ljudje fotografirajo grafične procesorje. Fotografirati bi morali stikala.

Usposabljanje je pogovor. Na tisoče pospeševalnikov si tesno sinhronizirano izmenjuje gradiente, parametre, delčke modela. Če se tkanina trese, celotno delo čaka na najpočasnejši skok. Zato so dvorane umetne inteligence obsedene z omrežjem z visoko pasovno širino, nizko latenco in topologijami, ki se ne prepolovijo, ko povezava odpove. Tkanine v slogu InfiniBand, Ethernet v isti vlogi, medsebojne povezave GPU znotraj škatle, kabli, ki morajo biti pravilni že prvič.

Sklepanje je drugačna tema. Pri streženju modela je pomembna zakasnitev repa – počasen odgovor, ne povprečen. Paketno v primerjavi s paketnim streženjem v realnem času razdvaja osebnost. Učna gruča si želi obsežno, kolektivno gibanje vseh proti vsem. Strežna flota si želi veliko manjših zahtev in izolacijo, brez prometnih zastojev pri uravnalniku obremenitve.

Zgrešena ideja, medtem ko sem že tukaj: ljudje omrežje obravnavajo kot vodovod, čipe pa kot restavracijo. V tej stavbi je vodovod restavracija. Če to zgrešite, boste kupili kuhinjo, ki ne more sprejemati dostave.

Usposabljanje proti sklepanju: dve stavbi, včasih dobesedno

Usposabljanje je kampanja. Sestavite gručo, jo oskrbujete s podatki, jo redno kontrolirate, jo izvajate ure ali tedne in molite, da bi struktura ostala brezhibna. Paketno obremenjena, požrešna po pasovni širini, tiho potrpežljiva – dokler okvarjeno vozlišče ne ugrizne v delovanje. En sam mrtev pospeševalnik v tesno povezani nalogi lahko ustavi celoten zbor.

Sklepanje je kot izložba. Modeli, ki so že naučeni, zdaj odgovarjajo na vprašanja, razvrščajo slike, ustvarjajo besedilo. Zakasnitev je pomembna. Nekoliko starejši pospeševalnik blizu stranke lahko premaga glamuroznega na celini stran.

Torej dobite razkol. Izobraževalni kampusi lovijo moč, zemljo in gostoto. Sklepna mesta lovijo latenco in prisotnost. Obstajajo tudi hibridne dvorane, ker kapital ni neskončen. No – ne vedno dve stavbi. Včasih ena dvorana z žametno vrvjo in dvema hladilnima zankama.

Tukaj se razvejajo tudi kolokacija, hiperskalacijski kampusi in lokalna podjetja. Hiperskalerji gradijo v obsegu, zaradi katerega je videti, kot da vsi razporejamo pohištvo. Kolofoni prodajajo gostoto po policah. Lokalna podjetja se še vedno uporabljajo, ko podatki ne morejo oditi.

Pretočnost shranjevanja, kontrolne točke in lačni čipi

Nihče ne postavi vzporednega datotečnega sistema na naslovnico brošure.

Podatki za učenje morajo prispeti dovolj hitro, da grafični procesorji ne bodo preveč zaskrbljeni. Kontrolne točke morajo biti postavljene, da sesutje ne bi zapravilo tedna. Uteži modela se morajo naložiti, preden je strežna replika aktivna. Pretočnost shranjevanja – ne le kapaciteta – je tiho ozko grlo. Za pospeševalnike lahko porabite celo premoženje in jih izčrpate z vljudnim nizom, zasnovanim za virtualne stroje.

Vzorec je znan: sijoča ​​gruča, čakalna vrsta opravil in čakanje na V/I, ki strmijo nazaj kot grob račun. Združevanje računanja v gruče brez združevanja podatkovne poti je način, kako doseči zelo drago stanje mirovanja. Naj čipi ostanejo napolnjeni ali pa priznajte, da ste kupili skulpturo.

Programska oprema, orkestracija in neglamurozna operativna plast

Strojna oprema je glavna zvezda. Načrtovalci opravijo delo.

Podatkovni center umetne inteligence je neuporaben, če delovna mesta ne morejo najti grafičnih procesorjev, če dve ekipi ne moreta deliti gruče brez pretepa, če ni mogoče nadomestiti neuspešnega ranga, če se vdelana programska oprema spreminja, dokler struktura ne odpove v počasnem posnetku. Orkestracija, opazovalnost, omejevanje moči – neglamurozna operativna plast, po kateri veste, da je pomembna.

Ta plast mi je zelo všeč. Tudi kjer napačno konfigurirana omrežna kartica celo popoldne pooseblja težavo s hlajenjem ... to ugotoviš na težji način.

Ko vozlišče odmre sredi delovanja

Vozlišče umre. Okna sprememb še vedno trčijo z učnimi zagoni, ki jim ni mar za vaš koledar. Združujete razporejanje velikih opravil, ograjujete sklepalne bazene, pišete runbooke za napake, ki so videti kot "opravilo je počasno", dokler niso videti kot "opravilo je mrtvo". Redundanca je še vedno pomembna - napajanje, hlajenje, poti, shranjevanje - vendar je način napake manj urejen kot stari diapozitiv z devetimi trenutki delovanja. Sklepanje: replika, izprazni bolno vozlišče, nadaljujte z odgovarjanjem. Usposabljanje si želi kontrolnih točk, ne optimizma.

Lokacija, voda, omrežje in sosedje

Zaradi razgleda jih ne spustiš poleg koče.

Priključitev na omrežje je pogosto dejanski postopek izbire lokacije. Zemljišče je lažje v primerjavi s podpostajami in komunalnim podjetjem, ki ima druge odjemalce. Voda za hlajenje, če jo uporabljate, postane problem sosedov takoj, ko so padavine nenadzorovane. Hrup. Vizualna prostornina. Vročina na mejni ograji. Načrtovalni odbori odkrijejo mnenja o "oblaku" v trenutku, ko potrebuje polje in reko.

Zakasnitev vleče v drugo smer. Sklepanje ima rado bližino uporabnikov in medsebojnih povezav. Usposabljanje se lahko skrije na cenejših trgih z energijo in v hladnejših podnebjih. Industrija govori, kot da obstaja ena sama popolna lokacija. Ni je. Obstaja kompromis s sporočilom za javnost.

Preostala toplota in nepovabljena peč

Brošure obožujejo ta del. Odpadno toploto speljati v domove, bazene, rastlinjake; to je lep stavek. Včasih je zanka okrožja pristna. Včasih je kampus na napačnem mestu in toplota še vedno gre v zrak. Skeptičen sem do različice v brošuri; nisem pa skeptičen do fizike.

Kdo ga potrebuje (in kdo bi ga moral namesto tega najeti)

Večina ljudi ne potrebuje ene od teh dvoran.

Kratek seznam:

• Hiperskalerji, ker je izdelek flota

• Laboratoriji, ko je čas čakalne vrste ozko grlo ali ko podatki ne morejo zapustiti sistema

• Banka, bolnišnična skupina, vlada ali proizvajalec s tajnim naborom podatkov – na lokaciji ali v zasebni kletki za kolo je lahko racionalen, tudi če gre za napako

Vsi ostali bi morali najeti. Kolokacija z gostoto, pripravljeno za umetno inteligenco. Rezervacija v oblaku. Upravljana gruča. Pospeševalnike dobite, ne da bi hkrati postali upravljavec elektrarne. Romantika zbledi, ko nekdo prvič vpraša, kdo je ob 3. uri zjutraj na dežurstvu za hladilno zanko.

Moram priznati, da je v tem nekaj ponosa. Lastništvo grozda se zdi kot lastništvo sredstev za napovedovanje. Potem pride račun za elektriko in ponos mine.

Čemu je namenjena stavba

Kaj torej je podatkovni center umetne inteligence? Specializiran kampus z visoko gostoto, kjer so pospeševalniki, napajanje, hlajenje, tkanina in shranjevanje organizirani okoli modelov usposabljanja in strežbe – ne splošni IT z grafičnim procesorjem v kotu. Izgleda kot skladišče. Obnaša se kot elektrarna, ki opravlja izračune.

Če se ne spomnite ničesar drugega: čipi dobijo slavo; podpostaja, hladilna tekočina in omrežje odločajo, ali so bili ti čipi dobra ideja. Usposabljanje in sklepanje si lahko delita streho; še vedno si želijo različnih manir. Večina organizacij bi morala najeti. Nekaj ​​jih bi moralo graditi. Sosedje bodo opazili v vsakem primeru.

Oblak je vedno imel stavbo. Dandanes ima stavba mnenja.

Primer iz resničnega sveta: Dvoregalna vadbena celica, ko slike ne morejo zapustiti

Scenarij

Tomos je vodja infrastrukture pri Kestrel Precision, proizvajalcu s 400 zaposlenimi v West Midlandsu. Že imajo majhno lokalno dvorano: ERP, souporaba datotek, virtualni stroji, mešana soseska, s katero se je začel ta članek. Zračno hlajenje. Navaden Ethernet. SAN, ki je popolnoma primeren za pisarniške diske.

Ekipa za strojni vid mora usposobiti model pregleda na tovarniških fotografijah. Fotografije ne smejo zapustiti lokacije. Prikazujejo postopek, ki ga podjetje ne bo shranilo na oblačni disk, niti na zasebnega. Rešitev oddelka za nabavo so štirje strežniki z dvojnim pospeševalnikom in diapozitiv z naslovom »naš podatkovni center z umetno inteligenco«. Strežniki se namestijo v dve obstoječi omari, ker je prostora, prostor pa se je zdel omejitev.

Ni tako. V dveh tednih se grafični procesorji slišijo zasedeni, nato pa se tiho ustavijo. Dela se ustavijo, ko kontrolna točka doseže omrežje SAN. Vozlišče odpove ob enajstih in delovanje je preprosto ... izginilo. Tomos ni pozabil kupiti čipov. Kupil je kup dragih delovnih postaj z isto poštno številko. Stavba je bila še vedno poslovna hala.

Ne potrebujejo kampusa, nove podpostaje ali reke. Potrebujejo majhno celico, ki se obnaša kot podatkovni center umetne inteligence v malem: moč, ki jo lahko omare dejansko zadržijo, toploto, ki oddaja, ne da bi se pri tem segrela čipi, tkanino, o kateri se lahko pogovarja učno delo, shrambo, ki lahko prevzame kontrolno točko, in priročnik za primer, ko vozlišče odpove. Ker slike ne morejo oditi, najem kolo kletke štirideset minut stran ni rešitev. Naknadna vgradnja dveh omar je.

Kaj celica potrebuje

• Izmerjen proračun za energijo v tej vrstici, iz PDU-jev, ne s seznama želja GPU-jev. Če prosta zmogljivost ne more napajati štirih strežnikov pri vadbeni obremenitvi, se pogovor tu ustavi in ​​​​gledajo na gostejšo koloristično sliko, ne na čudež

• Hlajenje zraka pri tej gostoti ni bilo nikoli zahtevano: toplotni izmenjevalniki na zadnjih vratih, če jih dvorana lahko prenese, ali majhna tekočinska zanka, če to lahko prenese. Če ne eno, strežniki ne gredo noter

• Namensko visokopasovno omrežje med štirimi vozlišči, ne pisarniški Ethernet. Če ima prodajalec v katalogu samo 10 Gb stikalo, to ni gruča

• Lokalno hitro shranjevanje za kontrolne točke in učne dele, ne za omrežje SAN za virtualni stroj

• Razporejevalnik, interval kontrolnih točk in zapisana pot ponovnega zagona. Strojna oprema je glavna zvezda. Ta plast je naloga

• Ograjena inferencialna škatla za tovarniško linijo, ločena od učnega klepetanja, ker strežba zahteva repno zakasnitev in izolacijo, ne kolektivne

• Dovoljenje za beleženje porabe energije, ur grafičnih procesorjev, dogodkov dušilke in stenske ure opravila. Če teh ne morejo pregledati, bodo fotografirali grafične procesorje in spregledali stikala

Primer navodila

Tomos to v opisu objekta navaja, v preprostem jeziku:

Ne imenujte tega kampus za umetno inteligenco. V obstoječi dvorani zgradite celico za usposabljanje z dvema regaloma za štiri strežnike z dvema pospeševalnikoma. Tovarniške slike ostanejo na lokaciji. Uspeh je: štiri vozlišča dokončajo 12-epohalni recept za pregled in usposabljanje brez termičnega dušenja, napišejo kontrolno točko v nekaj minutah, ne v desetih minutah, in nadaljujejo s te kontrolne točke, ko namerno uničimo rang. Hlajenje mora ohranjati grafične procesorje na njihovih učnih taktih. Omrežje mora biti tkanina, ki si jo delijo te štiri škatle, ne pot skozi pisarniški sklad. Shranjevanje mora napajati čipe. Če toplotni izmenjevalniki na zadnjih vratih ne ustrezajo, to recite in prenehajte. Ne navajajte PUE za dva stojala v mešani dvorani. Ta številka bi bila gledališče.

Nato to vnese v samo delovno mesto usposabljanja:

Kontrolna točka vsakih 30 minut do lokalnega hitrega bazena. Če rang umre, začnite znova od zadnje celotne kontrolne točke. Ne čakajte na SAN. Ne nadaljujte z vadbo, medtem ko so ure izpadle iz vročine. Zapišite to in prenehajte, da lahko vidimo boks.

Dobra ura izgleda takole: vseh osem grafičnih procesorjev deluje na učnih frekvencah, datoteka kontrolne točke je pristala, opravilo je še vedno usklajeno. Slaba ura izgleda takole: ventilatorji delujejo na polni moči, frekvenca je ustavljena, po desetih minutah je zapisana kontrolna točka 2 % in nekdo v pisarni pravi, da je "gruča vklopljena". Vklopljena ni učenje.

Kako ga preizkusiti

Test napišejo pred prenovo, kar je bistvo nezaupanja v demo različico.

• Isti recept iz 12 epoh, istih 120.000 inšpekcijskih fotografij, osem poskusov

• Časovna usklajenost je stenska ura do končanega recepta, vključno z morebitnim ponovnim zagonom, merjena od oddaje opravila do zadnje kontrolne točke epohe 12

• Prepustitev pregrevanju: Takt grafičnega procesorja ostane na ciljni vrednosti za učenje med izvajanjem. Dogodek zmanjšanja hitrosti je neuspeh, tudi če se delo sčasoma zaključi

• Prepustnica za shranjevanje: čas pisanja kontrolne točke, mediana in najslabši, iz dnevnika opravil

• Prepustitev materiala: delo ne čaka kolektivno, dokler je rang zdrav. Če tega čakanja ne vidijo, instrumentacija ni končana

• Dva od osmih tekov namenoma izgubita rang na fiksnem koraku, da bi preizkusili pot ponovnega zagona

• Sklepanje je ločen test z 200 slikami od tovarniške linije do ograjene škatle za serviranje. Uspeh pri treningu se ne šteje kot uspeh pri serviranju

• Moč rack iz PDU-jev beležijo v 15-minutnih vzorcih, tako da nikomur ni treba izumiti megavata

Sprejemanje označbe celice za "pripravljeno za umetno inteligenco": 8 od 8 receptov se zaključi; 0 od 8 prikazuje termični dušilec; oba uničena zagona se nadaljujeta; kontrolne točke ostanejo v minutah. Če to zamudijo, imajo še vedno strežniško sobo z modnimi grafičnimi karticami.

Rezultat

Ilustrativni rezultat izmišljenega osemkratnega testa, ne objavljene slike Kestrela.

Predpostavke: štirje strežniki z dvojnim pospeševalnikom v dveh omarah; en inšpekcijski model; 120.000 fotografij; osem zagonov fiksnega 12-epohalnega recepta; stenska ura vključuje ponovne zagone, dokler se recept ne konča; nadzor pomeni zabeleženo zmanjšanje časa učenja; čas kontrolne točke je zapis, ne želja; moč omare so vzorci PDU, ne pa kampusova PUE.

Pred prenovo so grafične kartice v običajnih zračno hlajenih omarah na pisarniškem ethernetu in omrežju SAN za virtualne računalnike:

• 5 od 8 tekov se je končalo v prvem poskusu. Mediana stenskih časov med temi petimi: 14 ur

• 3 od 8 so morali začeti znova po zastoju približno pri 11. uri (dva po tem, ko je vozlišče odpovedalo zaradi zastarele kontrolne točke, eden po tem, ko je kontrolna točka napolnila SAN). Takojšen ponovni poskus, brez čakanja čez noč: 11 izgubljenih ur plus 14-urni drugi poskus ali 25 ur do končanega recepta na teh treh

• Povprečni čas do dokončanja recepta za vseh osem, vključno s ponovnimi zagoni: 18 ur. (Pet pri 14, trije pri 25. Mediana vseh osmih je še vedno 14, kar bi skrilo ponovne zagone. Zato je tukaj povprečje izhodišče.)

• Termični dušilec je bil zabeležen v 7 od 8 poskusov. Mediana časa pri zmanjšani uri: 3 ure v 14-urnem poskusu

• Pisanje na kontrolni točki: mediana 22 minut

• Ubijanje po rangu ni bil preizkus, ki bi ga lahko opravili. Niso imeli priročnika. Dve nenamerni smrti sta bili ugotovitev

• Največja obremenitev IT na obeh regalih med usposabljanjem: približno 18 kW. Vrstica je imela dovolj vatov. Ni imela hlajenja ali tkanine

Po toplotnih izmenjevalnikih na zadnjih vratih na teh dveh omarah, namenski strukturi med štirimi vozlišči, majhnem NVMe bazenu za kontrolne točke, 30-minutnem kontrolnem točkovanju in runbooku za ponovni zagon:

• 8 od 8 jih je končalo v prvem poskusu. Mediana stenske ure: 9 ur

• Termična dušilka: 0 od 8

• Pisanje na kontrolni točki: mediana 90 sekund. Najslabše v nizu: 3 minute

• Oba namerna napada na podlagi ranga sta se nadaljevala od zadnje 30-minutne kontrolne točke. Dodatna stenska ura za ti dve rundi: približno 40 minut vsaka, vključno z diagnozo, tako da sta oba preživela skoraj 9 ur in 40 minut. Povprečje v osmih rundah mirovanja je 9 ur

• Največja obremenitev IT je še vedno približno 18 kW. Isti čipi. Drugačno obnašanje stavbe

V tem vzorcu se je povprečni čas do dokončanja recepta zmanjšal z 18 ur na 9 ur oziroma za 9 ur na recept, kar je 72 ur v osmih izvedbah. Čas, potreben za dokončanje prvega poskusa, se je zmanjšal s 5 od 8 na 8 od 8. Čas, potreben za plin, se je zmanjšal s 7 od 8 na 0 od 8. Zadnja številka pove, ali so kupili pospeševalnike ali uteži za papir. Spremembe časa ne bodo imenovali 50-odstotni prihranek pri proizvodnji. Osem izvedb je majhen in enostaven nabor.

Te številke so primer ocene, ki temelji na navedenem testu, majhnem vzorcu, enem modelu in eni mešani dvorani. Ne predstavljajo PUE, ne megavata na kampusu in ne dokaz, da bi Kestrel moral zgraditi vadbeno poligon na polju. Pregled dnevnikov je bil opravljen znotraj 9 ur; tega niso skrivali. Številka 18 kW je zaokrožena vrednost PDU, ne račun za komunalne storitve. 72 ur niso pretvorili v stroške, ker bi tovarniška mešana tarifa električne energije ustvarila lažen poslovni primer.

Preverjanje serviranja je bilo ločeno in manjše: 200 vrstičnih slik do ograjenega polja, vse na lokaciji. To je sklepanje, ne učenje. Mešanje obeh bi bila napaka hibridne dvorane v malem.

Kaj lahko gre narobe

• Nabava štiri strežnike nenehno imenuje "podatkovni center umetne inteligence". Oznaka skriva vodovodne instalacije, naslednji nakup pa so še več grafičnih procesorjev za isti bolniški hodnik

• Izmenjevalniki na zadnjih vratih se vklopijo in nihče ne zažene vodne strani. Ventilatorji še vedno kričijo. Ure še vedno segajo

• Fabric je eno samo stikalo brez rezervne poti. Ena odpovedana povezava in "gruča" je spet sestavljena iz štirih delovnih postaj

• Kontrolne točke ostanejo v omrežju SAN, ker je bil bazen NVMe v "drugi fazi". Druga faza ne prispe pred naslednjim mrtvim vozliščem

• Za dva regala v mešani dvorani navajajo PUE. Podnebje, meje in preostanek vrstice ERP naredijo to razmerje kostum

• Usposabljanje in strežba si delita tkanino. Poplava kontrolnih točk povzroči, da tovarniška linija čaka. Zakasnitev repa je tam produkt, ne gostota

• Vozlišče odpove in nekdo ga obravnava kot zahtevek za delovanje namesto kot ponovni zagon kontrolne točke. Operaterji v podjetjih in operaterji umetne inteligence se celo popoldne pogovarjajo drug mimo drugega

• Lahko bi si najeli kletko, le da podobe ne morejo oditi. Če pozabijo na to omejitev, se zapletejo v pogovor v oblaku, ki ga bodo morali sprostiti

Praktični nasvet

Kar je podatkovni center umetne inteligence v tej obliki, ni skladišče in ni račun za grafični procesor. Je celica, ki pospeševalnikom omogoča, da dokončajo postopek: moč, ki jo lahko zadržijo, toplota, ki jo oddajajo, tkanina, kontrolna točka in nekdo, ki je odgovoren, ko rang umre. Kestrel ni potreboval kampusa. Potrebovali so dva stojala, da bi nehali pretvarjati. Večina ekip bi morala najeti takšno vedenje. Nekaj ​​jih, s tajnim naborom podatkov in dvorano, ki lahko prenese vročino, bi moralo zgraditi celico in zavrniti drsenje.

Pogosta vprašanja

Kaj je podatkovni center umetne inteligence?

Visoko gosto računalniško območje, kjer so napajanje, hlajenje, mreženje in shranjevanje osredotočeni na vzporedno učenje in streženje modelov, ne pa na urejene vrste strežnikov splošnega namena. Zasnovano je tako, da lahko ogromno število pospeševalnikov uči in streže modele, ne da bi se pri tem stopili, zatikali v omrežju ali čakali na disk. Običajna poslovna dvorana je mešana soseska. Dvorana umetne inteligence je monokultura, katere vrednostna enota je pospeševalnik, kot so grafični procesorji ali čipi v slogu TPU. Izgleda kot skladišče in se obnaša kot elektrarna, ki opravlja matematične izračune.

Kakšna je razlika med podatkovnim centrom z umetno inteligenco in običajnim podatkovnim centrom?

Tradicionalne dvorane so optimizirane za mešane delovne obremenitve in čas delovanja številnih majhnih storitev. Lokacije z umetno inteligenco obrnejo razmerja: gostota se poveča, omrežje postane tkanina, brez katere usposabljanje ne more delovati, shranjevanje podatkov pa mora zagotavljati gibanje kontrolnih točk ali pa pospeševalniki mirujejo. Podjetniške operacije razmišljajo o zahtevah in oknih za menjavo. Operacije z umetno inteligenco razmišljajo o čakalnih vrstah opravil in slabem občutku, ko vozlišče dolgoročno pozno odpove. Še vedno bi lahko poklicali oba podatkovna centra. Oznaka le skriva vodovodne instalacije.

Zakaj podatkovni centri z umetno inteligenco porabijo toliko energije?

Izstopajoča strojna oprema ni pametna CPU. Gre za pospeševalni pladenj: grafične kartice ali drugi čipi umetne inteligence, zloženi v strežnike, nato v omare, nato v vrste, ki si delijo visokopasovno strukturo. Gostota na omaro je preobrat v zgodbi: manj omar, vsaka od njih je majhna peč. Megavati IT obremenitve se pojavijo, ko se dvorana napolni, čeprav si ne izmišljujemo tipične številke. Omejujoči dejavnik je pogosto podpostaja, ne pa seznam želja grafičnih procesorjev.

Kako se hladijo podatkovni centri z umetno inteligenco?

Visoko gosto postavljeni nosilci odvajajo toploto na način, ki ga zrak nikoli ni bil prisiljen obvladovati. Zračni tok lahko potisnete močneje z zadnjimi vrati toplotnih izmenjevalnikov, bolj vročimi hodniki in pametnim zadrževanjem. Nato se pojavi tekočina: hlajenje neposredno na čip, hladilne zanke in potopitev v nekaterih izvedbah. Pospeševalnik, ki duši, je tisti, za katerega ste že plačali in ga ne morete v celoti izkoristiti. Energetska učinkovitost (PUE) je še vedno pomembna, ker je vsak vat, porabljen za ventilatorje in črpalke, vat, ki ni šel v grafični procesor. V zgodbi je tudi voda: nekatere rastline srkajo, nekatere goltajo.

Zakaj je mreženje tako pomembno kot grafični procesorji?

Usposabljanje je pogovor: na tisoče pospeševalnikov si tesno sinhronizirano izmenjuje gradiente, parametre in delčke modela. Če se tkanina trese, celotno delo čaka na najpočasnejši skok. Zato so dvorane umetne inteligence obsedene z omrežjem z visoko pasovno širino, nizko latenco, tkaninami, podobnimi InfiniBandu, ali Ethernetom v isti vlogi in topologijami, ki se ne prepognejo na pol, ko povezava odpove. Sklepanje skrbi za latenco repa, veliko manjših zahtev in izolacijo. V tej stavbi je vodovod restavracija.

Za kaj se uporablja podatkovni center umetne inteligence: za učenje ali sklepanje?

Usposabljanje je kampanja: sestavite gručo, vanjo vnesite podatke, redno preverjajte in jo izvajajte ure ali tedne. Sklepanje je izložba: modeli, ki so že usposobljeni, zdaj odgovarjajo, pri čemer je pomembna zakasnitev. Izobraževalni kampusi lovijo moč, zemljo in gostoto. Lokacije sklepanja lovijo zakasnitev in prisotnost. Hibridne dvorane obstajajo, ker kapital ni neskončen, včasih ena dvorana z dvema hladilnima zankama. Nekoliko starejši pospeševalnik v bližini stranke lahko premaga glamuroznega na celini.

Zakaj je shranjevanje pomembno v podatkovnem centru z umetno inteligenco?

Podatki za učenje morajo prispeti dovolj hitro, da grafični procesorji ne bodo preveč zaskrbljeni. Kontrolne točke morajo biti postavljene, da sesutje ne bi zapravilo tedna. Uteži modela se morajo naložiti, preden je strežna replika aktivna. Pretočnost shranjevanja, ne le kapaciteta, je tiho ozko grlo. Za pospeševalnike lahko porabite celo premoženje in jih izčrpate z vljudnim nizom, zasnovanim za virtualne stroje.

Kaj se zgodi, ko vozlišče odmre sredi delovanja?

En sam mrtev pospeševalnik v tesno povezani učni nalogi lahko ustavi celoten zbor. Usposabljanje potrebuje kontrolne točke, ne optimizma. Sklepanje izčrpa bolno vozlišče, ohranja repliko v odgovoru in ostane aktivna. Okna sprememb še vedno trčijo z učnimi izvedbami, ki jim ni mar za vaš koledar. Redundanca je še vedno pomembna za napajanje, hlajenje, poti in shranjevanje, vendar je način odpovedi manj urejen kot stari diapozitiv z devetimi trenutki delovanja.

Kakšen je vpliv podatkovnega centra z umetno inteligenco na omrežje, vodo in sosede?

Priključitev na omrežje je pogosto odločilni dejavnik pri izbiri lokacije. Zemljišče je lažje izbrati v primerjavi s podpostajami in komunalnim podjetjem, ki ima tudi druge odjemalce. Voda za hlajenje, če jo uporabljate, postane problem za sosede takoj, ko so padavine močne, skupaj s hrupom, vizualno maso in vročino na mejni ograji. Usposabljanje se lahko skrije na cenejših trgih z električno energijo in v hladnejših podnebjih. Inferenca rada živi blizu uporabnikov. Ni ene same popolne lokacije. Obstaja kompromis s sporočilom za javnost.

Ali moram imeti podatkovni center z umetno inteligenco ali naj ga najamem?

Večina ljudi ne potrebuje ene od teh dvoran. Hiperskalerji gradijo, ker je izdelek flota. Laboratoriji gradijo, ko je čas v vrsti ozko grlo ali ko podatki ne morejo oditi. Banka, bolnišnica, vlada ali proizvajalec s tajnim naborom podatkov lahko smiselno uporabi lokalno ali zasebno kolokacijo. Vsi ostali bi morali najeti: kolokacijo, pripravljeno za umetno inteligenco, rezervacijo v oblaku ali upravljano gručo. Pospeševalnike dobite, ne da bi postali upravljavec elektrarne.

Reference

1. Mednarodna agencija za energijo - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Zelena mreža - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Inštitut za razpoložljivost - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Poiščite najnovejšo umetno inteligenco v uradni trgovini z umetno inteligenco

O nas