Kratek odgovor: umetna inteligenca v računalništvu v oblaku pomeni uporabo oblačnih platform za shranjevanje podatkov, najem računalništva, učenje modelov, njihovo uvajanje kot storitev in spremljanje v produkciji. To je pomembno, ker se večina napak kopiči okoli podatkov, uvajanja in delovanja, ne pa matematike. Če potrebujete hitro skaliranje ali ponovljive izdaje, je oblak + MLOps praktična pot.
Ključne ugotovitve:
Življenjski cikel : Pridobivanje podatkov, izdelava funkcij, učenje, uvajanje, nato spremljanje premika, zakasnitve in stroškov.
Upravljanje : Že od samega začetka vgradite nadzor dostopa, dnevnike nadzora in ločevanje okolij.
Ponovljivost : Zabeležite različice podatkov, kodo, parametre in okolja, da se izvedbe ohranijo ponovljive.
Nadzor stroškov : Za preprečevanje presenečenj pri računih uporabite paketno shranjevanje, predpomnjenje, samodejno skaliranje in spot/preemptivno učenje.
Vzorci uvajanja : Izberite upravljane platforme, delovne tokove v jezerih, Kubernetes ali RAG glede na realnost ekipe.
Članki, ki jih boste morda želeli prebrati po tem:
🔗 Najboljša orodja za upravljanje poslovanja v oblaku z umetno inteligenco
Primerjajte vodilne platforme v oblaku, ki poenostavljajo poslovanje, finance in ekipe.
🔗 Tehnologije, potrebne za obsežno generativno umetno inteligenco
Ključna infrastruktura, podatki in upravljanje, potrebni za uvedbo GenAI.
🔗 Brezplačna orodja umetne inteligence za analizo podatkov
Najboljše brezplačne rešitve umetne inteligence za čiščenje, modeliranje in vizualizacijo naborov podatkov.
🔗 Kaj je umetna inteligenca kot storitev?
Pojasnjuje AIaaS, prednosti, cenovne modele in pogoste poslovne primere uporabe.
Umetna inteligenca v računalništvu v oblaku: preprosta definicija 🧠☁️
V svojem bistvu umetna inteligenca v računalništvu v oblaku pomeni uporabo oblačnih platform za dostop do:
-
Računalniška moč (CPE, GPU, TPU) Google Cloud: GPU-ji za umetno inteligenco Dokumentacija o TPU v oblaku
-
Shranjevanje (podatkovna jezera, skladišča, objektno shranjevanje) AWS: Kaj je podatkovno jezero? AWS: Kaj je podatkovno skladišče? Amazon S3 (objektno shranjevanje)
-
Storitve umetne inteligence (usposabljanje modelov, uvajanje, API-ji za vid, govor, NLP) Storitve umetne inteligence AWS Google Cloud API-ji umetne inteligence
-
Orodja MLOps (cevovodi, spremljanje, register modelov, CI-CD za strojno učenje) Google Cloud: Kaj je MLOps? Register modelov Vertex AI
Namesto da kupujete svojo drago opremo, si najamete, kar potrebujete, ko jo potrebujete NIST SP 800-145 . Kot da bi najeli telovadnico za eno intenzivno vadbo, namesto da bi si zgradili telovadnico v garaži in nato nikoli več ne uporabili tekalne steze. To se zgodi tudi najboljšim med nami 😬
Preprosto povedano: to je umetna inteligenca, ki se prilagaja, pošilja, posodablja in deluje prek infrastrukture v oblaku NIST SP 800-145 .
Zakaj je umetna inteligenca + oblak tako pomembna 🚀
Bodimo odkriti – večina projektov umetne inteligence ne propade zaradi težke matematike. Propadejo, ker se "stvari okoli modela" zapletejo:
-
podatki so razpršeni
-
okolja se ne ujemajo
-
Model deluje na prenosniku nekoga drugega, nikjer drugje pa ne
-
uvedba se obravnava kot naknadna misel
-
varnost in skladnost se pojavita pozno kot nepovabljen bratranec 😵
Platforme v oblaku pomagajo, ker ponujajo:
1) Elastična tehtnica 📈
Model kratek čas usposobite na veliki gruči, nato pa ga zaustavite NIST SP 800-145 .
2) Hitrejše eksperimentiranje ⚡
Hitro zaženite upravljane prenosnike, vnaprej izdelane cevovode in primerke grafičnih procesorjev Google Cloud: grafični procesorji za umetno inteligenco .
3) Lažja namestitev 🌍
Uvajanje modelov kot API-jev, paketnih opravil ali vgrajenih storitev Red Hat: Kaj je REST API? SageMaker Batch Transform .
4) Integrirani podatkovni ekosistemi 🧺
Vaši podatkovni cevovodi, skladišča in analitika pogosto že obstajajo v oblaku AWS: Podatkovno skladišče v primerjavi s podatkovnim jezerom .
5) Sodelovanje in upravljanje 🧩
Dovoljenja, dnevniki nadzora, upravljanje različic in orodja v skupni rabi so vgrajeni v registre Azure ML (MLOps) .
Kako umetna inteligenca v računalništvu v oblaku deluje v praksi (pravi potek) 🔁
Tukaj je običajni življenjski cikel. Ne različica s "popolnim diagramom" ... tista, v kateri se ljudje navadijo.
1. korak: Podatki pristanejo v shrambi v oblaku 🪣
Primeri: vedra za shranjevanje objektov, podatkovna jezera, podatkovne baze v oblaku Amazon S3 (shranjevanje objektov) AWS: Kaj je podatkovno jezero? Pregled shrambe v oblaku Google .
2. korak: Obdelava podatkov + izdelava funkcij 🍳
Čistiš ga, preoblikuješ, ustvarjaš funkcije, morda ga pretakaš.
3. korak: Usposabljanje modela 🏋️
Za učenje Google Clouda uporabljate računalništvo v oblaku (pogosto grafične procesorje) : grafični procesorji za umetno inteligenco :
-
klasični modeli strojnega učenja
-
modeli globokega učenja
-
fine nastavitve modela temeljev
-
sistemi za iskanje (nastavitve v slogu RAG) dokument o razširjenem generiranju iskanja (RAG)
4. korak: Uvajanje 🚢
Modeli so pakirani in dostavljeni prek:
-
REST API-ji Red Hat: Kaj je REST API?
-
Brezstrežniške končne točke SageMaker Brezstrežniško sklepanje
-
Kubernetesovi kontejnerji Kubernetes: Samodejno skaliranje horizontalnega pod-ja
-
Cevovodi za paketno sklepanje SageMaker Paketna transformacija Vertex AI paketne napovedi
5. korak: Spremljanje + posodobitve 👀
Skladba:
-
latenca
-
natančnost odklona SageMaker Model Monitor
-
Spremljanje modela umetne inteligence Vertex drift podatkov
-
cena na napoved
-
robni primeri, zaradi katerih si zašepetaš "to ne bi smelo biti mogoče ..." 😭
To je motor. To je umetna inteligenca v računalništvu v oblaku v gibanju, ne le kot definicija.
Kaj naredi dobro različico umetne inteligence v računalništvu v oblaku? ✅☁️🤖
Če želite »dobro« implementacijo (ne le bleščečo predstavitev), se osredotočite na to:
A) Jasna ločitev skrbi 🧱
-
podatkovna plast (shranjevanje, upravljanje)
-
učna plast (poskusi, cevovodi)
-
strežniška plast (API-ji, skaliranje)
-
nadzorna plast (metrike, dnevniki, opozorila) SageMaker Model Monitor
Ko je vse skupaj zmečkano, odpravljanje napak postane čustvena škoda.
B) Ponovljivost privzeto 🧪
Dober sistem vam omogoča, da brez oklevanja navedete:
-
podatki, ki so izurili ta model
-
različica kode
-
hiperparametri
-
okolje
Če je odgovor "hm, mislim, da je bil torkov tek ...", si že v težavah 😅
C) Stroškovno ozaveščena zasnova 💸
Umetna inteligenca v oblaku je zmogljiva, a je tudi najlažji način, da po nesreči ustvarite račun, zaradi katerega podvomite v svoje življenjske odločitve.
Dobre nastavitve vključujejo:
-
samodejno skaliranje Kubernetes: Samodejno skaliranje horizontalnega pod-ja
-
razporejanje primerkov
-
Možnosti spot-preemptive, kadar je to mogoče; Amazon EC2 Spot primerki; Google Cloud Preemptive VMs
-
Predpomnjenje in paketno sklepanje SageMaker Batch Transform
D) Varnost in skladnost z zakonodajo sta vključeni 🔐
Ne privit kasneje kot lepilni trak na puščajočo cev.
E) Resnična pot od prototipa do proizvodnje 🛣️
To je pomembno. Dobra »različica« umetne inteligence v oblaku vključuje MLOps, vzorce uvajanja in spremljanje od samega začetka. Google Cloud: Kaj je MLOps? Sicer pa je to projekt za znanstveni sejem z domiselnim računom.
Primerjalna tabela: Priljubljene možnosti umetne inteligence v oblaku (in za koga so namenjene) 🧰📊
Spodaj je kratka, nekoliko sugestivna tabela. Cene so namerno široke, ker je oblikovanje cen v oblaku kot naročanje kave – osnovna cena nikoli ni prava cena 😵💫
| Orodje / Platforma | Občinstvo | Približno cena | Zakaj deluje (vključno z nenavadnimi opombami) |
|---|---|---|---|
| AWS SageMaker | Ekipe strojnega učenja, podjetja | Plačilo po porabi | Platforma za strojno učenje s polnim skladom – usposabljanje, končne točke, cevovodi. Zmogljiva, a povsod samo meniji. |
| Google Vertex AI | Ekipe za strojno učenje, organizacije za podatkovno znanost | Plačilo po porabi | Močno upravljano usposabljanje + register modelov + integracije. Občutek je gladek, ko vse klikne. |
| Strojno učenje Azure | Podjetja, organizacije, osredotočene na Microsoft | Plačilo po porabi | Lepo se ujema z ekosistemom Azure. Dobre možnosti upravljanja, veliko gumbov. |
| Podatkovne opeke (ML + Lakehouse) | Ekipe za zahtevno podatkovno inženirstvo | Naročnina + uporaba | Odlično za mešanje podatkovnih cevovodov in strojnega učenja na enem mestu. Pogosto priljubljeno v praktičnih ekipah. |
| Funkcije umetne inteligence snežinke | Organizacije, ki dajejo prednost analitiki | Na podlagi uporabe | Dobro je, če je vaš svet že v skladišču. Manj "laboratorija strojnega učenja", več "umetne inteligence v slogu SQL" |
| IBM Watson | Regulirane panoge | Cenik za podjetja | Velik poudarek je na upravljanju in nadzoru podjetja. Pogosto se to izbere za nastavitve, ki zahtevajo veliko pravilnikov. |
| Upravljani Kubernetes (DIY ML) | Inženirji platform | Spremenljivka | Prilagodljivo in prilagojeno. Poleg tega ... bolečino, ko se zlomi, nosiš sam 🙃 |
| Brezstrežniško sklepanje (funkcije + končne točke) | Produktne ekipe | Na podlagi uporabe | Odlično za neenakomeren promet. Pazite na hladne zagone in zakasnitev kot jastreb. |
Ne gre za izbiro "najboljših" - gre za to, da se prilagodite realnosti svoje ekipe. To je tiha skrivnost.
Pogosti primeri uporabe umetne inteligence v računalništvu v oblaku (s primeri) 🧩✨
Tukaj so nastavitve umetne inteligence v oblaku odlične:
1) Avtomatizacija podpore strankam 💬
-
pomočniki za klepet
-
usmerjanje vozovnic
-
povzetek
-
zaznavanje čustev in namenov API za naravni jezik v oblaku
2) Sistemi priporočil 🛒
-
predlogi izdelkov
-
viri vsebine
-
»ljudje so kupili tudi«
Te pogosto zahtevajo skalabilno sklepanje in posodobitve skoraj v realnem času.
3) Odkrivanje goljufij in ocenjevanje tveganja 🕵️
Oblak olajša upravljanje izbruhov, pretakanje dogodkov in izvajanje ansamblov.
4) Inteligenca dokumentov 📄
-
OCR cevovodi
-
ekstrakcija entitet
-
analiza pogodb
-
Razčlenjevanje računov Funkcije umetne inteligence Snowflake Cortex
V mnogih organizacijah se tukaj čas tiho vrne nazaj.
5) Napovedovanje in optimizacija učenja na podlagi strokovnosti 📦
Napovedovanje povpraševanja, načrtovanje zalog, optimizacija poti. Oblak pomaga, ker so podatki obsežni in je prekvalifikacija pogosta.
6) Generativne aplikacije umetne inteligence 🪄
-
osnutek vsebine
-
pomoč pri kodiranju
-
interni boti za znanje (RAG)
-
sintetično generiranje podatkov, članek o pridobivanju in razširjenem generiranju (RAG).
To je pogosto trenutek, ko podjetja končno rečejo: »Vedeti moramo, kje so naša pravila za dostop do podatkov.« 😬
Arhitekturni vzorci, ki jih boste videli povsod 🏗️
Vzorec 1: Upravljana platforma za strojno učenje (pot »želimo si manj glavobolov«) 😌
-
nalaganje podatkov
-
usposabljanje z upravljanimi delovnimi mesti
-
uvajanje na upravljane končne točke
-
spremljanje v nadzornih ploščah platforme SageMaker Model Monitor Vertex AI Model Monitoring
Dobro deluje, kadar je hitrost pomembna in ne želite graditi notranjega orodja iz nič.
Vzorec 2: Lakehouse + strojno učenje (pot »najprej podatki«) 🏞️
-
poenotite delovne tokove podatkovnega inženiringa in strojnega učenja
-
izvajajte zvezke, cevovode, inženiring funkcij v bližini podatkov
-
močno za organizacije, ki že delujejo v velikih analitičnih sistemih Databricks Lakehouse
Vzorec 3: Kontejnerizirano strojno učenje na Kubernetes (pot »želimo nadzor«) 🎛️
-
modeli paketov v kontejnerjih
-
skaliranje s politikami samodejnega skaliranja Kubernetes: Samodejno skaliranje horizontalnega pod-ja
-
integrirati servisno mrežo, opazovalnost, upravljanje skrivnosti
Znano tudi kot: »Samozavestni smo in radi odpravljamo napake ob nenavadnih urah.«
Vzorec 4: RAG (Retrieval-Augmented Generation) (pot »uporabi svoje znanje«) 📚🤝
-
dokumenti v shrambi v oblaku
-
vdelave + vektorska trgovina
-
plast za iskanje dovaja kontekst modelu
-
ograje + nadzor dostopa + beleženje dokument o pridobivanju razširjene generacije (RAG)
To je pomemben del sodobnih pogovorov o umetni inteligenci v oblaku, saj gre za to, kako veliko resničnih podjetij varno uporablja generativno umetno inteligenco.
MLOps: Del, ki ga vsi podcenjujejo 🧯
Če želite, da se umetna inteligenca v oblaku obnaša v produkciji, potrebujete MLOps. Ne zato, ker bi bilo to moderno – ker se modeli premikajo, podatki se spreminjajo in so uporabniki ustvarjalni na najslabši način. Google Cloud: Kaj je MLOps ?
Ključni deli:
-
Sledenje eksperimentu : kaj je delovalo, kaj ne – sledenje MLflow
-
Register modelov : odobreni modeli, različice, metapodatki Register modelov MLflow Register modelov Vertex AI
-
CI-CD za strojno učenje : testiranje + avtomatizacija uvajanja Google Cloud MLOps (CD in avtomatizacija)
-
Shramba funkcij : dosledne funkcije v celotnem usposabljanju in sklepanju SageMaker Feature Store
-
Spremljanje : odstopanje zmogljivosti, signali pristranskosti, latenca, stroški SageMaker Model Monitor Spremljanje modela Vertex AI
-
Strategija povrnitve : da, kot običajna programska oprema
Če to ignorirate, boste končali z "modelnim živalskim vrtom" 🦓, kjer je vse živo, nič ni označeno in se bojite odpreti vrata.
Varnost, zasebnost in skladnost (ni ravno zabaven del, ampak ... ja) 🔐😅
Umetna inteligenca v računalništvu v oblaku sproža nekaj pekočih vprašanj:
Nadzor dostopa do podatkov 🧾
Kdo lahko dostopa do podatkov o učenju? Dnevnikov sklepanja? Pozivov? Izhodov?
Šifriranje in skrivnosti 🗝️
Ključi, žetoni in poverilnice zahtevajo ustrezno ravnanje. »V konfiguracijski datoteki« ni ravnanje.
Izolacija in najem 🧱
Nekatere organizacije zahtevajo ločena okolja za razvoj, uprizoritev in produkcijo. Oblak pomaga – vendar le, če ga pravilno nastavite.
Preverljivost 📋
Regulirane organizacije morajo pogosto pokazati:
-
kateri podatki so bili uporabljeni
-
kako so bile odločitve sprejete
-
kdo je kaj razporedil
-
ko je spremenil IBM watsonx.governance
Upravljanje tveganj modela ⚠️
To vključuje:
-
preverjanja pristranskosti
-
kontradiktorno testiranje
-
obramba pred takojšnjim vbrizgavanjem (za generativno umetno inteligenco)
-
varno filtriranje izhodov
Vse to se vrne k bistvu: ne gre le za »umetno inteligenco, ki gostuje na spletu«. Gre za umetno inteligenco, ki deluje pod resničnimi omejitvami.
Nasveti za stroške in učinkovitost (da ne boste kasneje jokali) 💸😵💫
Nekaj preizkušenih nasvetov:
-
Uporabite najmanjši model, ki ustreza potrebam.
Večje ni vedno boljše. Včasih je preprosto ... večje. -
Paketno sklepanje, kadar je to mogoče.
Cenejša in učinkovitejša paketna transformacija SageMaker . -
Agresivno predpomni,
še posebej za ponavljajoče se poizvedbe in vdelave. -
Samodejno skaliranje, vendar omejite
Neomejeno skaliranje lahko pomeni neomejeno porabo Kubernetes: Samodejno skaliranje horizontalnega pod-ja . Vprašajte me, kako vem ... v resnici ne 😬 -
Spremljajte stroške na končno točko in na funkcijo.
Sicer boste optimizirali napačno stvar. -
Uporabite računalništvo s spot-preemptible computation za usposabljanje.
Veliki prihranki, če vaša učna opravila lahko obvladujejo prekinitve. Spotni primerki Amazon EC2. Prednostni virtualni stroji Google Cloud .
Napake, ki jih ljudje delajo (tudi pametne ekipe) 🤦♂️
-
Obravnavanje umetne inteligence v oblaku kot »preprosto priključite model«
-
Ignoriranje kakovosti podatkov do zadnje minute
-
Pošiljanje modela brez spremljanja SageMaker Model Monitor
-
Ne načrtujem prekvalifikacije kadence Google Cloud: Kaj je MLOps?
-
Pozabljam, da varnostne ekipe obstajajo do tedna lansiranja 😬
-
Pretirano inženirstvo od prvega dne (včasih zmaga preprosta osnova)
Pa še tiho brutalna: ekipe podcenjujejo, koliko uporabniki prezirajo zakasnitev. Model, ki je nekoliko manj natančen, a hiter, pogosto zmaga. Ljudje so nestrpni mali čudeži.
Ključne ugotovitve 🧾✅
Umetna inteligenca v računalništvu v oblaku je celotna praksa gradnje in delovanja umetne inteligence z uporabo oblačne infrastrukture – skaliranje usposabljanja, poenostavitev uvajanja, integracija podatkovnih cevovodov in operacionalizacija modelov z MLOps, varnostjo in upravljanjem. Google Cloud: Kaj je MLOps? NIST SP 800-145 .
Hiter povzetek:
-
Oblak daje umetni inteligenci infrastrukturo za skaliranje in distribucijo 🚀 NIST SP 800-145
-
Umetna inteligenca daje delovnim obremenitvam v oblaku »možgane«, ki avtomatizirajo odločitve 🤖
-
Čarovnija ni samo usposabljanje – gre za uvajanje, spremljanje in upravljanje 🧠🔐 SageMaker Model Monitor
-
Izberite platforme glede na potrebe ekipe, ne glede na marketinško meglo 📌
-
Ura stane in operira kot sokol z očali 🦅👓 (slaba metafora, ampak razumeš)
Če ste prišli sem z mislijo, da je »umetna inteligenca v računalništvu v oblaku le modelni API«, potem ne – to je cel ekosistem. Včasih eleganten, včasih turbulenten, včasih oboje v istem popoldnevu 😅☁️
Pogosta vprašanja
Kaj pomeni »umetna inteligenca v računalništvu v oblaku« v vsakdanjem življenju
Umetna inteligenca v računalništvu v oblaku pomeni, da uporabljate platforme v oblaku za shranjevanje podatkov, zagon računalništva (CPE/GPU/TPE), učenje modelov, njihovo uvajanje in spremljanje – ne da bi imeli v lasti strojno opremo. V praksi oblak postane kraj, kjer poteka celoten življenjski cikel vaše umetne inteligence. Najamete, kar potrebujete, ko to potrebujete, nato pa zmanjšate obseg, ko končate.
Zakaj projekti umetne inteligence propadejo brez infrastrukture v oblaku in MLO-ov
Večina napak se zgodi okoli modela, ne znotraj njega: nedosledni podatki, neusklajena okolja, krhke uvedbe in pomanjkanje spremljanja. Orodja v oblaku pomagajo standardizirati vzorce shranjevanja, računanja in uvajanja, tako da se modeli ne zataknejo pri principu »na mojem prenosniku je delovalo«. MLOps doda manjkajoče lepilo: sledenje, registre, cevovode in povrnitev prejšnjih nastavitev, tako da sistem ostane ponovljiv in vzdrževalen.
Tipičen potek dela za umetno inteligenco v računalništvu v oblaku, od podatkov do produkcije
Pogost potek je: podatki pristanejo v shrambi v oblaku, se obdelajo v funkcije, nato pa se modeli naučijo na skalabilnem računalnem sistemu. Nato se izvede uvajanje prek končne točke API-ja, paketnega opravila, nastavitve brez strežnika ali storitve Kubernetes. Nazadnje se spremlja zakasnitev, premik in stroški ter se nato izvajajo ponovitve s ponovnim učenjem in varnejšimi uvajanji. Večina resničnih cevovodov se nenehno ponavlja, namesto da bi se enkrat namestila.
Izbira med SageMakerjem, Vertex AI, Azure ML, Databricksom in Kubernetesom
Izberite glede na realnost vaše ekipe in ne na podlagi trženjskega hrupa »najboljše platforme«. Upravljane platforme za strojno učenje (SageMaker/Vertex AI/Azure ML) zmanjšujejo operativne glavobole z usposabljanjem, končnimi točkami, registri in spremljanjem. Podatkovne opeke pogosto ustrezajo ekipam, ki se osredotočajo na podatkovno inženirstvo in želijo strojno učenje blizu cevovodov in analitike. Kubernetes omogoča maksimalen nadzor in prilagajanje, vendar imate tudi odgovornost za zanesljivost, politike skaliranja in odpravljanje napak, ko se stvari pokvarijo.
Arhitekturni vzorci, ki se danes najpogosteje pojavljajo v nastavitvah oblaka umetne inteligence
Stalno boste videli štiri vzorce: upravljane platforme strojnega učenja za hitrost, Lakehouse + strojno učenje za organizacije, ki temeljijo na podatkih, vsebniško strojno učenje na Kubernetes za nadzor in RAG (generiranje z razširjenim pridobivanjem) za »varno uporabo našega notranjega znanja«. RAG običajno vključuje dokumente v shrambi v oblaku, vdelave + vektorsko shrambo, plast pridobivanja in nadzor dostopa z beleženjem. Vzorec, ki ga izberete, se mora ujemati z vašo zrelostjo upravljanja in operacij.
Kako ekipe uvajajo modele umetne inteligence v oblaku: REST API-ji, paketna opravila, brezstrežniško delovanje ali Kubernetes
REST API-ji so pogosti za napovedi v realnem času, ko je pomembna zakasnitev izdelka. Paketno sklepanje je odlično za načrtovano točkovanje in stroškovno učinkovitost, še posebej, če rezultati niso nujno takojšnji. Končne točke brez strežnika lahko dobro delujejo pri neenakomernem prometu, vendar je treba pozornost nameniti hladnim zagonom in zakasnitvi. Kubernetes je idealen, ko potrebujete natančno skaliranje in integracijo z orodji platforme, vendar dodaja operativno kompleksnost.
Kaj je treba spremljati v produkciji, da bodo sistemi umetne inteligence ostali zdravi
Vsaj spremljajte zakasnitev, stopnje napak in stroške na napoved, da ostaneta zanesljivost in proračun vidna. Na strani strojnega učenja spremljajte premik podatkov in premik zmogljivosti, da ujamete, kdaj se realnost v modelu spremeni. Pomembno je tudi beleženje robnih primerov in slabih rezultatov, zlasti za generativne primere uporabe, kjer so uporabniki lahko kreativno nasprotujoči si. Dobro spremljanje podpira tudi odločitve o preklicu predhodnih rezultatov, ko modeli nazadujejo.
Zmanjšanje stroškov umetne inteligence v oblaku brez zmanjšanja zmogljivosti
Pogost pristop je uporaba najmanjšega modela, ki izpolnjuje zahtevo, nato pa optimizacija sklepanja s paketnim združevanjem in predpomnjenjem. Samodejno skaliranje pomaga, vendar potrebuje omejitve, da »elastično« ne postane »neomejena poraba«. Za učenje lahko spot/preemptible computation veliko prihranite, če vaša opravila prenašajo prekinitve. Sledenje stroškom na končno točko in na funkcijo vam preprečuje optimizacijo napačnega dela sistema.
Največja varnostna in skladnostna tveganja pri uporabi umetne inteligence v oblaku
Velika tveganja so nenadzorovan dostop do podatkov, šibko upravljanje skrivnosti in manjkajoče revizijske sledi o tem, kdo je kaj usposobil in namestil. Generativna umetna inteligenca dodaja dodatne težave, kot so vbrizgavanje pozivov, nevarni izhodi in prikaz občutljivih podatkov v dnevnikih. Številni cevovodi potrebujejo izolacijo okolja (razvoj/uvedba/produkcija) in jasne politike za pozive, izhode in beleženje sklepov. Najvarnejše nastavitve obravnavajo upravljanje kot osnovno sistemsko zahtevo in ne kot popravek v tednu lansiranja.
Reference
-
Nacionalni inštitut za standarde in tehnologijo (NIST) - SP 800-145 (končno) - csrc.nist.gov
-
Google Cloud – grafični procesorji za umetno inteligenco – cloud.google.com
-
za Google Cloud TPU v oblaku - docs.cloud.google.com
-
Amazon Web Services (AWS) - Amazon S3 (shranjevanje objektov) - aws.amazon.com
-
Amazon Web Services (AWS) - Kaj je podatkovno jezero? - aws.amazon.com
-
Amazon Web Services (AWS) - Kaj je podatkovno skladišče? - aws.amazon.com
-
Amazon Web Services (AWS) – Storitve umetne inteligence AWS – aws.amazon.com
-
Google Cloud – API-ji za umetno inteligenco v storitvi Google Cloud – cloud.google.com
-
Google Cloud - Kaj je MLOps? - cloud.google.com
-
Google Cloud - Register modelov umetne inteligence Vertex (Uvod) - docs.cloud.google.com
-
Red Hat - Kaj je REST API? - redhat.com
-
Dokumentacija za Amazon Web Services (AWS) - Paketna transformacija SageMaker - docs.aws.amazon.com
-
Amazon Web Services (AWS) - Podatkovno skladišče v primerjavi s podatkovnim jezerom v primerjavi s podatkovnim skladiščem - aws.amazon.com
-
Microsoft Learn – registri strojnega učenja Azure (MLOps) – learn.microsoft.com
-
Google Cloud – Pregled shrambe v Google Cloudu – docs.cloud.google.com
-
arXiv - Članek o generiranju razširjenih podatkov (RAG) - arxiv.org
-
Dokumentacija za Amazon Web Services (AWS) - SageMaker brezstrežniško sklepanje - docs.aws.amazon.com
-
Kubernetes - Samodejno skaliranje horizontalnega pod-ja - kubernetes.io
-
Google Cloud - Vertex AI paketne napovedi - docs.cloud.google.com
-
Dokumentacija za Amazon Web Services (AWS) - SageMaker Model Monitor - docs.aws.amazon.com
-
Google Cloud - Spremljanje modela Vertex AI (Uporaba spremljanja modela) - docs.cloud.google.com
-
Amazon Web Services (AWS) – Spotni primerki Amazon EC2 – aws.amazon.com
-
Google Cloud - Prednostno izkoriščeni virtualni stroji - docs.cloud.google.com
-
Dokumentacija za Amazon Web Services (AWS) - AWS SageMaker: Kako deluje (Usposabljanje) - docs.aws.amazon.com
-
Google Cloud – Google Vertex AI – cloud.google.com
-
Microsoft Azure – Strojno učenje Azure – azure.microsoft.com
-
Databricks - Databricks Lakehouse - databricks.com
-
Dokumentacija za Snowflake - Funkcije umetne inteligence Snowflake (Pregledni vodnik) - docs.snowflake.com
-
IBM - IBM watsonx - ibm.com
-
Dokumentacija za Google Cloud – – docs.cloud.google.com
-
Dokumentacija Snowflake - Funkcije umetne inteligence Snowflake Cortex (AI SQL) - docs.snowflake.com
-
MLflow - Sledenje MLflow-u - mlflow.org
-
MLflow - Register modelov MLflow - mlflow.org
-
Google Cloud - MLOps: Neprekinjena dostava in avtomatizacija cevovodov v strojnem učenju - cloud.google.com
-
Amazon Web Services (AWS) – Trgovina funkcij SageMaker – aws.amazon.com
-
IBM - IBM watsonx.governance - ibm.com