Kako se umetna inteligenca uči?

Kako se umetna inteligenca uči?

Kako se umetna inteligenca uči?, ta priročnik razkrije glavne ideje v preprostem jeziku – s primeri, drobnimi odkloni in nekaj nepopolnimi metaforami, ki so še vedno v pomoč. Pa se lotimo dela. 🙂

Članki, ki jih boste morda želeli prebrati po tem:

🔗 Kaj je napovedna umetna inteligenca
Kako napovedni modeli napovedujejo rezultate z uporabo zgodovinskih in realnih podatkov.

🔗 Katere panoge bo umetna inteligenca spremenila
Sektorji, ki jih najverjetneje preoblikujejo avtomatizacija, analitika in agenti.

🔗 Kaj pomeni kratica GPT
Jasna razlaga kratice GPT in njenega izvora.

🔗 Kaj so veščine umetne inteligence
Ključne kompetence za gradnjo, uvajanje in upravljanje sistemov umetne inteligence.

Torej, kako to stori? ✅

Ko ljudje vprašajo, kako se umetna inteligenca uči?, običajno mislijo: kako modeli postanejo uporabni in ne le domišljijske matematične igrače. Odgovor je recept:

  • Jasen cilj – funkcija izgube, ki opredeljuje, kaj pomeni »dobro«. [1]

  • Kakovostni podatki – raznoliki, jasni in ustrezni. Količina pomaga; raznolikost pomaga še več. [1]

  • Stabilna optimizacija - gradientni spust s triki za preprečevanje zibanja s pečine. [1], [2]

  • Posplošitev - uspeh na novih podatkih, ne le na učni množici. [1]

  • Povratne zanke - vrednotenje, analiza napak in iteracija. [2], [3]

  • Varnost in zanesljivost – zaščitne ograje, testiranje in dokumentacija, da ne bo kaosa. [4]

Za dostopne temelje klasično besedilo za poglobljeno učenje, vizualno prijazne zapiske tečaja in praktični hitri tečaj pokrivajo bistvo, ne da bi vas zasuli s simboli. [1]–[3]

Kako se umetna inteligenca uči? Kratek odgovor v preprosti angleščini ✍️

Model umetne inteligence se začne z naključnimi vrednostmi parametrov. Naredi napoved. To napoved ocenite z izgubo . Nato te parametre prilagodite, da zmanjšate izgubo z uporabo gradientov . To zanko ponavljajte v številnih primerih, dokler se model ne neha izboljševati (ali dokler vam ne zmanjka prigrizkov). To je učna zanka v enem dihu. [1], [2]

Če želite nekoliko več natančnosti, si oglejte spodnje razdelke o gradientnem spustu in povratnem širjenju. Za hiter in razumljiv uvod so na voljo kratka predavanja in laboratorijske vaje. [2], [3]

Osnove: podatki, cilji, optimizacija 🧩

  • Podatki : Vhodni podatki (x) in cilji (y). Širši in čistejši kot so podatki, večja je možnost posploševanja. Urejanje podatkov ni glamurozno, je pa neopevani junak. [1]

  • Model : Funkcija (f_\theta(x)) s parametri (\theta). Nevronske mreže so skladi preprostih enot, ki se združujejo na zapletene načine – kot Lego kocke, vendar bolj mehke. [1]

  • Cilj : Izguba (L(f_\theta(x), y)), ki meri napako. Primera: povprečna kvadratna napaka (regresija) in navzkrižna entropija (klasifikacija). [1]

  • Optimizacija : Za posodobitev parametrov uporabite (stohastični) gradientni spust: (\theta \leftarrow \theta - \eta \nabla_\theta L). Stopnja učenja (\eta): prevelika in poskakujete; premajhna in za vedno dremate. [2]

Za jasen uvod v funkcije izgub in optimizacijo so odličen pregled klasičnih zapiskov o trikih in pasteh učenja. [2]

Nadzorovano učenje: učite se iz označenih primerov 🎯

Ideja : Prikažite modelne pare vhodnih podatkov in pravilnih odgovorov. Model se nauči preslikave (x \rightarrow y).

  • Pogoste naloge : klasifikacija slik, analiza čustev, tabelarično napovedovanje, prepoznavanje govora.

  • Tipične izgube : navzkrižna entropija za klasifikacijo, povprečna kvadratna napaka za regresijo. [1]

  • Pasti : šum oznak, neravnovesje razredov, uhajanje podatkov.

  • Popravki : stratificirano vzorčenje, robustne izgube, regularizacija in bolj raznoliko zbiranje podatkov. [1], [2]

Na podlagi desetletij primerjalnih preizkusov in produkcijske prakse ostaja nadzorovano učenje glavna naloga, saj so rezultati predvidljivi, metrike pa enostavne. [1], [3]

Nenadzorovano in samonadzorovano učenje: spoznajte strukturo podatkov 🔍

Nenadzorovano se uči vzorcev brez oznak.

  • Združevanje : združevanje podobnih točk – k-povprečja je preprosto in presenetljivo uporabno.

  • Zmanjšanje dimenzionalnosti : stisnite podatke v bistvene smeri – PCA je orodje za prehod.

  • Modeliranje gostote/generativno modeliranje : spoznajte samo porazdelitev podatkov. [1]

Samonadzor je sodobni mehanizem: modeli ustvarijo svoj lastni nadzor (maskirano napovedovanje, kontrastno učenje), kar vam omogoča predhodno učenje na oceanih neoznačenih podatkov in kasnejše fino nastavljanje. [1]

Učenje z utrjevanjem: učenje z delom in pridobivanjem povratnih informacij 🕹️

Agent interagira z okoljem , prejema nagrade in se nauči politike , ki maksimizira dolgoročno nagrado.

  • Ključni elementi : stanje, dejanje, nagrada, politika, vrednostna funkcija.

  • Algoritmi : Q-učenje, gradienti politik, akter-kritik.

  • Raziskovanje proti izkoriščanju : preizkusite nove stvari ali ponovno uporabite tisto, kar deluje.

  • Dodelitev kredita : katero dejanje je povzročilo kateri rezultat?

Človeške povratne informacije lahko vodijo usposabljanje, ko so nagrade neurejene – razvrščanje ali preference pomagajo oblikovati vedenje brez ročnega kodiranja popolne nagrade. [5]

Globoko učenje, povratno učenje in gradientni spust - utripajoče srce 🫀

Nevronske mreže so kompozicije preprostih funkcij. Za učenje se zanašajo na povratno širjenje :

  1. Prehod naprej : izračunaj napovedi iz vhodnih podatkov.

  2. Izguba : izmerite napako med napovedmi in cilji.

  3. Nazaj v smeri nazaj : za izračun gradientov izgube glede na vsak parameter uporabite pravilo verige.

  4. Posodobitev : prilagodite parametre glede na gradient z uporabo optimizatorja.

Različice, kot so momentum, RMSProp in Adam, naredijo trening manj temperamenten. Metode regularizacije, kot so dropout , weight decay in zgodnje zaustavljanje pomagajo modelom posploševati namesto pomniti. [1], [2]

Transformerji in pozornost: zakaj se sodobni modeli počutijo pametne 🧠✨

Transformatorji so nadomestili številne ponavljajoče se nastavitve v jeziku in vidu. Ključni trik je samo-pozornost , ki modelu omogoča, da tehta različne dele svojega vnosa glede na kontekst. Pozicijsko kodiranje obravnava vrstni red, večglava pozornost omogoča modelu, da se hkrati osredotoči na različne odnose. Skaliranje – bolj raznoliki podatki, več parametrov, daljše učenje – pogosto pomaga, vendar z manjšimi donosi in naraščajočimi stroški. [1], [2]

Posploševanje, prekomerno prilagajanje in ples pristranskosti in variance 🩰

Model lahko odlično opravi učni nabor in v resničnem svetu še vedno ne uspe.

  • Preobremenitev : zapomni si šum. Napaka učenja zmanjšana, napaka testa povečana.

  • Premajhno prilagajanje : prepogosto; zgreši signal.

  • Kompromis med pristranskostjo in varianco : kompleksnost zmanjša pristranskost, vendar lahko poveča varianco.

Kako bolje posploševati:

  • Bolj raznoliki podatki – različni viri, domene in robni primeri.

  • Regularizacija - osipanje, upadanje teže, povečanje podatkov.

  • Pravilna validacija - čisti testni nabori, navzkrižna validacija za majhne podatke.

  • Spremljanje odnašanja – porazdelitev podatkov se bo sčasoma spreminjala.

Praksa, ki se zaveda tveganj, te opredeli kot dejavnosti življenjskega cikla – upravljanje, kartiranje, merjenje in upravljanje – ne kot enkratne kontrolne sezname. [4]

Pomembne metrike: kako vemo, da se je učenje zgodilo 📈

  • Klasifikacija : natančnost, preciznost, priklic, F1, ROC AUC. Neuravnoteženi podatki zahtevajo krivulje natančnosti in priklica. [3]

  • Regresija : MSE, MAE, (R^2). [1]

  • Razvrščanje/pridobivanje : MAP, NDCG, recall@K. [1]

  • Generativni modeli : zmedenost (jezik), BLEU/ROUGE/CIDEr (besedilo), rezultati na osnovi CLIP (multimodalni) in – kar je ključno – človeške ocene. [1], [3]

Izberite metrike, ki so skladne z vplivom na uporabnika. Majhno povečanje natančnosti je lahko nepomembno, če so lažno pozitivni rezultati dejanska cena. [3]

Potek dela usposabljanja v resničnem svetu: preprost načrt 🛠️

  1. Uokvirite problem – opredelite vhodne podatke, izhodne podatke, omejitve in merila uspeha.

  2. Podatkovni cevovod - zbiranje, označevanje, čiščenje, delitev, dopolnjevanje.

  3. Osnovna linija – začnite preprosto; linearne ali drevesne osnovne linije so šokantno konkurenčne.

  4. Modeliranje - poskusite nekaj družin: drevesa z gradientnim poudarkom (tabelarično), CNN (slike), transformatorji (besedilo).

  5. Usposabljanje - urnik, strategije za določanje stopnje učenja, kontrolne točke, mešana natančnost, če je potrebno.

  6. Vrednotenje - ablacije in analiza napak. Oglejte si napake, ne le povprečja.

  7. Uvajanje - cevovod sklepanja, spremljanje, beleženje, načrt povrnitve.

  8. Iteracija - boljši podatki, natančne nastavitve ali prilagoditve arhitekture.

Mini primer : projekt klasifikacije e-pošte se je začel s preprosto linearno osnovno linijo, nato pa je bil izpopolnjen predhodno naučen transformator. Največja zmaga ni bila model, temveč je bila strožja rubrika označevanja in dodajanje premalo zastopanih "robnih" kategorij. Ko so bile te kategorije pokrite, je validacija F1 končno sledila delovanju v resničnem svetu. (Vaš bodoči jaz: zelo hvaležen.)

Kakovost podatkov, označevanje in subtilna umetnost, da si ne lažeš 🧼

Smeti noter, obžalovanje ven. Smernice za označevanje morajo biti dosledne, merljive in pregledne. Pomemben je dogovor med komentatorji.

  • Napišite rubrike s primeri, ključnimi primeri in odločitvami za razrešitev neodločenega rezultata.

  • Preverjanje naborov podatkov za podvojene in skoraj podvojene kopije.

  • Sledite izvoru – od kod prihaja vsak primer in zakaj je vključen.

  • Izmerite pokritost podatkov glede na dejanske uporabniške scenarije, ne le na podlagi čistega primerjalnega primera.

To se lepo ujema s širšimi okviri zagotavljanja in upravljanja, ki jih lahko dejansko operacionalizirate. [4]

Prenesite učenje, fino uglaševanje in adapterje – ponovno uporabite težko delo ♻️

Predhodno naučeni modeli se naučijo splošnih predstavitev; natančna nastavitev jih prilagodi vaši nalogi z manj podatki.

  • Ekstrakcija značilnosti : zamrznitev hrbtenice, treniranje majhne glave.

  • Popolna natančna nastavitev : posodobite vse parametre za največjo zmogljivost.

  • Metode, ki učinkovito uporabljajo parametre : adapterji, posodobitve nizkega ranga v slogu LoRA – dobro, kadar je računalništvo omejeno.

  • Prilagoditev domene : uskladitev vdelav med domenami; majhne spremembe, veliki dobički. [1], [2]

Zaradi tega vzorca ponovne uporabe se sodobni projekti lahko hitro razvijajo brez junaških proračunov.

Varnost, zanesljivost in poravnava - neizogibni deli 🧯

Učenje ni le stvar natančnosti. Želite tudi modele, ki so robustni, pošteni in usklajeni z namenom uporabe.

  • Kontrastna robustnost : majhne motnje lahko zavedejo modele.

  • Pristranskost in pravičnost : merite uspešnost podskupin, ne le splošnih povprečij.

  • Interpretabilnost : pripisovanje in sondiranje značilnosti vam pomagata razumeti, zakaj .

  • Človek v zanki : poti eskalacije za dvoumne ali močno vplivne odločitve. [4], [5]

Učenje na podlagi preferenc je pragmatičen način za vključitev človeške presoje, ko so cilji nejasni. [5]

Pogosta vprašanja v eni minuti - hiter ogenj ⚡

  • Kako se torej umetna inteligenca uči? Z iterativno optimizacijo proti izgubam, pri čemer gradienti usmerjajo parametre k boljšim napovedim. [1], [2]

  • Ali več podatkov vedno pomaga? Običajno, dokler se donosi ne zmanjšujejo. Raznolikost pogosto premaga surovo količino. [1]

  • Kaj pa, če so oznake neurejene? Uporabite metode, odporne na šum, boljše rubrike in razmislite o samonadzorovanem predhodnem usposabljanju. [1]

  • Zakaj prevladujejo transformatorji? Pozornost se dobro prilagaja in zajame dolgoročne odvisnosti; orodja so zrela. [1], [2]

  • Kako vem, da sem končal z učenjem? Izguba validacije se ustali, metrike se stabilizirajo in novi podatki se obnašajo po pričakovanjih – nato pa spremljam morebitne premike. [3], [4]

Primerjalna tabela - orodja, ki jih lahko dejansko uporabljate že danes 🧰

Namerno nekoliko nenavadno. Cene so za osnovne knjižnice – usposabljanje v velikem obsegu ima seveda stroške infrastrukture.

Orodje Najboljše za Cena Zakaj deluje dobro
PyTorch Raziskovalci, gradbeniki Brezplačno - odprt vir Dinamični grafi, močan ekosistem, odlični vodiči.
TensorFlow Produkcijske ekipe Brezplačno - odprt vir Zrelo streženje, TF Lite za mobilne naprave; velika skupnost.
scikit-learn Tabelarni podatki, izhodišča Brezplačno Čist API, hitro iteriranje, odlična dokumentacija.
Keras Hitri prototipi Brezplačno Visokonivojski API preko TF, berljive plasti.
JAX Uporabniki z veliko močjo, raziskave Brezplačno Samodejna vektorizacija, hitrost XLA, elegantni matematični pridihi.
Transformatorji objemajočih obrazov NLP, vid, zvok Brezplačno Prednaučeni modeli, preprosto natančnejše nastavljanje, odlična vozlišča.
Strela Poteki dela za usposabljanje Prosto jedro Vključena struktura, beleženje, več-GPU baterije.
XGBoost Tabelarično konkurenčno Brezplačno Močne osnovne vrednosti, pogosto zmagajo pri strukturiranih podatkih.
Uteži in pristranskosti Sledenje eksperimentu Brezplačna stopnja Ponovljivost, primerjava izvedb, hitrejše učne zanke.

Za začetek veljajo avtoritativni dokumenti: PyTorch, TensorFlow in pregleden uporabniški priročnik za scikit-learn. (Izberite enega, zgradite nekaj majhnega in ponovite.)

Poglobljen vpogled: praktični nasveti, ki vam prihranijo čas 🧭

  • Razporedi učenja glede na hitrost : kosinusni razpad ali en cikel lahko stabilizirata učenje.

  • Velikost serije : večje ni vedno boljše – spremljajte meritve validacije, ne le prepustnosti.

  • Teža inicializacije : sodobne privzete vrednosti so v redu; če se učenje ustavi, ponovno preglejte inicializacijo ali normalizirajte zgodnje plasti.

  • Normalizacija : šaržna norma ali norma plasti lahko dramatično zgladi optimizacijo.

  • Povečanje podatkov : obračanje/obrezovanje/barvno tresenje za slike; maskiranje/premešanje žetonov za besedilo.

  • Analiza napak : združevanje napak po robnem primeru rezine lahko vse potegne navzdol.

  • Repro : nastavi semena, zabeleži hiperparametre, shrani kontrolne točke. Obljubim, da ti bo prihodnost hvaležna. [2], [3]

Ko ste v dvomih, se vrnite k osnovam. Osnove ostajajo kompas. [1], [2]

Drobna metafora, ki skoraj deluje 🪴

Usposabljanje modela je kot zalivanje rastline s čudno šobo. Preveč vode - preveč vode v luži. Premalo vode - premalo vode v suši. Prava kadenca, s sončno svetlobo iz dobrih podatkov in hranili iz čistih ciljev, in dobite rast. Da, nekoliko sirasto, ampak se obdrži.

Kako se umetna inteligenca uči? Združevanje vsega skupaj 🧾

Model se začne naključno. S posodobitvami na osnovi gradientov, ki jih vodi izguba, uskladi svoje parametre z vzorci v podatkih. Pojavijo se predstavitve, ki olajšajo napovedovanje. Vrednotenje vam pove, ali je učenje resnično in ne naključno. Iteracija – z varnostnimi ograjami – pa predstavitev spremeni v zanesljiv sistem. To je celotna zgodba, z manj skrivnostnimi vibracijami, kot se je zdelo sprva. [1]–[4]

Zadnje opombe - Predolgo, nisem prebral 🎁

  • Kako se umetna inteligenca uči? Z zmanjševanjem izgub z gradienti v številnih primerih. [1], [2]

  • Dobri podatki, jasni cilji in stabilna optimizacija poskrbijo, da se učenje ohrani. [1]–[3]

  • Posploševanje vedno premaga pomnjenje. [1]

  • Varnost, evalvacija in iteracija spreminjajo pametne ideje v zanesljive izdelke. [3], [4]

  • Začnite preprosto, dobro izmerite in izboljšajte s popravljanjem podatkov, preden se lotite eksotičnih arhitektur. [2], [3]

Reference

  1. Goodfellow, Bengio, Courville - Globoko učenje (brezplačno spletno besedilo). Povezava

  2. Stanford CS231n - Konvolucijske nevronske mreže za vizualno prepoznavanje (opombe in naloge). Povezava

  3. Google - Hitri tečaj strojnega učenja: Klasifikacijske metrike (natančnost, natančnost, odpoklic, ROC/AUC) . Povezava

  4. NIST - Okvir za upravljanje tveganj umetne inteligence (AI RMF 1.0) . Povezava

  5. OpenAI - Učenje iz človeških preferenc (pregled usposabljanja na podlagi preferenc). Povezava

Poiščite najnovejšo umetno inteligenco v uradni trgovini z umetno inteligenco

O nas

Nazaj na blog