Kako zgraditi agenta umetne inteligence

Kako zgraditi agenta umetne inteligence

Kratek odgovor: Če želite zgraditi agenta umetne inteligence, ki deluje v praksi, ga obravnavajte kot nadzorovano zanko: sprejmite vhodne podatke, določite naslednje dejanje, pokličite ozko omejeno orodje, opazujte rezultat in ponavljajte, dokler ni uspešno preverjeno, ali je »opravljeno«. To si zasluži svoje mesto, ko je naloga večstopenjska in jo poganja orodje; če jo reši en sam poziv, preskočite agenta. Dodajte stroge sheme orodij, omejitve korakov, beleženje in validatorja/kritika, tako da se agent v primeru odpovedi orodij ali dvoumnosti vhodnih podatkov namesto zanke premakne naprej.

Ključne ugotovitve:

Krmilna zanka : Implementirajte vnos → dejanje → opazujte ponavljanje z eksplicitnimi pogoji zaustavitve in največjim številom korakov.

Zasnova orodij : Orodja naj bodo ozka, tipizirana, z dovoljenji in potrjena, da se prepreči kaos »naredi_karkoli«.

Higiena spomina : Uporabite kompaktno kratkoročno stanje in dolgoročno priklic; izogibajte se izpisovanju celotnih prepisov.

Odpornost proti zlorabi : Dodajte sezname dovoljenih, omejitve hitrosti, idempotentnost in »poskusne preizkuse« za tvegana dejanja.

Testabilnost : Vzdržujte nabor scenarijev (napake, dvoumnost, injekcije) in ga ponovno zaženite ob vsaki spremembi.

Kako zgraditi agenta z umetno inteligenco? Infografika
Članki, ki jih boste morda želeli prebrati po tem:

🔗 Kako meriti učinkovitost umetne inteligence
Naučite se praktičnih meritev za merjenje hitrosti, natančnosti in zanesljivosti.

🔗 Kako se pogovarjati z umetno inteligenco
Za boljše odgovore uporabite pozive, kontekst in nadaljnja vprašanja.

🔗 Kako oceniti modele umetne inteligence
Primerjajte modele z uporabo testov, rubrik in rezultatov nalog iz resničnega sveta.

🔗 Kako optimizirati modele umetne inteligence
Izboljšajte kakovost in stroške z uglaševanjem, obrezovanjem in spremljanjem.

1) Kaj je agent umetne inteligence, po domače 🧠

Agent umetne inteligence je zanka. Dokumentacija LangChain »Agenti«

To je to. Zanka z možgani na sredini.

Vnos → razmišljanje → ukrepanje → opazovanje → ponovitev . Reagiraj (utemelji + ukrepaj)

Kje:

  • Vhod je uporabniška zahteva ali dogodek (novo e-poštno sporočilo, zahtevek za podporo, ping senzorja).

  • Razmišljanje je jezikovni model, ki razmišlja o naslednjem koraku.

  • Act kliče orodje (iskanje interne dokumentacije, izvajanje kode, ustvarjanje zahteve, pisanje osnutka odgovora). Vodnik za klicanje funkcij OpenAI

  • Opazovanje bere izhod orodja.

  • Ponavljanje je del, zaradi katerega se zdi »agentsko« namesto »klepetavo«. Dokumentacija LangChain »Agenti«

Nekateri agenti so v bistvu pametni makri. Drugi delujejo bolj kot mlajši operaterji, ki lahko žonglirajo z nalogami in se popravljajo po napakah. Oba štejeta.

Prav tako ne potrebujete popolne avtonomije. Pravzaprav ... verjetno si je niti ne želite 🙃

2) Kdaj bi morali zgraditi agenta (in kdaj ne) 🚦

Zgradite agenta, ko:

  • Delo je večstopenjsko in se spreminja glede na to, kaj se zgodi na sredi poti.

  • Delo zahteva uporabo orodij (baze podatkov, CRM-ji, izvajanje kode, ustvarjanje datotek, brskalniki, notranji API-ji). Dokumentacija o orodjih LangChain.

  • Želite ponovljive rezultate z varovali, ne le enkratnih odgovorov.

  • "Opravljeno" lahko definirate na način, ki ga lahko računalnik preveri, četudi le na ohlapno.

Ne sestavljajte agenta, kadar:

  • Preprost poziv + odgovor reši težavo (ne pretiravaj z inženiringom, kasneje se boš sovražil).

  • Potrebujete popoln determinizem (agenti so lahko dosledni, vendar ne robotski).

  • Nimaš nobenih orodij ali podatkov za povezovanje – potem so večinoma samo vibracije.

Bodimo odkriti: polovica "projektov agentov umetne inteligence" bi lahko bila potek dela z nekaj pravili razvejanja. Ampak hej, včasih je pomembna tudi atmosfera 🤷♂️

3) Kaj naredi dobro različico agenta umetne inteligence ✅

Tukaj je razdelek »Kaj naredi dobro različico«, ki ste ga zahtevali, le da bom nekoliko neposreden:

Dobra različica agenta umetne inteligence ni tista, ki najtrdo razmišlja. Je tista, ki:

Če tvojega agenta ni mogoče preizkusiti, je to v bistvu zelo samozavesten igralni avtomat. Zabavno na zabavah, grozljivo v produkciji 😬

4) Temeljni gradniki agenta (»anatomija« 🧩)

Večina trdnih agentov ima te dele:

A) Zanka krmilnika 🔁

To je orkestrator:

B) Orodja (tj. zmogljivosti) 🧰

Orodja so tisto, zaradi česar je agent učinkovit: dokumentacija o orodjih LangChain

  • poizvedbe v zbirki podatkov

  • pošiljanje e-poštnih sporočil

  • vlečenje datotek

  • izvajanje kode

  • klicanje notranjih API-jev

  • pisanje v preglednice ali CRM-je

C) Spomin 🗃️

Pomembni sta dve vrsti:

  • kratkoročni spomin : trenutni kontekst teka, nedavni koraki, trenutni načrt

  • dolgoročni spomin : uporabniške nastavitve, kontekst projekta, pridobljeno znanje (pogosto prek vdelanih elementov + vektorska shramba) RAG dokument

D) Politika načrtovanja in odločanja 🧭

Tudi če temu ne rečete "načrtovanje", potrebujete metodo:

E) Varovalne ograje in evalvacija 🧯

Ja, gre bolj za inženiring kot za suflenje. Kar je ... nekako bistvo.

5) Primerjalna tabela: priljubljeni načini za izgradnjo agenta 🧾

Spodaj je realistična »Primerjalna tabela« – z nekaj posebnostmi, saj so prave ekipe svojevrstne 😄

Orodje / Okvir Občinstvo Cena Zakaj deluje Opombe (majhen kaos)
LangChain gradbeniki, ki imajo radi lego kocke prosto-primerno + infrastrukturno velik ekosistem za orodja, pomnilnik, verige lahko dobiš špagete hitro, če stvari ne poimenuješ jasno
LamaIndex Ekipe z veliko RAG-a prosto-primerno + infrastrukturno močni vzorci iskanja, indeksiranje, povezovalniki odlično, če vaš agent v bistvu deluje po principu "iskanje + ukrepanje" ... kar je pogosto
Pristop v slogu OpenAI Assistants ekipe, ki želijo hitrejšo postavitev na podlagi uporabe vgrajeni vzorci klicanja orodij in stanje delovanja manj prilagodljiv v nekaterih kotih, vendar čist za številne aplikacije OpenAI izvaja API in klicanje funkcij OpenAI Assistants
Semantično jedro razvijalci, ki si želijo strukturirane orkestracije svobodno čista abstrakcija za spretnosti/funkcije zdi se "posebno urejen" - včasih je to kompliment 😉
Samodejno generiranje večagentni eksperimentatorji svobodno vzorci sodelovanja med agenti lahko pretirava; postavi stroga pravila za prekinitev
CrewAI oboževalci "ekipe agentov" svobodno vloge + naloge + predaje so enostavne za izražanje najbolje deluje, ko so naloge jasne, ne pa kašaste
Senokop iskanje + ljudje s cevovodi svobodno trdni cevovodi, pridobivanje, komponente manj »agentnega gledališča«, bolj »praktična tovarna«
Zavrtite si sami (zanka po meri) kontrolni čudaki (ljubeči) tvoj čas minimalna magija, maksimalna jasnost ponavadi najboljše dolgoročno ... dokler vsega ne izumiš na novo 😅

Ni enega samega zmagovalca. Najboljša izbira je odvisna od tega, ali je glavna naloga vašega agenta iskanje , izvajanje orodij , koordinacija več agentov ali avtomatizacija delovnega toka .

6) Kako korak za korakom zgraditi agenta z umetno inteligenco (dejanski recept) 🍳🤖

To je del, ki ga večina ljudi preskoči, nato pa se sprašujejo, zakaj se agent obnaša kot rakun v shrambi.

1. korak: V enem stavku opredelite delo 🎯

Primeri:

  • »Napišite osnutek odgovora stranke z uporabo pravilnika in konteksta zahteve ter nato prosite za odobritev.«

  • "Preučite poročilo o hrošču, ga reproducirajte in predlagajte popravek."

  • »Nepopolne zapiske sestankov spremenite v naloge, lastnike in roke.«

Če tega ne morete preprosto opredeliti, tudi vaš agent ne more. Mislim, da lahko, ampak bo improviziral, in improvizacija je tisto, pri čemer proračuni umrejo.

2. korak: Določite stopnjo avtonomije (nizka, srednja, pikantna) 🌶️

  • Nizka avtonomija : predlaga korake, človeški kliki »odobri«

  • Srednje : izvaja orodja, piše osnutke rezultatov, stopnjuje negotovost

  • Visoka : izvaja se od začetka do konca, pinga se uporablja le za izjeme.

Začnite nižje, kot želite. Vedno lahko kasneje povečate.

3. korak: Izberite svojo strategijo modela 🧠

Običajno izberete:

  • en močan model za vse (preprosto)

  • en močan model + manjši model za poceni korake (klasifikacija, usmerjanje)

  • specializirani modeli (vid, koda, govor) po potrebi

Odločite se tudi:

  • največ žetonov

  • temperatura

  • ali interno dovolite dolge sledi sklepanja (lahko, vendar končnim uporabnikom ne razkrivajte surove verige misli)

4. korak: Določite orodja s strogimi shemami 🔩

Orodja naj bodo:

Namesto orodja z imenom do_anything(input: string) naredite:

  • search_kb(poizvedba: niz) -> rezultati[]

  • create_ticket(naslov: niz, telo: niz, prioriteta: enum) -> ticket_id

  • send_email(to: string, subject: string, body: string) -> status Vodnik za klicanje funkcij OpenAI

Če agentu daste motorno žago, ne bodite presenečeni, če bo orezala živo mejo tako, da bo odstranila tudi ograjo.

5. korak: Zgradite zanko krmilnika 🔁

Najmanjša zanka:

  1. Začnite s ciljem + začetnim kontekstom

  2. Vprašajte model: "Naslednje dejanje?"

  3. Če klic orodja - izvedi orodje

  4. Dodaj opažanje

  5. Preverite pogoj zaustavitve

  6. Ponovite (z največjim številom korakov) dokumentacijo LangChain »Agenti«

Dodaj:

6. korak: Previdno dodajte spomin 🗃️

Kratkoročno: hranite strnjen »povzetek stanja«, ki se posodablja na vsakem koraku. LangChain »pregled pomnilnika«
Dolgoročno: shranjujte trajna dejstva (uporabniške nastavitve, pravila organizacije, stabilno dokumentacijo).

Pravilo:

  • če se pogosto spreminja - naj bo kratkoročno

  • če je stabilno - shranjujte dolgoročno

  • če je občutljivo - shranjujte minimalno (ali sploh ne)

7. korak: Dodajte potrditev in oceno »kritik« 🧪

Poceni, praktičen vzorec:

  • agent ustvari rezultat

  • validator preverja strukturo in omejitve

  • neobvezni pregledi kritičnih modelov za manjkajoče korake ali kršitve pravilnikov NIST AI RMF 1.0

Ni popolno, ampak zajame šokantno količino neumnosti.

8. korak: Zabeležite vse, česar vam bo žal, da niste zabeležili 📜

Dnevnik:

Prihodnost - hvala ti. Sedanjost - pozabila boš. Takšno je pač življenje 😵💫

7) Klic orodja, ki ti ne zlomi duše 🧰😵

Klic orodij je kraj, kjer »Kako zgraditi agenta umetne inteligence« postane pravi inženiring programske opreme.

Orodja naj bodo zanesljiva (zanesljivost je dobra)

Zanesljiva orodja so:

Dodajte zaščitne ograje na plasti orodij, ne le pozivov

Pozivi so vljudni predlogi. Validacija orodij je zaklenjena vrata. Strukturirani izhodi OpenAI.

Naredi:

  • seznami dovoljenih (katera orodja se lahko izvajajo)

  • validacija vnosa

  • omejitve hitrosti Vodnik po omejitvah hitrosti OpenAI

  • preverjanja dovoljenj na uporabnika/organizacijo

  • »Način suhega delovanja« za tvegana dejanja

Zasnova za delno odpoved

Orodja odpovejo. Omrežja se zibljejo. Avtorizacija poteče. Agent mora:

Tiho učinkovit trik: vrnite strukturirane napake, kot so:

  • tip: napaka_pri_avt

  • vrsta: ni_najden

  • tip: rate_limited
    Tako se lahko model odzove inteligentno namesto panike.

8) Spomin, ki pomaga, namesto da te preganja 👻🗂️

Spomin je močan, a lahko postane tudi predal za smeti.

Kratkoročni spomin: ohranite ga kompaktnega

Uporaba:

  • zadnjih N korakov

  • tekoči povzetek (posodobljen v vsaki zanki)

  • trenutni načrt

  • trenutne omejitve (proračun, čas, politike)

Če vse skupaj postavite v kontekst, dobite:

  • višji stroški

  • počasnejša latenca

  • večja zmeda (ja, tudi takrat)

Dolgoročni spomin: priklic namesto "polnjenja"

Večina "dolgoročnih spominov" je bolj podobna:

  • vgradnje

  • vektorska trgovina

  • pridobivanje razširjene generacije (RAG) RAG papir

Agent si ne zapomni. Med izvajanjem pridobi najustreznejše delčke. LlamaIndex »Uvod v RAG«

Pravila praktičnega pomnjenja

  • Shrani »nastavitve« kot eksplicitna dejstva: »Uporabniku so všeč povzetki v alinejah in sovraži emojije« (lol, tukaj pa ne 😄)

  • Shranite »odločitve« s časovnimi žigi ali različicami (sicer se kopičijo protislovja)

  • Nikoli ne shranjujte skrivnosti, razen če je to resnično nujno potrebno

In tukaj je moja nepopolna metafora: spomin je kot hladilnik. Če ga nikoli ne očistiš, bo tvoj sendvič sčasoma imel okus po čebuli in obžalovanju.

9) Vzorci načrtovanja (od preprostih do domiselnih) 🧭✨

Načrtovanje je le nadzorovana razgradnja. Ne delajte iz tega mistike.

Vzorec A: Načrtovalec kontrolnih seznamov ✅

  • Model izpiše seznam korakov

  • Izvaja se korak za korakom

  • Stanje kontrolnega seznama posodobitev

Odlično za uvajanje. Preprosto, preizkušljivo.

Vzorec B: Zanka ReAct (razlog + dejanje) 🧠→🧰

  • model odloči o naslednjem klicu orodja

  • opazuje izhod

  • ponavlja članek ReAct

To je klasičen občutek agenta.

Vzorec C: Nadzornik-delavec 👥

To je dragoceno, kadar je mogoče naloge vzporedno izvajati ali kadar želite različne "vloge", kot so:

  • raziskovalec

  • programer

  • urednik

  • Preverjevalnik kakovosti

Vzorec D: Načrtuj in nato izvedi s ponovnim načrtovanjem 🔄

  • ustvari načrt

  • izvršiti

  • če rezultati orodja spremenijo realnost, ponovno načrtujte

To preprečuje, da bi agent trmasto sledil slabemu načrtu. Tudi ljudje to počnejo, razen če so utrujeni, v tem primeru pa tudi sledijo slabim načrtom.

10) Varnost, zanesljivost in da te ne odpustijo 🔐😅

Če lahko vaš agent ukrepa, potrebujete varnostno zasnovo. Ne "lepo je imeti". Potrebujete. NIST AI RMF 1.0

Trde omejitve

  • največ korakov na tek

  • največ klicev orodja na minuto

  • najvišja poraba na sejo (proračun žetonov)

  • omejena orodja za odobritvijo

Ravnanje s podatki

  • pred beleženjem uredite občutljive vnose

  • ločena okolja (razvojna in produkcijska)

  • dovoljenja orodja z najmanjšimi privilegiji

Vedenjske omejitve

  • prisilite agenta, da navede delčke notranjih dokazov (ne zunanjih povezav, samo notranje reference)

  • zahtevati oznake negotovosti, ko je zaupanje nizko

  • zahtevajte »postavite pojasnjevalno vprašanje«, če so vnosi dvoumni

Zanesljiv agent ni tisti, ki je najbolj samozavesten. Je tisti, ki ve, kdaj ugiba ... in to tudi pove.

11) Testiranje in evalvacija (del, ki se mu vsi izogibajo) 🧪📏

Ne moreš izboljšati tistega, česar ne moreš izmeriti. Ja, ta stavek je sirast, ampak nadležno resničen.

Zgradite nabor scenarijev

Ustvarite 30–100 testnih primerov:

Rezultati točkovanja

Uporabite metrike, kot so:

  • stopnja uspešnosti naloge

  • čas do dokončanja

  • stopnja okrevanja po napakah orodja

  • stopnja halucinacij (trditve brez dokazov)

  • stopnja odobravanja s strani ljudi (če je v nadzorovanem načinu)

Regresijski testi za pozive in orodja

Kadarkoli spremenite:

  • shema orodja

  • sistemska navodila

  • logika iskanja

  • formatiranje pomnilnika
    Ponovno zaženite paket.

Agenti so občutljive zveri. Kot sobne rastline, vendar dražje.

12) Vzorci uvajanja, ki ne bodo izpraznili vašega proračuna 💸🔥

Začnite z eno samo storitvijo

Zgodnje dodajanje nadzora stroškov

  • rezultati iskanja iz predpomnjenja

  • stiskanje stanja pogovora s povzetki

  • uporaba manjših modelov za usmerjanje in ekstrakcijo

  • omejevanje »načina globokega razmišljanja« na najtežje korake

Skupna izbira arhitekture

  • krmilnik brez stanja + zunanje shranjevanje stanja (DB/redis)

  • Klici orodij so idempotentni, kjer je to mogoče. Stripe »Idempotentne zahteve«

  • čakalna vrsta za dolge naloge (da spletne zahteve ne ostanejo odprte za vedno)

Prav tako: zgradite "stikalo za izklop". Ne boste ga potrebovali, dokler ga res, res ne boste potrebovali 😬

13) Zaključne opombe - kratka različica članka o tem, kako zgraditi agenta z umetno inteligenco 🎁🤖

Če se ne spomnite ničesar drugega, si zapomnite tole:

Agent ni čarovnija. Je sistem, ki dovolj pogosto sprejema dobre odločitve, da je dragocen ... in prizna poraz, preden povzroči škodo. Na nek način tiho tolažilno 😌

In ja, če ga pravilno zastavite, se zdi, kot da bi zaposlili drobnega digitalnega pripravnika, ki nikoli ne spi, občasno paničari in obožuje papirologijo. Torej, v bistvu pripravnik.

Pogosta vprašanja

Kaj je agent umetne inteligence, poenostavljeno povedano?

Agent umetne inteligence je v bistvu zanka, ki se ponavlja: sprejema vnos, določa naslednji korak, uporablja orodje, prebere rezultat in ponavlja, dokler ni končano. »Agentski« del izhaja iz delovanja in opazovanja, ne le iz klepeta. Mnogi agenti so le pametna avtomatizacija z dostopom do orodij, medtem ko se drugi obnašajo bolj kot mlajši operaterji, ki si lahko opomorejo od napak.

Kdaj naj zgradim agenta umetne inteligence namesto da bi uporabil le poziv?

Agenta zgradite, kadar je delo večstopenjsko, se spreminja na podlagi vmesnih rezultatov in zahteva zanesljivo uporabo orodij (API-ji, baze podatkov, sistemi za izdajanje zahtevkov, izvajanje kode). Agenti so uporabni tudi, kadar želite ponovljive rezultate z zaščitnimi ograjami in načinom za preverjanje »opravljeno«. Če preprost odziv v trenutku deluje, je agent običajno nepotrebna strošek in povzroča dodatne načine napak.

Kako zgradim agenta umetne inteligence, ki se ne zatakne v zankah?

Uporabite pogoje za trajno zaustavitev: največ korakov, največ klicev orodij in jasna preverjanja dokončanja. Dodajte strukturirane sheme orodij, časovne omejitve in ponovne poskuse, ki se ne bodo ponavljali v nedogled. Beležite odločitve in izhode orodij, da boste lahko videli, kje pride do napak. Pogost varnostni ventil je eskalacija: če je agent negotov ali ponavlja napake, naj prosi za pomoč in ne improvizira.

Kakšna je minimalna arhitektura za gradnjo agenta z umetno inteligenco?

Vsaj potrebujete krmilno zanko, ki modelu posreduje cilj in kontekst, zahteva naslednje dejanje, po potrebi izvede orodje, doda opazovanje in ponovi. Potrebujete tudi orodja s strogimi vhodno/izhodnimi oblikami in preverjanjem »opravljeno«. Tudi zanka »zvij svoj korak« lahko dobro deluje, če ohranite stanje čisto in uveljavite omejitve korakov.

Kako naj zasnujem klicanje orodij, da bo zanesljivo v produkciji?

Orodja naj bodo ozka, tipizirana, z dovoljenji in potrjena – izogibajte se generičnim orodjem »naredi karkoli«. Dajte prednost strogim shemam (kot so strukturirani izhodi/klicanje funkcij), da agent ne more ročno spreminjati vhodov. Na ravni orodja dodajte sezname dovoljenih, omejitve hitrosti in preverjanja dovoljenj uporabnikov/organizacij. Orodja zasnujte tako, da jih je mogoče varno ponovno zagnati, kadar je to mogoče, z uporabo vzorcev idempotentnosti.

Kateri je najboljši način za dodajanje pomnilnika, ne da bi pri tem poslabšali agenta?

Spomin obravnavajte kot dva dela: kratkoročno stanje delovanja (nedavni koraki, trenutni načrt, omejitve) in dolgoročno priklic (preference, stabilna pravila, ustrezna dokumentacija). Kratkoročno ohranjajte kompaktnost s tekočimi povzetki, ne s celotnimi prepisi. Za dolgoročni spomin je priklic (vdelave + vektorsko shranjevanje/vzorci RAG) običajno boljši od "vstavljanja" vsega v kontekst in zmede modela.

Kateri vzorec načrtovanja naj uporabim: kontrolni seznam, ReAct ali vzorec nadzornika in delavca?

Načrtovalec kontrolnih seznamov je odličen, kadar so naloge predvidljive in želite nekaj, kar je enostavno preizkusiti. Zanke v slogu ReAct so odlične, ko rezultati orodja spremenijo vaše naslednje korake. Vzorci nadzornik-delavec (kot je ločevanje vlog v slogu AutoGen) pomagajo, kadar je mogoče naloge vzporedno izvajati ali pa imajo koristi od različnih vlog (raziskovalec, programer, zagotavljanje kakovosti). Načrtuj in nato izvedi s ponovnim načrtovanjem je praktična srednja pot za izogibanje trdovratnim slabim načrtom.

Kako zagotovim varnost agenta, če lahko izvaja dejanska dejanja?

Uporabite dovoljenja z najmanjšimi privilegiji in omejite tvegana orodja za odobritve ali poskusne načine. Dodajte proračune in omejitve: največje število korakov, največjo porabo in omejitve klicev orodij na minuto. Pred beleženjem odstranite občutljive podatke in ločite razvojno od produkcijskega okolja. Zahtevajte zastavice negotovosti ali pojasnjevalna vprašanja, kadar so vhodni podatki dvoumni, namesto da bi zaupanje nadomestilo dokaze.

Kako testiram in ovrednotim agenta umetne inteligence, da se sčasoma izboljša?

Zgradite nabor scenarijev s srečnimi potmi, robnimi primeri, napakami orodij, dvoumnimi zahtevami in poskusi vbrizgavanja pozivov (v slogu OWASP). Ocenite rezultate, kot so uspeh naloge, čas do dokončanja, okrevanje po napakah orodja in zahtevki brez dokazov. Vsakič, ko spremenite sheme orodij, pozive, pridobivanje ali oblikovanje pomnilnika, znova zaženite nabor. Če ga ne morete preizkusiti, ga ne morete zanesljivo izdati.

Kako namestim agenta, ne da bi pri tem povečal zakasnitev in stroške?

Pogost vzorec je krmilnik brez stanja z zunanjim shranjevanjem stanj (DB/Redis), orodnimi storitvami za njim in močnim beleženjem/spremljanjem (pogosto OpenTelemetry). Stroške nadzorujte s predpomnjenjem iskanja, kompaktnimi povzetki stanj, manjšimi modeli za usmerjanje/ekstrakcijo in omejevanjem »globokega razmišljanja« na najtežje korake. Za dolge naloge uporabite čakalne vrste, da ne boste držali spletnih zahtev odprtih. Vedno vključite stikalo za zaustavitev.

Reference

  1. Nacionalni inštitut za standarde in tehnologijo (NIST) - NIST AI RMF 1.0 (zanesljivost in preglednost) - nvlpubs.nist.gov

  2. OpenAI - Strukturirani rezultati - platform.openai.com

  3. OpenAI - Vodnik za klicanje funkcij - platform.openai.com

  4. OpenAI - Vodnik po omejitvah hitrosti - platform.openai.com

  5. OpenAI - Poganja API - platform.openai.com

  6. OpenAI - Klic funkcij pomočnikov - platform.openai.com

  7. LangChain - Dokumentacija za agente (JavaScript) - docs.langchain.com

  8. LangChain - Dokumentacija o orodjih (Python) - docs.langchain.com

  9. LangChain - Pregled pomnilnika - docs.langchain.com

  10. arXiv - Članek o ReActu (razlog + dejanje) - arxiv.org

  11. arXiv - RAG članek - arxiv.org

  12. Knjižnica graditeljev Amazon Web Services (AWS) - Časovne omejitve, ponovni poskusi in zakasnitve z tresenjem - aws.amazon.com

  13. OpenTelemetry - Uvod v opazovanje - opentelemetry.io

  14. Stripe - Idempotentne zahteve - docs.stripe.com

  15. Google Cloud - Strategija ponovnega poskusa (prekinitev + tresenje) - docs.cloud.google.com

  16. OWASP - Top 10 za aplikacije velikih jezikovnih modelov - owasp.org

  17. OWASP - LLM01 Zahtevano vbrizgavanje - genai.owasp.org

  18. LlamaIndex - Uvod v RAG - developers.llamaindex.ai

  19. Microsoft - Semantično jedro - learn.microsoft.com

  20. Microsoft AutoGen - večagentni okvir (dokumentacija) - microsoft.github.io

  21. CrewAI - Koncepti agentov - docs.crewai.com

  22. Haystack (deepset) - Dokumentacija za prinašalce - docs.haystack.deepset.ai

Poiščite najnovejšo umetno inteligenco v uradni trgovini z umetno inteligenco

O nas

Nazaj na blog