Kakšna je odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco?

Kakšna je odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco?

Kratek odgovor: Razvijalci, ki uporabljajo generativno umetno inteligenco, so odgovorni za celoten sistem, ne le za izhod modela. Ko umetna inteligenca vpliva na odločitve, kodo, zasebnost ali zaupanje uporabnikov, morajo izbrati varne aplikacije, preveriti rezultate, zaščititi podatke, zmanjšati škodo in zagotoviti, da lahko ljudje pregledajo, preglasijo in popravijo napake.

Ključne ugotovitve:

Preverjanje : Izpopolnjene rezultate obravnavajte kot nezanesljive, dokler jih ne potrdijo viri, testi ali človeški pregled.

Varstvo podatkov : Zmanjšajte število podatkov o pozivih, odstranite identifikatorje ter zavarujte dnevnike, nadzor dostopa in prodajalce.

Pravičnost : Preizkusite v različnih demografskih skupinah in kontekstih, da odkrijete stereotipe in neenakomerne vzorce neuspehov.

Preglednost : Jasno označite uporabo umetne inteligence, razložite njene omejitve in ponudite človeški pregled ali pritožbo.

Odgovornost : Pred zagonom dodelite jasne odgovorne za uvajanje, incidente, spremljanje in povrnitev prejšnjih nastavitev.

Kakšna je odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco? Infografika

Članki, ki jih boste morda želeli prebrati po tem:

🔗 Najboljša orodja umetne inteligence za razvijalce programske opreme: Najboljši pomočniki kodiranja z umetno inteligenco
Primerjajte najboljše pomočnike za kodiranje z umetno inteligenco za hitrejše in čistejše razvojne poteke dela.

🔗 10 najboljših orodij umetne inteligence za razvijalce za povečanje produktivnosti
Seznam orodij za razvijalce umetne inteligence za pametnejše kodiranje in hitrost.

🔗 Zakaj je lahko umetna inteligenca slaba za družbo in zaupanje
Pojasnjuje škodo v resničnem svetu: pristranskost, zasebnost, delovna mesta in tveganja zaradi dezinformacij.

🔗 Je umetna inteligenca pri odločitvah z visokimi vložki šla predaleč?
Definira, kdaj umetna inteligenca prestopi meje: nadzor, globoke ponaredke, prepričevanje, odsotnost privolitve.

Zakaj je odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco, pomembnejša, kot si ljudje mislijo

Veliko programskih napak je motečih. Gumb se pokvari. Stran se počasi naloži. Nekaj ​​se sesuje in vsi stokajo.

Težave generativne umetne inteligence so lahko različne. Lahko so subtilne.

Model se lahko sliši samozavesten, medtem ko se moti. Profil NIST GenAI Lahko reproducira pristranskost brez očitnih opozorilnih znakov. Profil NIST GenAI Lahko razkrije občutljive podatke, če se uporablja neprevidno. OWASP Top 10 za aplikacije LLM Osem vprašanj ICO za generativno umetno inteligenco Lahko ustvari kodo, ki deluje – dokler v produkciji ne odpove na nek zelo neprijeten način. OWASP Top 10 za aplikacije LLM Nekaj ​​podobnega, kot če bi zaposlili zelo navdušenega pripravnika, ki nikoli ne spi in si občasno z osupljivo samozavestjo izmišljuje dejstva.

Zato odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco, večja od preproste implementacije. Razvijalci ne gradijo več le logičnih sistemov. Gradijo verjetnostne sisteme z nejasnimi robovi, nepredvidljivimi izhodi in resničnimi družbenimi posledicami. NIST AI RMF

To pomeni, da odgovornost vključuje:

Saj veste, kako gre – ko se orodje zdi čarobno, ljudje nehajo dvomiti o njem. Razvijalci si ne morejo privoščiti takšne sproščenosti.

Kaj naredi dobro različico odgovornosti razvijalcev, ki uporabljajo generativno umetno inteligenco? 🛠️

Dobra različica odgovornosti ni performativna. Ne gre le za dodajanje izjave o omejitvi odgovornosti na dnu in njeno označevanje za etiko. Kaže se v oblikovalskih odločitvah, navadah testiranja in vedenju izdelkov.

Takole običajno izgleda odgovornosti razvijalcev, ki uporabljajo generativno umetno inteligenco

Če se to sliši veliko, no ... res je. Ampak tako pač je, ko delate s tehnologijo, ki lahko vpliva na odločitve, prepričanja in vedenje v velikem obsegu. Načela OECD za umetno inteligenco

Primerjalna tabela - pregled glavne odgovornosti razvijalcev, ki uporabljajo generativno umetno inteligenco 📋

Območje odgovornosti Na koga vpliva Dnevna praksa razvijalcev Zakaj je pomembno
Točnost in preverjanje uporabniki, ekipe, stranke Pregled rezultatov, dodajanje validacijskih slojev, testiranje robnih primerov Umetna inteligenca je lahko tekoča in se kljub temu močno moti – kar je groba kombinacija (NIST GenAI Profile)
Zaščita zasebnosti uporabniki, stranke, interno osebje Zmanjšajte uporabo občutljivih podatkov, počistite pozive, nadzorujte dnevnike Ko zasebni podatki enkrat uidejo, je zobna pasta zunaj tube 😬 Osem vprašanj ICO za generativno umetno inteligenco OWASP Top 10 za aplikacije LLM
Pristranskost in pravičnost premalo zastopane skupine, vsi uporabniki resnično Revizija rezultatov, testiranje raznolikih vhodnih podatkov, uglaševanje zaščitnih ukrepov Škoda ni vedno glasna – včasih je sistematična in tiha. NIST GenAI profil. Smernice ICO o umetni inteligenci in varstvu podatkov.
Varnost sistemi podjetja, uporabniki Omeji dostop do modela, zaščiti pred takojšnjim vbrizgavanjem, tvegana dejanja v peskovniku Ena pametna izkoriščanje lahko hitro uniči zaupanje OWASP Top 10 za LLM aplikacije NCSC o umetni inteligenci in kibernetski varnosti
Preglednost končni uporabniki, regulatorji, podporne ekipe Jasno označite vedenje umetne inteligence, razložite omejitve in dokumentirajte uporabo Ljudje si zaslužijo vedeti, kdaj stroj pomaga OECD za načela umetne inteligence o označevanju in etiketiranju vsebin, ustvarjenih z umetno inteligenco
Odgovornost lastniki izdelkov, pravni oddelki, razvojne ekipe Določite lastništvo, obravnavo incidentov in poti eskalacije »Umetna inteligenca je to storila« ni odrasel odgovor Načela OECD za umetno inteligenco
Zanesljivost vsi, ki se dotikajo izdelka Spremljajte napake, nastavite pragove zaupanja, ustvarite rezervno logiko Modeli se premikajo, odpovedujejo na nepričakovane načine in občasno imajo dramatične majhne epizode, ki jih je določil NIST AI RMF NCSC, varne smernice za umetno inteligenco
Dobro počutje uporabnikov zlasti ranljivi uporabniki Izogibajte se manipulativnemu oblikovanju, omejite škodljive rezultate, preglejte primere uporabe z visokim tveganjem Samo zato, ker je nekaj mogoče ustvariti, še ne pomeni, da bi moralo biti tako kot načela OECD za umetno inteligenco NIST AI RMF

Malo neravna miza, seveda, ampak to ustreza temi. Tudi resnična odgovornost je neenakomerna.

Odgovornost se začne že pred prvim pozivom – izbira pravega primera uporabe 🎯

Ena največjih odgovornosti razvijalcev je odločitev, ali naj se generativna umetna inteligenca sploh uporablja . NIST AI RMF

To se sliši očitno, vendar se to ves čas spregleda. Ekipe vidijo model, se navdušijo in ga začnejo vsiljevati v delovne tokove, ki bi jih bolje obravnavali s pravili, iskanjem ali navadno programsko logiko. Ni vsak problem potreben jezikovni model. Nekateri problemi potrebujejo bazo podatkov in mirno popoldne.

Pred gradnjo bi se morali razvijalci vprašati:

Odgovoren razvijalec se ne sprašuje le: "Ali lahko to zgradimo?" Vpraša se: "Ali naj se to zgradi na ta način?" NIST AI RMF

Že samo to vprašanje preprečuje veliko bleščečih neumnosti.

Natančnost je odgovornost, ne dodatna funkcija ✅

Bodimo jasni – ena največjih pasti generativne umetne inteligence je zamenjava zgovornosti za resnico. Modeli pogosto dajo odgovore, ki se slišijo dodelano, strukturirano in globoko prepričljivo. Kar je čudovito, dokler vsebina ni neumnost, zavita v zaupnost. Profil NIST GenAI

Torej odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco, vključuje gradnjo za preverjanje.

To pomeni:

To je zelo pomembno na področjih, kot so:

  • zdravstvo

  • finance

  • pravni delovni tokovi

  • izobraževanje

  • podpora strankam

  • avtomatizacija podjetij

  • generiranje kode

Ustvarjena koda je lahko na primer videti urejena, hkrati pa skriva varnostne pomanjkljivosti ali logične napake. Razvijalec, ki jo slepo kopira, ni učinkovit – tveganje preprosto prepušča zunanjim izvajalcem v lepši obliki. OWASP Top 10 za LLM aplikacije NCSC o umetni inteligenci in kibernetski varnosti

Model lahko pomaga. Razvijalec je še vedno lastnik rezultata. Načela OECD za umetno inteligenco

Zasebnost in upravljanje podatkov sta nepogrešljiva 🔐

Tukaj pa se stvari hitro zares zapletejo. Generativni sistemi umetne inteligence se pogosto zanašajo na pozive, dnevnike, kontekstna okna, pomnilniške plasti, analitiko in infrastrukturo tretjih oseb. To ustvarja veliko možnosti za uhajanje, ohranitev ali ponovno uporabo občutljivih podatkov na načine, ki jih uporabniki nikoli ne pričakujejo. Osem vprašanj ICO za generativno umetno inteligenco OWASP Top 10 za aplikacije LLM

Razvijalci so odgovorni za zaščito:

  • osebni podatki

  • finančni zapisi

  • medicinske podrobnosti

  • interni podatki podjetja

  • poslovne skrivnosti

  • žetoni za preverjanje pristnosti

  • komunikacija s strankami

Odgovorne prakse vključujejo:

To je eno tistih področij, kjer »smo pozabili pomisliti na to« ni majhna napaka. Gre za neuspeh, ki ruši zaupanje.

In zaupanje, ko je enkrat razpokano, se razširi kot razbito steklo. Morda ni ravno najbolj uglajena metafora, ampak razumete.

Pristranskost, pravičnost in zastopanost – tišje odgovornosti ⚖️

Pristranskost v generativni umetni inteligenci je redko risankasti zlobnež. Običajno je bolj spolzka od tega. Model lahko ustvari stereotipne opise delovnih mest, neenakomerne odločitve o moderiranju, nepristranska priporočila ali kulturno ozke predpostavke, ne da bi sprožil očitne alarme. Profil NIST GenAI

Zato odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco, vključuje aktivno delo na področju pravičnosti.

Razvijalci bi morali:

Sistem se lahko zdi na splošno delujoč, medtem ko nekaterim uporabnikom dosledno služi slabše kot drugim. To ni sprejemljivo samo zato, ker je povprečna zmogljivost videti lepo na nadzorni plošči. Smernice ICO o umetni inteligenci in varstvu podatkov NIST GenAI Profile

In ja, pravičnost je težja od urejenega kontrolnega seznama. Vsebuje presojo. Kontekst. Kompromise. Tudi mero nelagodja. Vendar to ne odpravlja odgovornosti – potrjuje jo. Smernice ICO o umetni inteligenci in varstvu podatkov

Varnost je zdaj delno hitra zasnova, delno inženirska disciplina 🧱

Generativna varnost umetne inteligence je svoja posebnost. Seveda je tradicionalna varnost aplikacij še vedno pomembna, vendar sistemi umetne inteligence dodajajo nenavadne površine za napad: vbrizgavanje promptov, posredno manipulacijo promptov, nevarna uporaba orodij, izbruh podatkov prek konteksta in zloraba modela prek avtomatiziranih delovnih procesov. OWASP Top 10 za aplikacije LLM NCSC o umetni inteligenci in kibernetski varnosti

Razvijalci so odgovorni za varnost celotnega sistema, ne le vmesnika. Smernice NCSC za varno umetno inteligenco

Ključne odgovornosti tukaj vključujejo:

Neprijetna resnica je, da bodo uporabniki – in napadalci – zagotovo poskusili stvari, ki jih razvijalci niso pričakovali. Nekateri iz radovednosti, nekateri iz zlobe, nekateri pa zato, ker so ob 2. uri zjutraj kliknili na napačno stvar. To se zgodi.

Varnost generativne umetne inteligence ni toliko podobna gradnji zidu, temveč bolj upravljanju zelo zgovornega vratarja, ki ga včasih prelisiči fraziranje.

Preglednost in soglasje uporabnikov sta pomembnejša od bleščeče uporabniške izkušnje 🗣️

Ko uporabniki komunicirajo z umetno inteligenco, bi se tega morali zavedati. Kodeks ravnanja OECD za označevanje in označevanje vsebin, ki jih ustvari umetna inteligenca, v skladu z načeli umetne inteligence.

Ne nejasno. Ne zakopano v izrazih. Jasno.

Osrednji del odgovornosti razvijalcev, ki uporabljajo generativno umetno inteligenco, je zagotoviti, da uporabniki razumejo:

Pri preglednosti ne gre za strašenje uporabnikov. Gre za njihovo spoštovanje.

Dobra preglednost lahko vključuje:

Številne produktne ekipe skrbi, da bo iskrenost zmanjšala čarovnijo funkcije. Morda. Toda lažna gotovost je še slabša. Gladek vmesnik, ki skriva tveganje, je v bistvu uglajena zmeda.

Razvijalci ostajajo odgovorni – tudi ko se model »odloči« 👀

Ta del je zelo pomemben. Odgovornosti ni mogoče prenesti na prodajalca modela, kartico modela, predlogo poziva ali skrivnostno vzdušje strojnega učenja. Načela umetne inteligence OECD NIST AI RMF

Razvijalci so še vedno odgovorni. Načela OECD za umetno inteligenco

To pomeni, da bi moral nekdo v ekipi imeti v lasti:

Na vprašanja, kot so: bi morali biti jasni odgovori

Brez lastništva se odgovornost spremeni v meglo. Vsi domnevajo, da jo obravnava nekdo drug ... in potem se nihče ne ukvarja.

Ta vzorec je v resnici starejši od umetne inteligence. Umetna inteligenca ga preprosto naredi bolj nevarnega.

Odgovorni razvijalci gradijo za popravke, ne za popolnost 🔄

Tukaj je majhen preobrat v vsem tem: odgovoren razvoj umetne inteligence ne pomeni pretvarjanja, da bo sistem popoln. Gre za predpostavko, da bo na nek način odpovedal, in načrtovanje glede na to realnost. NIST AI RMF

To pomeni gradnjo izdelkov, ki so:

Takole izgleda zrelost. Ne bleščečih predstavitev. Ne dihajočih marketinških besedil. Pravi sistemi z varovalnimi ograjami, dnevniki, odgovornostjo in dovolj ponižnosti, da priznajo, da stroj ni čarovnik. Smernice NCSC za varno umetno inteligenco Načela OECD za umetno inteligenco

Ker ni. Je orodje. Močno, da. Ampak še vedno orodje.

Zaključni razmislek o odgovornosti razvijalcev, ki uporabljajo generativno umetno inteligenco 🌍

Kakšna je torej odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco ?

Gre za skrbno gradnjo. Spraševanje, kje sistem pomaga in kje škoduje. Zaščita zasebnosti. Preverjanje pristranskosti. Preverjanje rezultatov. Zaščita poteka dela. Biti transparenten do uporabnikov. Ohranjanje smiselnega nadzora nad ljudmi. Ohranjanje odgovornosti, ko gre kaj narobe. NIST AI RMF OECD Načela umetne inteligence

To se morda sliši pretežko – in tudi je. Vendar je to tudi tisto, kar loči premišljen razvoj od nepremišljene avtomatizacije.

Najboljši razvijalci, ki uporabljajo generativno umetno inteligenco, niso tisti, ki poskrbijo, da model izvede največ trikov. So tisti, ki razumejo posledice teh trikov in temu primerno oblikujejo. Vedo, da je hitrost pomembna, toda zaupanje je pravi izdelek. Nenavadno je, da ta staromodna ideja še vedno velja. NIST AI RMF

Navsezadnje odgovornost ni ovira za inovacije. Je tisto, kar preprečuje, da bi se inovacije spremenile v drago, turbulentno širjenje z uglajenim vmesnikom in težavo z zaupanjem 😬✨

In morda je to najpreprostejša različica.

Gradite drzno, seveda – vendar gradite tako, kot da bi to lahko vplivalo na ljudi, ker so. Načela OECD za umetno inteligenco

Pogosta vprašanja

Kakšna je odgovornost razvijalcev, ki v praksi uporabljajo generativno umetno inteligenco?

Odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco, sega daleč preko hitrega uvajanja funkcij. Vključuje izbiro pravega primera uporabe, testiranje rezultatov, zaščito zasebnosti, zmanjšanje škodljivega vedenja in zagotavljanje razumljivosti sistema za uporabnike. V praksi razvijalci ostajajo odgovorni za to, kako je orodje zasnovano, spremljano, popravljeno in upravljano, če odpove.

Zakaj generativna umetna inteligenca zahteva večjo odgovornost razvijalcev kot običajna programska oprema?

Tradicionalne napake so pogosto očitne, vendar se lahko generativne napake umetne inteligence slišijo dodelano, hkrati pa so lahko napačne, pristranske ali tvegane. Zaradi tega je težave težje odkriti in uporabnikom lažje zaupati po pomoti. Razvijalci delajo z verjetnostnimi sistemi, zato odgovornost vključuje ravnanje z negotovostjo, omejevanje škode in pripravo na nepredvidljive rezultate pred izdajo.

Kako razvijalci vedo, kdaj generativne umetne inteligence ne smejo uporabljati?

Pogosto izhodišče je vprašanje, ali je naloga odprtega tipa ali jo je bolje rešiti s pravili, iskanjem ali standardno programsko logiko. Razvijalci bi morali upoštevati tudi, koliko škode bi lahko povzročil napačen odgovor in ali lahko človek realno pregleda rezultate. Odgovorna uporaba včasih pomeni odločitev, da se generativne umetne inteligence sploh ne bodo uporabljale.

Kako lahko razvijalci zmanjšajo halucinacije in napačne odgovore v generativnih sistemih umetne inteligence?

Natančnost mora biti zasnovana, ne predpostavljena. V mnogih cevovodih to pomeni utemeljitev rezultatov v zaupanja vrednih virih, ločevanje ustvarjenega besedila od preverjenih dejstev in uporabo delovnih tokov pregledovanja za naloge z večjim tveganjem. Razvijalci bi morali preizkusiti tudi pozive, ki so namenjeni zmedi ali zavajanju sistema, zlasti na področjih, kot so koda, podpora, finance, izobraževanje in zdravstvo.

Kakšna je odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco, za zasebnost in občutljive podatke?

Odgovornost razvijalcev, ki uporabljajo generativno umetno inteligenco, vključuje zmanjšanje količine podatkov, ki vstopajo v model, in obravnavo pozivov, dnevnikov in izhodov kot občutljivih. Razvijalci bi morali odstraniti identifikatorje, kjer je to mogoče, omejiti hrambo, nadzorovati dostop in skrbno pregledati nastavitve prodajalcev. Uporabniki bi morali biti sposobni razumeti tudi, kako se z njihovimi podatki ravna, namesto da tveganja odkrijejo pozneje.

Kako naj razvijalci ravnajo s pristranskostjo in pravičnostjo v generativnih rezultatih umetne inteligence?

Delo s pristranskostjo zahteva aktivno evalvacijo, ne predpostavk. Praktičen pristop je testiranje pozivov v različnih demografskih skupinah, jezikih in kontekstih, nato pa pregled rezultatov za stereotipe, izključenost ali neenakomerne vzorce napak. Razvijalci bi morali ustvariti tudi načine, kako lahko uporabniki ali ekipe prijavijo škodljivo vedenje, saj se lahko sistem na splošno zdi močan, hkrati pa določene skupine dosledno spodbija.

Na katera varnostna tveganja morajo razvijalci pomisliti pri generativni umetni inteligenci?

Generativna umetna inteligenca uvaja nove površine za napad, vključno s takojšnjim vbrizgavanjem, nevarno uporabo orodij, uhajanjem podatkov prek konteksta in zlorabo avtomatiziranih dejanj. Razvijalci bi morali razčistiti nezaupanja vredne vnose, omejiti dovoljenja orodij, omejiti dostop do datotek in omrežja ter spremljati vzorce zlorabe. Varnost ni le vmesnik; velja za celoten potek dela okoli modela.

Zakaj je preglednost pomembna pri gradnji z generativno umetno inteligenco?

Uporabniki bi morali jasno vedeti, kdaj je vpletena umetna inteligenca, kaj zmore in kje so njene meje. Dobra preglednost lahko vključuje oznake, kot so »ustvarjeno z umetno inteligenco« ali »s pomočjo umetne inteligence«, preproste razlage in jasne poti do človeške podpore. Takšna odkritost ne oslabi izdelka, temveč uporabnikom pomaga umeriti zaupanje in sprejemati boljše odločitve.

Kdo je odgovoren, ko generativna funkcija umetne inteligence povzroči škodo ali naredi kaj narobe?

Razvijalci in produktne ekipe so še vedno odgovorni za rezultat, tudi ko model ustvari odgovor. To pomeni, da mora obstajati jasna odgovornost za odobritev uvajanja, obravnavanje incidentov, vračanje prejšnjih nastavitev, spremljanje in komunikacijo z uporabniki. »Model se je odločil« ni dovolj, ker mora odgovornost ostati pri ljudeh, ki so sistem zasnovali in zagnali.

Kako izgleda odgovoren razvoj generativne umetne inteligence po lansiranju?

Odgovoren razvoj se nadaljuje tudi po izdaji s spremljanjem, povratnimi informacijami, pregledom in popravki. Močni sistemi so pregledni, prekinljivi, obnovljivi in ​​zasnovani z rezervnimi potmi, ko umetna inteligenca odpove. Cilj ni popolnost; gre za izgradnjo nečesa, kar je mogoče varno pregledati, izboljšati in prilagoditi, ko se pojavijo težave v resničnem svetu.

Reference

  1. Nacionalni inštitut za standarde in tehnologijo (NIST) - profil NIST GenAI - nvlpubs.nist.gov

  2. OWASP - OWASP Top 10 za prijave na magistrski študij prava (LLM) - owasp.org

  3. Urad informacijskega pooblaščenca (ICO) - Osem vprašanj ICO za generativno umetno inteligenco - ico.org.uk

Poiščite najnovejšo umetno inteligenco v uradni trgovini z umetno inteligenco

O nas

Nazaj na blog