Kratek odgovor: Nadgradnja z umetno inteligenco deluje tako, da model usposobi na parih slik z nizko in visoko ločljivostjo, nato pa se ta uporabi za napovedovanje verjetnih dodatnih slikovnih pik med nadgradnjo. Če je model med učenjem videl podobne teksture ali obraze, lahko doda prepričljive podrobnosti; če ne, lahko »halucinira« artefakte, kot so haloji, voskasta koža ali utripanje v videoposnetku.
Ključne ugotovitve:
Napoved : Model ustvari verjetne podrobnosti, ne pa zagotovljene rekonstrukcije realnosti.
Izbira modela : CNN-ji so običajno stabilnejši; GAN-ji so lahko videti ostrejši, vendar tvegajo izumljanje funkcij.
Preverjanje artefaktov : Bodite pozorni na haloje, ponavljajoče se teksture, »skoraj črke« in plastične obraze.
Stabilnost videa : Uporabite časovne metode, sicer boste opazili bleščanje in premikanje med posameznimi kadri.
Uporaba z visokimi vložki : Če je natančnost pomembna, razkrijte obdelavo in rezultate obravnavajte kot ilustrativne.

Verjetno ste to že videli: drobna, hrustljava slika se spremeni v nekaj dovolj ostrega, da jo lahko natisnete, predvajate v živo ali vstavite v predstavitev, ne da bi se pri tem zdrznili. Občutek je kot goljufanje. In – na najboljši način – nekako tudi je 😅
Torej, kako deluje nadgradnja z umetno inteligenco, se zreducira na nekaj bolj specifičnega kot »računalnik izboljša podrobnosti« (valovita roka) in je bližje »modelu, ki napove verjetno strukturo visoke ločljivosti na podlagi vzorcev, ki se jih je naučil iz številnih primerov« ( Globoko učenje za superločljivost slik: anketa ). Ta korak napovedovanja je celotna igra – in zato je lahko nadgradnja z umetno inteligenco videti osupljivo ... ali malo plastično ... ali kot da bi vaši mački zrasli dodatni brki.
Članki, ki jih boste morda želeli prebrati po tem:
🔗 Kako deluje umetna inteligenca
Spoznajte osnove modelov, podatkov in sklepanja v umetni inteligenci.
🔗 Kako se umetna inteligenca uči
Oglejte si, kako podatki o učenju in povratne informacije sčasoma izboljšajo delovanje modela.
🔗 Kako umetna inteligenca zaznava anomalije
Razumeti osnovne vzorce in kako umetna inteligenca hitro označi nenavadno vedenje.
🔗 Kako umetna inteligenca napoveduje trende
Raziščite metode napovedovanja, ki zaznavajo signale in predvidevajo prihodnje povpraševanje.
Kako deluje nadgradnja umetne inteligence: osrednja ideja, z vsakdanjimi besedami 🧩
Povečanje ločljivosti pomeni povečanje ločljivosti: več slikovnih pik, večja slika. Tradicionalno povečanje ločljivosti (kot je bikubična interpolacija) v bistvu raztegne slikovne pike in zgladi prehode ( bikubična interpolacija ). To je v redu, vendar ne more izumiti novih podrobnosti - samo interpolira.
Z umetno inteligenco se poskuša z nečim drznejšim (v raziskovalnem svetu znano tudi kot »superločljivost«) ( Globoko učenje za superločljivost slik: anketa ):
-
Gleda na vhod z nizko ločljivostjo
-
Prepozna vzorce (robove, teksture, obrazne poteze, poteze besedila, tkanje blaga…)
-
naj bi izgledala različica z višjo ločljivostjo
-
Ustvari dodatne podatke o slikovnih pikah, ki ustrezajo tem vzorcem
Ne »popolnoma obnoviti realnost«, temveč »narediti zelo verjetno ugibanje« ( Slika superločljivosti z uporabo globokih konvolucijskih omrežij (SRCNN) ). Če se vam to sliši nekoliko sumljivo, se ne motite – ampak zato deluje tudi tako dobro 😄
In ja, to pomeni, da je povečanje ločljivosti z umetno inteligenco v bistvu nadzorovana halucinacija ... vendar na produktiven način, ki spoštuje slikovne pike.
Kaj naredi dobro različico nadgradnje umetne inteligence? ✅🛠️
Če ocenjujete nadgradnjo z umetno inteligenco (ali prednastavitev nastavitev), je tukaj najpomembnejše:
-
Obnova podrobnosti brez prekuhavanja.
Dobro povečanje ločljivosti doda hrustljavost in strukturo, ne pa hrustljavega šuma ali lažnih por. -
Disciplina na robovih
Čiste linije ostanejo čiste. Slabi modeli povzročijo, da se robovi majajo ali pa se pojavijo haloji. -
Realizem teksture
Lasje ne smejo postati poteza čopiča. Opeka ne sme postati ponavljajoč se vzorec. -
Šum in kompresija
Veliko vsakdanjih slik je uničenih v JPEG formatu. Dober upscaler te škode ne poveča ( Real-ESRGAN ). -
Zaznavanje obrazov in besedila Na
obrazih in besedilu najlažje opazimo napake. Dobri modeli z njimi ravnajo nežno (ali imajo specializirane načine). -
Doslednost med sličicami (za video)
Če podrobnosti utripajo od sličice do sličice, vam bodo oči zakričale. Povečanje ločljivosti videa živi ali umira s časovno stabilnostjo ( BasicVSR (CVPR 2021) ). -
Smiselni gumbi
Želite drsnike, ki se preslikajo v dejanske rezultate: odpravljanje šuma, zameglitev, odstranjevanje artefaktov, ohranjanje zrnatosti, ostrenje ... praktične stvari.
Tiho pravilo, ki velja: "najboljše" povečanje ločljivosti je pogosto tisto, ki ga komaj opazite. Zdi se, kot da ste imeli že od začetka boljšo kamero 📷✨
Primerjalna tabela: priljubljene možnosti nadgradnje umetne inteligence (in za kaj so dobre) 📊🙂
Spodaj je praktična primerjava. Cene so namerno nejasne, ker se orodja razlikujejo glede na licenco, pakete, stroške računalništva in vse te zabavne stvari.
| Orodje / Pristop | Najboljše za | Cena | Zakaj deluje (približno) |
|---|---|---|---|
| Namizni nadgradniki v slogu Topaz ( Topaz Photo , Topaz Video ) | Fotografije, videoposnetki, enostaven potek dela | Plačljivo | Močni splošni modeli + veliko uglaševanja, večinoma "preprosto delujejo" .. |
| Funkcije tipa Adobe »Super Resolution« ( Adobe Enhance > Super Resolution ) | Fotografi, ki so že v tem ekosistemu | Naročnina-y | Rekonstrukcija s temeljitimi podrobnostmi, običajno konzervativna (manj dramatična) |
| Real-ESRGAN / različice ESRGAN ( Real-ESRGAN , ESRGAN ) | Naredi sam, razvijalci, paketna dela | Brezplačno (vendar časovno drago) | Odlično za podrobnosti teksture, lahko pa je pikantno na obrazu, če niste previdni |
| Načini povečanja skale na osnovi difuzije ( SR3 ) | Ustvarjalno delo, stilizirani rezultati | Mešano | Lahko ustvari čudovite podrobnosti - lahko pa si izmisli tudi neumnosti, tako da ... ja |
| Izboljševalniki ločljivosti za igre (v slogu DLSS/FSR) ( NVIDIA DLSS , AMD FSR 2 ) | Igranje in upodabljanje v realnem času | V paketu | Uporablja podatke o gibanju in naučene predhodne vrednosti - gladka zmogljivost 🕹️ |
| Storitve nadgradnje v oblaku | Udobje, hitre zmage | Plačilo na uporabo | Hitro + prilagodljivo, vendar žrtvujete nadzor in včasih subtilnost |
| Video usmerjeni nadgradniki z umetno inteligenco ( BasicVSR , Topaz Video ) | Stari posnetki, anime, arhivi | Plačljivo | Časovni triki za zmanjšanje utripanja + specializirani video modeli |
| Nadgradnja ločljivosti za »pametni« telefon/galerijo | Priložnostna uporaba | Vključeno | Lahki modeli, uglašeni za prijeten izhod, ne za popolnost (še vedno priročni) |
Priznanje o posebnosti oblikovanja: "Plačano" opravi veliko dela v tej tabeli. Ampak razumete, kaj mislim 😅
Velika skrivnost: modeli se naučijo preslikave od nizke do visoke ločljivosti 🧠➡️🖼️
V središču večine nadgradenj umetne inteligence je nadzorovana učna nastavitev ( Slika Super-Resolution Using Deep Convolutional Networks (SRCNN) ):
-
Začnite s slikami visoke ločljivosti (»resnica«)
-
Zmanjšajte njihovo ločljivost na različice z nizko ločljivostjo (»vhod«)
-
Usposobite model za rekonstrukcijo originalne visoke ločljivosti iz nizke ločljivosti
Sčasoma se model nauči korelacij, kot so:
-
"Ta vrsta zamegljenosti okoli očesa običajno pripada trepalnicam."
-
»Ta skupina slikovnih pik pogosto označuje besedilo s serifnimi črkami.«
-
»Ta robni gradient je videti kot linija strehe, ne kot naključen šum.«
Ne gre za pomnjenje določenih slik (v preprostem smislu), temveč za učenje statistične strukture ( Globoko učenje za slikovno superločljivost: anketa ). Predstavljajte si to kot učenje slovnice tekstur in robov. Ne pesniške slovnice, bolj kot ... slovnica priročnika IKEA 🪑📦 (nerodna metafora, a dovolj blizu).
Osnove: kaj se zgodi med sklepanjem (ko nadgradite) ⚙️✨
Ko sliko vnesete v program za izboljšanje ločljivosti z umetno inteligenco, je običajno na voljo takšen cevovod:
-
Predobdelava
-
Pretvori barvni prostor (včasih)
-
Normaliziraj vrednosti slikovnih pik
-
Če je slika velika, jo razdeli na kose (preverjanje realnosti VRAM-a 😭) ( repozitorij Real-ESRGAN (možnosti razdeljevanja) )
-
-
Ekstrakcija značilnosti
-
Zgodnje plasti zaznavajo robove, vogale, prelive
-
Globlje plasti zaznavajo vzorce: teksture, oblike, obrazne komponente
-
-
Rekonstrukcija
-
Model ustvari zemljevid značilnosti z višjo ločljivostjo
-
Nato to pretvori v dejanski izhod pikslov
-
-
Naknadna obdelava
-
Neobvezno ostrenje
-
Izbirno odpravljanje šuma
-
Izbirno zatiranje artefaktov (zvonjenje, haloji, blokovitost)
-
Ena subtilna podrobnost: mnoga orodja povečajo ploščice in nato zlijejo šive. Odlična orodja skrijejo meje ploščic. Mehka orodja pustijo rahle mrežne sledi, če pomežiknete. In ja, pomežiknili boste, saj ljudje radi pregledujejo drobne nepopolnosti pri 300-odstotni povečavi kot mali gremlini 🧌
Glavne družine modelov, ki se uporabljajo za nadgradnjo umetne inteligence (in zakaj se zdijo drugačne) 🤖📚
1) Superločljivost na osnovi CNN (klasični delovni konj)
Konvolucijske nevronske mreže so odlične pri lokalnih vzorcih: robovih, teksturah, majhnih strukturah ( Slika superločljivosti z uporabo globokih konvolucijskih omrežij (SRCNN) ).
-
Prednosti: hiter, stabilen, manj presenečenj
-
Slabosti: če se močno potisnete, lahko izgleda nekoliko "obdelano"
2) Nadgradnja na osnovi GAN (v slogu ESRGAN) 🎭
GAN-i (generativna kontradiktorna omrežja) naučijo generator ustvarjati slike visoke ločljivosti, ki jih diskriminator ne more ločiti od dejanskih ( generativna kontradiktorna omrežja ).
-
Prednosti: izrazite podrobnosti, impresivna tekstura
-
Slabosti: lahko si izmislijo podrobnosti, ki jih ni bilo – včasih napačne, včasih nenavadne ( SRGAN , ESRGAN )
GAN vam lahko zagotovi osupljivo ostrino. Prav tako lahko vašemu portretiranemu subjektu doda dodatno obrv. Zato ... izberite svoje bitke 😬
3) Povečanje velikosti na osnovi difuzije (ustvarjalni nadomestni znak) 🌫️➡️🖼️
Difuzijski modeli postopoma odpravljajo šum in jih je mogoče voditi za ustvarjanje podrobnosti visoke ločljivosti ( SR3 ).
-
Prednosti: lahko je neverjetno dober v verjetnih podrobnostih, še posebej pri ustvarjalnem delu
-
Slabosti: lahko se oddalji od prvotne identitete/strukture, če so nastavitve agresivne ( SR3 )
Tu se »nadgradnja« začne prepletati s »ponovnim zamišljanjem«. Včasih je to točno tisto, kar si želite. Včasih pa ne.
4) Povečanje ločljivosti videa s časovno doslednostjo 🎞️
Povečanje ločljivosti videa pogosto doda logiko, ki se zaveda gibanja:
-
Uporablja sosednje okvirje za stabilizacijo podrobnosti ( BasicVSR (CVPR 2021) )
-
Poskuša se izogniti utripanju in plazenju artefaktov
-
Pogosto združuje superločljivost z odstranjevanjem šuma in razpletanjem ( Topaz Video )
Če je povečanje ločljivosti slike kot restavriranje ene slike, je povečanje ločljivosti videa kot restavriranje flipbooka, ne da bi se pri tem likov nos spreminjal na vsaki strani. Kar je ... težje, kot se sliši.
Zakaj je nadgradnja z umetno inteligenco včasih videti lažna (in kako jo opaziti) 👀🚩
Nadgradnja z umetno inteligenco ne uspe na prepoznavne načine. Ko se enkrat naučite vzorcev, jih boste videli povsod, na primer, če kupite nov avto in nenadoma opazite ta model na vsaki ulici 😵💫
Pogoste pripovedi:
-
Depilacija obraza z voskom (preveč odpravljanja šuma + glajenja)
-
Preostreni haloji okoli robov (klasično območje "preobremenitve") ( bikubična interpolacija )
-
Ponavljajoče se teksture (opečne stene postanejo vzorci kopiranja in lepljenja)
-
Hrustljav mikrokontrast , ki kriči "algoritem"
-
Popačenje besedila , kjer črke postanejo skoraj črke (najhujša vrsta)
-
Premik podrobnosti , kjer se majhne značilnosti subtilno spremenijo, zlasti pri difuzijskih delovnih procesih ( SR3 )
Težava: včasih so ti artefakti na prvi pogled videti "boljši". Vašim možganom je všeč ostrina. Toda po trenutku se zdi ... čudno.
Dobra taktika je, da sliko pomanjšate in preverite, ali je videti naravno pri normalni razdalji gledanja. Če je videti dobro le pri 400-odstotni povečavi, to ni zmaga, to je pa hobi 😅
Kako deluje nadgradnja umetne inteligence: stran učenja, brez matematičnih glavobolov 📉🙂
Usposabljanje modelov superločljivosti običajno vključuje:
-
Seznanjeni nabori podatkov (vnos z nizko ločljivostjo, cilj z visoko ločljivostjo) ( Slika z visoko ločljivostjo z uporabo globokih konvolucijskih omrežij (SRCNN) )
-
Funkcije izgube , ki kaznujejo napačne rekonstrukcije ( SRGAN )
Tipične vrste izgub:
-
Izguba slikovnih pik (L1/L2)
Spodbuja natančnost. Lahko povzroči nekoliko mehke rezultate. -
Zaznavna izguba
Primerja globlje značilnosti (kot je »ali je to videti podobno«) in ne natančnih slikovnih pik ( Zaznavne izgube (Johnson et al., 2016) ). -
Nasprotna izguba (GAN)
Spodbuja realizem, včasih na račun dobesedne natančnosti ( SRGAN , generativna kontradiktorna omrežja ).
Nenehno se vlečejo vrvi:
-
Naj bo zvesto originalu
v primerjavi z -
Naj bo vizualno prijetno
Različna orodja se v tem spektru znajdejo na različnih mestih. In morda boste imeli raje eno, odvisno od tega, ali restavrirate družinske fotografije ali pripravljate plakat, kjer je »lep videz« pomembnejši od forenzične natančnosti.
Praktični poteki dela: fotografije, stari skeni, anime in videoposnetki 📸🧾🎥
Fotografije (portreti, pokrajine, posnetki izdelkov)
Najboljša praksa je običajno:
-
Najprej rahlo odpravljanje šuma (če je potrebno)
-
Luksuzno s konzervativnimi nastavitvami
-
Če se zdi, da so stvari preveč gladke, dodajte zrnato teksturo (resno)
Žito je kot sol. Preveč ga uniči večerjo, ampak nobeno ne more biti nekoliko brez okusa 🍟
Stari skeni in močno stisnjene slike
To je težje, ker model lahko obravnava bloke stiskanja kot »teksturo«.
Poskusite:
-
Odstranjevanje ali deblokiranje artefaktov
-
Nato nadgradnja
-
Nato rahlo ostrenje (ne preveč ... vem, vsi to pravijo, ampak vseeno)
Anime in linijska umetnost
Prednosti črtne umetnosti:
-
Modeli, ki ohranjajo čiste robove
-
Zmanjšana halucinacija teksture.
Povečanje velikosti v animejih je pogosto videti odlično, ker so oblike preprostejše in doslednejše. (Srečno.)
Videoposnetek
Videoposnetek dodaja dodatne korake:
-
Odpravljanje šuma
-
Razpletanje (za določene vire)
-
Nadstandardna
-
Časovno glajenje ali stabilizacija ( BasicVSR (CVPR 2021) )
-
Neobvezno ponovno vnašanje zrn za kohezijo
Če preskočiš časovno doslednost, dobiš tisto bleščeče utripanje podrobnosti. Ko ga enkrat opaziš, ga ne moreš več odmisliti. Kot škripajoč stol v tihi sobi 😖
Izbira nastavitev brez divjega ugibanja (majhen seznam goljufij) 🎛️😵💫
Tukaj je primerna začetna miselnost:
-
Če so obrazi videti plastični,
zmanjšajte šum, zmanjšajte ostrenje in poskusite z modelom ali načinom za ohranjanje obrazov. -
Če so teksture videti preintenzivne,
znižajte drsnike za »izboljšanje podrobnosti« ali »obnovitev podrobnosti« in nato dodajte subtilno zrnatost. -
Če robovi svetijo,
zmanjšajte ostrino in preverite možnosti za preprečevanje haloja. -
Če je slika videti preveč "umetna inteligenca",
bodite bolj konzervativni. Včasih je najboljša poteza preprosto ... manj.
Prav tako: ne povečujte slike na 8x samo zato, ker lahko. Čista 2x ali 4x povečava je pogosto idealna. Čez to, od modela zahtevate, da napiše zgodbo o vaših pikslih 📖😂
Etika, pristnost in nerodno vprašanje "resnice" 🧭😬
Nadgradnja z umetno inteligenco briše mejo:
-
Restavracija pomeni povrnitev tistega, kar je bilo tam
-
Izboljšanje pomeni dodajanje tistega, kar ni bilo
Pri osebnih fotografijah je običajno v redu (in lepo). Pri novinarstvu, pravnih dokazih, medicinskem slikanju ali čemer koli, kjer je pomembna zvestoba ... morate biti previdni ( OSAC/NIST: Standardni vodnik za upravljanje forenzičnih digitalnih slik , smernice SWGDE za forenzično analizo slik ).
Preprosto pravilo:
-
Če so vložki visoki, nadgradnjo umetne inteligence obravnavajte kot ilustrativno , ne kot dokončno.
Razkritje je pomembno tudi v profesionalnem kontekstu. Ne zato, ker bi bila umetna inteligenca zlobna, ampak zato, ker si občinstvo zasluži vedeti, ali so bile podrobnosti rekonstruirane ali zajete. To je preprosto ... spoštljivo.
Zaključne opombe in kratek povzetek 🧡✅
Torej, kako deluje nadgradnja z umetno inteligenco : modeli se naučijo, kako se podrobnosti visoke ločljivosti običajno povezujejo z vzorci nizke ločljivosti, nato pa med nadgradnjo predvidijo verjetne dodatne slikovne pike ( Globoko učenje za nadgradnjo slik: raziskava ). Glede na družino modelov (CNN, GAN, difuzija, video-časovna) je ta napoved lahko konzervativna in zvesta ... ali drzna in včasih neuravnotežena 😅
Hiter povzetek
-
Tradicionalno povečanje velikosti raztegne slikovne pike ( bikubična interpolacija )
-
Nadgradnja z umetno inteligenco napoveduje manjkajoče podrobnosti z uporabo naučenih vzorcev ( Slika Super-Resolution Using Deep Convolutional Networks (SRCNN) )
-
Odlični rezultati so posledica pravega modela in zadrževanja
-
Bodite pozorni na haloje, voskaste obraze, ponavljajoče se teksture in utripanje v videoposnetku ( BasicVSR (CVPR 2021) )
-
Nadgradnja je pogosto »verjetna rekonstrukcija«, ne pa popolna resnica ( SRGAN , ESRGAN ).
Če želiš, mi povej, kaj boš povečal/a (obraze, stare fotografije, videoposnetke, animeje, skeniranje besedila), in predlagal/a ti bom strategijo nastavitev, ki se bo nagibala k izogibanju pogostim pastem »videza umetne inteligence« 🎯🙂
Pogosta vprašanja
Nadgradnja umetne inteligence in kako deluje
Zvišanje ločljivosti z umetno inteligenco (pogosto imenovano »superločljivost«) poveča ločljivost slike tako, da napove manjkajoče podrobnosti visoke ločljivosti iz vzorcev, naučenih med učenjem. Namesto preprostega raztezanja slikovnih pik, kot je bikubična interpolacija, model preučuje robove, teksture, obraze in poteze, podobne besedilu, nato pa ustvari nove podatke slikovnih pik, ki se ujemajo s temi naučenimi vzorci. Gre manj za »obnovitev resničnosti« in bolj za »verjetno ugibanje«, ki se bere kot naravno.
Povečanje velikosti z umetno inteligenco v primerjavi z bikubičnim ali tradicionalnim spreminjanjem velikosti
Tradicionalne metode povečanja ločljivosti (kot je bikubična) večinoma interpolirajo med obstoječimi slikovnimi pikami in gladijo prehode, ne da bi ustvarile resnično nove podrobnosti. Namen povečanja ločljivosti z umetno inteligenco je rekonstruirati verjetno strukturo s prepoznavanjem vizualnih znakov in napovedovanjem, kako bodo videti visokoločljivostne različice teh znakov. Zato se lahko rezultati umetne inteligence zdijo bistveno ostrejši in tudi zato lahko uvedejo artefakte ali »izumijo« podrobnosti, ki jih v izvornem kodu ni bilo.
Zakaj so lahko obrazi voskasti ali preveč gladki
Voskasti obrazi običajno nastanejo zaradi agresivnega odstranjevanja šuma in glajenja v kombinaciji z ostrenjem, ki odstrani naravno teksturo kože. Številna orodja obravnavajo šum in fino teksturo podobno, zato lahko »čiščenje« slike izbriše pore in subtilne podrobnosti. Pogost pristop je zmanjšanje šuma in ostrenja, uporaba načina ohranjanja obraza, če je na voljo, nato pa ponovna uvedba kančka zrnatosti, da se rezultat zdi manj plastičen in bolj fotografski.
Pogosti artefakti nadgradnje umetne inteligence, na katere je treba biti pozoren
Tipični znaki vključujejo haloje okoli robov, ponavljajoče se teksturne vzorce (kot so opeke, ki se kopirajo in prilepijo), hrustljav mikrokontrast in besedilo, ki se spremeni v »skoraj črke«. V delovnih procesih, ki temeljijo na difuziji, lahko opazite tudi premik podrobnosti, kjer se majhne značilnosti subtilno spremenijo. Pri videoposnetkih sta utripanje in plazenje podrobnosti po okvirjih velika opozorila. Če je videti dobro le pri ekstremnem povečavi, so nastavitve verjetno preveč agresivne.
Kako se rezultati GAN, CNN in difuzijskih nadgradenj običajno razlikujejo
Superločljivost, ki temelji na CNN, je običajno bolj stabilna in predvidljiva, vendar je lahko videti »obdelana«, če jo močno pritisnete. Možnosti, ki temeljijo na GAN (v slogu ESRGAN), pogosto ustvarijo bolj izrazito teksturo in zaznano ostrino, vendar lahko povzročijo halucinacije napačnih podrobnosti, zlasti na obrazih. Difuzijsko povečanje ločljivosti lahko ustvari lepe, verjetne podrobnosti, vendar se lahko oddalji od prvotne strukture, če so nastavitve vodenja ali jakosti premočne.
Praktična strategija nastavitev za izogibanje videzu »preveč umetne inteligence«
Začnite konzervativno: povečajte ločljivost za 2× ali 4×, preden posežete po ekstremnih faktorjih. Če so obrazi videti plastični, zmanjšajte odpravljanje šuma in ostrenje ter poskusite z načinom, ki upošteva obraze. Če teksture postanejo preintenzivne, zmanjšajte izboljšanje podrobnosti in razmislite o dodajanju subtilne zrnatosti. Če robovi svetijo, zmanjšajte ostrenje in preverite odpravljanje haloja ali artefaktov. V mnogih cevovodih zmaga »manj«, ker ohranja verjeten realizem.
Obdelava starih skenov ali močno stisnjenih slik JPEG pred povečanjem ločljivosti
Stisnjene slike so zapletene, ker lahko modeli obravnavajo blokovne artefakte kot resnično teksturo in jih ojačajo. Običajen potek dela je najprej odstranitev ali deblokiranje artefaktov, nato povečanje skale in nato le rahlo izostritev, če je potrebno. Pri skeniranju lahko nežno čiščenje pomaga modelu, da se osredotoči na dejansko strukturo in ne na poškodbe. Cilj je zmanjšati »lažne teksturne namige«, tako da izvajalec povečanja skale ni prisiljen samozavestno ugibati na podlagi šumnih vhodnih podatkov.
Zakaj je povečanje ločljivosti videa težje od povečanja ločljivosti fotografij
Nadgradnja videa mora biti dosledna v vseh okvirjih, ne le dobra na eni sami fotografiji. Če podrobnosti utripajo med okvirji, rezultat hitro postane moteč. Pristopi, osredotočeni na video, uporabljajo časovne informacije iz sosednjih okvirjev za stabilizacijo rekonstrukcije in preprečevanje utripajočih artefaktov. Številni delovni procesi vključujejo tudi odstranjevanje šuma, razpletanje določenih virov in neobvezno ponovno uvedbo zrnatosti, tako da se celotno zaporedje zdi kohezivno in ne umetno ostro.
Kdaj nadgradnja z umetno inteligenco ni primerna ali tvegana
Nadgradnjo z umetno inteligenco je najbolje obravnavati kot izboljšavo, ne kot dokaz. V kontekstih z visokimi vložki, kot so novinarstvo, pravni dokazi, medicinsko slikanje ali forenzično delo, je lahko ustvarjanje »verodostojnih« slikovnih pik zavajajoče, saj lahko doda podrobnosti, ki niso bile zajete. Varnejše uokvirjanje je, da se uporabi ilustrativno in razkrije, da je umetna inteligenca rekonstruirala podrobnosti. Če je natančnost ključnega pomena, ohranite izvirnike in dokumentirajte vsak korak obdelave in nastavitev.
Reference
-
arXiv - Globoko učenje za superločljivost slik: Anketa - arxiv.org
-
arXiv - Superločljivost slik z uporabo globokih konvolucijskih omrežij (SRCNN) - arxiv.org
-
arXiv - Real-ESRGAN - arxiv.org
-
arXiv - ESRGAN - arxiv.org
-
arXiv - SR3 - arxiv.org
-
Razvijalec NVIDIA - NVIDIA DLSS - developer.nvidia.com
-
AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com
-
Odprti dostop fundacije za računalniški vid (CVF) - BasicVSR: Iskanje bistvenih komponent v video superločljivosti (CVPR 2021) - openaccess.thecvf.com
-
arXiv - Generativna kontradiktorna omrežja - arxiv.org
-
arXiv - SRGAN - arxiv.org
-
arXiv - Zaznavne izgube (Johnson et al., 2016) - arxiv.org
-
GitHub - Repozitorij Real-ESRGAN (možnosti ploščic) - github.com
-
Wikipedija - Bikubična interpolacija - wikipedia.org
-
Topaz Labs - Topaz Photo - topazlabs.com
-
Topaz Labs - Topaz Video - topazlabs.com
-
Adobejev center za pomoč – Adobe Enhance > Super ločljivost – helpx.adobe.com
-
NIST / OSAC - Standardni vodnik za upravljanje forenzičnih digitalnih slik (različica 1.0) - nist.gov
-
SWGDE - Smernice za forenzično analizo slik - swgde.org