Kvantimeetriline pilditöötlus: 5 sammu

2024 Autor: John Day | [email protected]. Viimati modifitseeritud: 2024-01-30 08:49

(Ülaltoodud joonis illustreerib olemasoleva pilditöötlusmeetodi võrdlust kvantimeetrilise pilditöötlusega. Pange tähele paremat tulemust. Parempoolsel ülemisel pildil on näha kummalisi esemeid, mis tulenevad valest eeldusest, et pildid mõõdavad midagi, näiteks valgust. Parem alumine pilt näitab sama tulemust paremat tulemust kvantimeetriliselt.)

Selles juhendis saate teada, kuidas olemasolevate kujutamis- või nägemistuvastussüsteemide toimivust oluliselt parandada, kasutades väga lihtsat kontseptsiooni: Kvantimeetriline kujutise tuvastamine

Kvantimeetriline pilditöötlus parandab oluliselt järgmist:

• Olemasolev pilditöötlus, näiteks piltide hägustamine;
• Masinõpe, arvutinägemine ja mustrituvastus;
• Kantav näotuvastus (vt https://wearcam.org/vmp.pdf), tehisintellektil ja kõrgharidusel põhinev nägemine jne.

Põhiidee on piltide kvantimeetriline eeltöötlus ja järeltöötlus järgmiselt.

1. Laiendage pildi või piltide dünaamilist ulatust;
2. Töödelge pilti või pilte nagu tavaliselt;
3. Tihendage pildi või kujutiste dünaamiline ulatus (st tühistage 1. samm).

Varasemates juhendites õpetasin HDR (High Dynamic Range) ja kvantimeetrilise sensori mõningaid aspekte, nt. lineaarsus, superpositsioon jne.

Nüüd kasutame neid teadmisi.

Võtke kasutusele kõik olemasolevad protsessid, mida soovite kasutada. Näide, mida näitan, on piltide hägustamine, kuid saate seda kasutada ka peaaegu muuks.

Samm: laiendage oma pildi või piltide dünaamilist ulatust

(Joonised kohandatud "Intelligent Image Processing", John Wiley ja Sons Interscience Series, Steve Mann, november 2001)

Esimene samm on sisendpildi dünaamilise ulatuse laiendamine.

Ideaalis peaksite esmalt määrama kaamera reageerimisfunktsiooni f ja seejärel rakendama pildile vastupidise vastuse, f vastupidise.

Tüüpilised kaamerad on dünaamilise ulatuse tihendamiseks, seega soovime tavaliselt rakendada laiendavat funktsiooni.

Kui te ei tea vastusfunktsiooni, proovige kõigepealt midagi lihtsat, näiteks laadige pilt pildimassiivi, valage muutujad andmetüüpi, näiteks (float) või (double), ja tõstke iga piksli väärtus astendajani, nagu näiteks iga piksli väärtuse ruutimine.

Põhjendus:

Miks me seda teeme?

Vastus on see, et enamik kaameraid tihendab oma dünaamilist ulatust. Põhjus, miks nad seda teevad, on see, et enamik kuvarid laiendab dünaamilist ulatust. See on täiesti juhus: katoodkiiretoru teleriekraani kiirguv valgus on ligikaudu võrdne pingega, mis on tõstetud eksponendini 2,22, nii et kui videopinge sisend on umbes poolel teel, on kiirguse hulk palju suurem alla poole.

Ka fotomeedia on dünaamilise ulatusega laienev. Näiteks fotograafiline "neutraalne" hall kaart kiirgab 18% langevast valgusest (mitte 50% langevast valgusest). Seda palju valgust (18%) peetakse vastuse keskel. Nagu näete, kui vaatame väljundi graafikut sisendi funktsioonina, käituvad kuvarid nagu ideaalsed lineaarsed kuvarid, mis sisaldavad dünaamilise vahemiku laiendajat enne ideaalset lineaarset vastust.

Ülaltoodud ülemisel joonisel näete kuvarit punktiirjoonega ja see võrdub laiendajaga enne ideaalset lineaarset kuvamist.

Kuna kuvarid on oma olemuselt laienevad, tuleb kaamerad kujundada nii, et need oleksid kokkusuruvad, nii et pildid näeksid olemasolevatel kuvaritel head välja.

Kui vanasti oli tuhandeid televiisori vastuvõtja kuvasid ja ainult üks või kaks ringhäälingujaama (nt ainult üks või kaks telekaamerat), oli kaamerasse kokkusuruva mittelineaarsuse sisestamine lihtsam lahendus kui kõigi telerite ja pange üks igasse televiisorisse.

See aitas juhuslikult kaasa ka müra vähendamisele. Heli puhul nimetame seda "Dolby" ("kohustuslikuks") ja anname selle eest patendi. Video puhul juhtus see täiesti juhuslikult. Stockham tegi ettepaneku, et võtaksime piltide logaritmi enne nende töötlemist ja seejärel võtaksime antiloogi. Ta ei saanud aga aru, et enamik kaameraid ja kuvareid teeb seda juba täiesti juhuslikult. Selle asemel tegin ettepaneku, et teeme Stockhami kavandatule täpselt vastupidist. (Vt "Arukas pilditöötlus", John Wiley ja Sons Interscience Series, lk 109-111.)

Alumisel pildil näete kavandatavat homomorfset (kvantimeetrilist) pilditöötlust, kuhu oleme lisanud dünaamilise vahemiku laiendamise ja tihendamise sammu.

2. toiming: töödelge pilte või sooritage arvuti nägemine, masinõpe või muu sarnane

Teine samm pärast dünaamilise ulatuse laiendamist on piltide töötlemine.

Minu puhul tegin lihtsalt pildi dekonvolutsiooni hägususfunktsiooniga, st pildi hägustamisega, nagu tehnika tasemes üldiselt teada on.

Kvantimeetrilise kujutise tuvastamiseks on kaks laia kategooriat:

• Inimeste nägemise aitamine;
• Abistavad masinad näevad.

Kui me püüame aidata inimestel näha (see on näide, mida ma siin näitan), pole me veel valmis: peame töödeldud tulemuse pildiruumi tagasi viima.

Kui aitame masinatel näha (nt näotuvastus), oleme nüüd lõpetanud (pole vaja jätkata 3. sammuga).

Samm: tihendage tulemuse dünaamiline vahemik uuesti

Kui töötame laiendatud dünaamilises vahemikus, oleme väidetavalt valgusruumis (kvantimeetriline pildiruum).

2. etapi lõpus oleme valgusruumis ja peame naasma pildiruumi.

Nii et see samm 3 puudutab pildiruumi naasmist.

3. toimingu tegemiseks lihtsalt tihendage 2. etapi väljundi dünaamiline vahemik.

Kui teate kaamera reageerimisfunktsiooni, rakendage seda tulemuse saamiseks lihtsalt f (p (q)).

Kui te ei tea kaamera reageerimisfunktsiooni, kasutage lihtsalt head oletust.

Kui sammusite pildipikslid ruudus 1. sammus, on nüüd aeg võtta iga pildipiksli ruutjuur, et naasta pildiruumi kohta.

Samm: võiksite proovida mõnda muud varianti

Hägustamine on vaid üks paljudest võimalikest näidetest. Mõelge näiteks mitme särituse kombineerimisele.

Tehke mis tahes kaks pilti, näiteks need, mis mul ülal on. Üks võeti päeval ja teine öösel.

Kombineerige need, et saada hämarik.

Kui lihtsalt keskmistada, näeb see välja nagu prügi. Proovige seda ise!

Aga kui kõigepealt laiendate iga pildi dünaamilist vahemikku, seejärel lisate need ja seejärel summa dünaamilise vahemiku kokku surute, näeb see suurepärane välja.

Võrrelge pilditöötlust (piltide lisamist) kvantimeetrilise pilditöötlusega (laiendamine, lisamine ja seejärel tihendamine).

Minu koodi ja muud näidismaterjali saate alla laadida siit:

5. samm: minge kaugemale: proovige nüüd HDR -pildikomposiitidega

(Pildi kohal: HDR -keevituskiiver kasutab liitreaalsuse ülekatete jaoks kvantimeetrilist pilditöötlust. Vt Slashgear 2012, 12. september.)

Kokkuvõttes:

jäädvustage pilt ja rakendage järgmisi samme:

1. laiendage pildi dünaamilist ulatust;
2. töödelda pilti;
3. tihendada tulemuse dünaamilist vahemikku.

Ja kui soovite veelgi paremat tulemust, proovige järgmist.

jäädvustada palju erinevalt eksponeeritud pilte;

1. laiendage dünaamilist vahemikku valgusruumi vastavalt minu eelmisele HDR -i juhendile;
2. töödelda saadud kvantmeetrilist pilti q valgusruumis;
3. tihendage dünaamilist vahemikku toonikaardi abil.

Lõbutsege ja palun klõpsake nuppu "Sain hakkama" ja postitage oma tulemused ning kommenteerin hea meelega või annan konstruktiivset abi.