Santykiniai požymiai

Marr premijos (apdovanojamas už geriausią pranešimą) nugalėtojas, ICCV, 2011

Devi Parikh ir Kristen Grauman

„Kas gali vaivorykštėje nupiešti liniją ten, kur baigiasi violetenis atspalvis ir prasideda oranžinis? Mes aiškiai matome spalvų skirtumus, bet kur tiksliai viena pereina į kitą? Taip ir su sveiku protu ir beprotyste.“ (Herman Melville, Billy Budd)

Santrauka

Žmogiškieji vardiniai požymiai gali būti naudingi įvairioms atpažinimo užduotims. Esamos technologijos riboja šias savybes su kategorinėmis etiketėmis (pavyzdžiui, žmogus šypsosi arba ne, scena yra sausa arba ne), ir todėl nesugeba užfiksuoti bendresnių semantinių santykių. Siūlome modeliuoti santykinius požymius. Atsižvelgiant į mokymo duomenis, rodančius, kaip objekto / scenos kategorijos yra susijusios su skirtingais požymiais, mokomės reitingavimo funkcijos pagal požymį. Išmoktos reitingavimo funkcijos prognozuoja kiekvienos savybės stiprumą naujuose vaizduose. Tuomet sukuriame bendrą modelį bendrame požymių reitingavimo rezultatų lauke, ir siūlome naują zero-shot mokymosi formą, kurioje vadovas per požymius susieja nematytų objektų kategorijas su neseniai matytais objektais (pavyzdžiui, „meškos yra labiau pūkuotos negu žirafos“). Toliau mes parodome, kaip siūlomi santykiniai požymiai leidžia turtingesnius tekstinius aprašymus naujiems vaizdams, kurie praktiškai yra tikslesni žmogaus interpretacijai. Mes demonstruojame požiūrį į veidų ir natūralių scenų duomenų rinkinius, ir parodome jų aiškius privalumus prieš tradicinį dvejetainį požymių prognozavimą naujoms užduotims.

Motyvacija

Dvejetainiai požymiai yra ribojantys ir gali būti nenatūralūs. Viršuje pateiktuose pavyzdžiuose, kur apie paveiksliukus, esančius viršutiniame kairiajame ir dešiniajame kampe galima pasakyti- natūralu ir padaryta žmogaus, kaip jūs apibūdintumėte paveiksliuką, esantį viršuje centre? Vienintėlis prasmingas būdas tai apibibūdinti- susieti jį su kitais paveiksliukais: tai yra mažiau natūralu nei paveiksliuke kairėje, bet labiau natūralu nei paveiksliuke dešinėje.

Pasiūlymas

Šiame darbe mes siūlome modeliuoti santykinius požymius. Priešingai numatomo požymio buvimui, santykinis požymis nurodo požymio stiprumą paveiksliuke kitų paveiksliukų atžvilgiu. Be to, kad jie yra natūralesni, santykiniai požymiai siūlo dar ir turtingesnius komunikacijos būdus, kas leidžia naudotis labiau detalizuota žmogaus priežiūra (taip pat ir potencialiai didesnio atpažinimo tikslumu), kaip ir galimybe generuoti informatyvesnius naujų paveiksliukų aprašymus. Kuriame požiūrį, kuris moko požymių reitingavimo funkcijos, atsižvelgiant į santykinių panašumų apribojimus pavyzdžių poroms (ar apskritai dalinai tinkančius keliems pavyzdžiams). Išmoktos reitingavimo funkcijos gali įvertinti poziciją, turinčią realią vertę paveikslėliams, rodantiems santykinių požymių buvimo jose stiprumą. Mes pristatome jums naujas zero-shot mokymosi formas ir paveikslėlių aprašymus, kurie naudojasi santykinėmis požymių prognozėmis.

Metodas

Mokymosi santykiniai požymiai: kiekvienas santykinis požymis išmokstamas per reitingavimo funkcijų mokymą, atsižvelgiant į lyginamąją priežiūrą, kaip parodyta žemiau:

Skirtumas tarp plataus skirtumo reitingavimo funkcijos mokymosi (dešinėje), kur užtikrinamas pageidaujamas mokymų taškų užsakymas (1-6), ir plataus skirtumo dvejetainis klasifikatorius (kairėje), kuris tik atskiria dvi klases (+ ir -), nebūtinai išsaugo norimą užsakymą taškuose, kurie pavaizduoti žemiau:

Naujas zero-shot mokymas: mokome žemiau pateiktus nustatymus: • N visos kategorijos: S matomos kategorijos (susijusios su galimais paveiksliukais) + U nematomos kategorijos (šioms kategorijoms negalimi jokie paveiksliukai) • S matomos kategorijos yra apibūdinamos viena kitos atžvilgiu per požymius (ne visos kategorijų poros turi būti susijusios su visais požymiais) • U nematomos kategorijos yra apibūdinamos, palyginus su (matomų) kategorijų dalimi (požymiu pogrupiu). Pirmiausia išmokstame santykinių požymių rinkinį, naudodamiesi matomomis kategorijomis atlikta priežiūra. Šie požymiai taip pat gali būti apmokyti ir iš išorinių duomenų. Tuomet kiekvienai matomai kategorijai sukuriame bendrą modelį (Gauso), naudojant santykinių požymių atsakymus į matomų kategorijų vaizdus. Tada darome bendrų nematomų kategorijų modelių parametrų išvadas, naudojant jų santykinius aprašymus, susijusius su matomomis kategorijomis. Toliau pateikiamas paprasto požiūrio, kurį mes naudojame, vizualizavimas:

Bandomasis vaizdas priskiriamas kategorijai su didžiausia tikimybe. Automatinis santykinių teksto aprašymų generavimas: norint apibūdinti duotą paveiksliuką I, mes įvertinam visas išmoktas I reitingavimo funkcijas. Kiekvienam požymiui mes nustatome du referencinius vaizdus, esančius abiejose I pusėse ir kurie, yra ne per toli ir ne per arti I. Paveiksliukas I apibūdinamas pagal šiuos du atskaitos vaizdus, kaip parodyta žemiau:

Kaip matėme, be to, kad aprašomas vaizdas, yra lyginamas su kitais vaizdais, mūsų požiūris taip pat gali apibūdinti vaizdą, palyginus su kitomis kategorijomis, ir tai duoda teksto aprašymo rezultatą. Aišku, santykiniai apibūdinimai yra labiau precižiški ir informatyvūs nei įprastiniai dvejetainiai aprašymai.

Eksperimentai ir rezultatai

Mes atliekame eksperimentus su dviem duomenų rinkiniais: (1) Matomo lauko atpažinimas (Outdoor Scene Recognition (OSR)) , kurį sudaro 2688 paveiksliukai iš 8 kategorijų: krantas- C, miškas- F, greitkelis- H, mieste- I, kalnas- M, atvira šalis- O, gatvė- S, aukštas pastatas- T. Naudojame pagrindines ypatybes, kad atvaizduoti paveiksliukus.

(2) Viešų asmenų veidų duomenų bazės (Public Figures Face Database (PubFig)) pogrūpis, kurį sudaro 722 paveiksliukai iš 8 kategorijų: Alex Rodriguez- A, Clive Owen- C, Hugh Laurie- H, Jared Leto- J, Miley Cyrus- M, Scarlett Johansson- S, Viggo Mortensen- V ir Zac Efron- Z. Naudojame mišrias savybes ir spalvų funkcijas, kad atvaizduoti paveiksliukus.

Kiekvieno duomenų rinkinio savybės, kartu su dvejetainėmis ir santykinėmis požymių anotacijomis, pateiktos žemiau:

Zero-shot mokymasis:

Mes lyginame siūlomą požiūrį pagal dvi bazines linijas. Pirmoji linija yra paremta Taškais pagrįstais Santykiniais Požymiais (Score-based Relative Attributes (SRA)). Ši linija yra tokia pati, kaip ir mūsų požiūris, išskyrus, kad ji naudoja dvejetainio kalsifikatoriaus (dvejetainių požymių) taškus vietoje reitingavimo funkcijų taškų. Ši linija leidžia įvertinti reitingavo funkcijos poreikį geriausiam santykinių požymių modeliavimui. Antroji linija yra paremta Tiesioginio Savybių Numatymo (Direct Attribute Prediction (DAP)) modelio, pristatyto Lamperto ir kt. 2009 m. CVPR (metinis kompiuterių vizijos renginys). Ši linija padeda įvertinti santykinių požymių naudojimo naudą priešingai kategorijų naudojimui. Šiuos metodus vertiname įvairiais nematomų kategorijų skaičiais, skirtingais duomenų kiekiais, naudojamais mokantis požymių, įvairiais požymiais, naudojamais apibūdinant nematomas kategorijas ir skirtingo lygio „laisvumą“, rodant nematomas kategorijas. Detalią eksperimento struktūros informaciją galite rasti mūsų straipsnyje. Rezultatai pateikiami žemiau:

Automatiškai sukurtas vaizdų aprašymas:

Norint įvertinti santykinių vaizdų kokybę palyginus su dvejetainiais požymiais, mes atlikome tyrimą su garsių žmonių fotografijomis. Vadovaudamiesi savo požiūriu ir dvejetainių požymių linija, mes sukūrėme vaizdo aprašymą. Mes pateikėme objektų aprašymus kartu su trimis paveiksliukais. Vienas iš trijų paveiksliukų buvo aprašytas. Užduotis buvo reitinguoti tris paveiksliukus, remiantis labiausiai atitinkančiais aprašymais. Kuo tikslesnis aprašymas, tuo didesni šansai, kad objektai bus indentifikuoti teisingai. Užduoties iliustracija pateikta žemiau:

Tyrimo rezultatai pateikti žemiau. Matome, kad užduoties vykdytojai gali tiksliau identifikuoti teisingą paveiksliuką naudodami mūsų pasiūlytus santykinius požymius, lyginant su dvejetainiais požymiais.

Paveiksliukų dvejetainių aprašymų ir kategorijų santykinių aprašymų pavyzdys pateiktas žemiau:

Duomenys

Mes pasiūlėme susipažinti su santykiniais požymiais ir jų prognozėmis pagal du duomenų rinkinius, naudotus mūsų darbe: Outdoor Scene Recognition(OSR) ir Public Figures Face Database (PubFig) pogrūpiu. SKAITYTI Parsisiųsti (v2)

Relative Face Attributes Dataset. Jame yra anotacijų apie 29 santykinius požymius iš 60 kategorijų, esančių Public Figures Face Database(PubFig) pogrūpyje.

Kodas

Mes modifikavome Olivier Chappelle RankSVM kodą, kad mokytis santykinių požymių su panašumo apribojimais. Mūsų modifikuotą kodą galite rasti čia. Jei naudosite mūsų kodą, prašome paminėti straipsnį: D. Parikh ir K. Grauman Santykiniai požymiai Tarptautinė kompiuterinės vizijos konferencija (ICCV), 2011 m.

Demonstracija

Įvairių santykinių požymių taikomųjų programų demonstracijas rasite čia čia. Šių programų aprašymas pateikiamas dokumentuose čia. Publikacijos

D. Parikh ir K. Grauman Santykiniai požymiai (Žodžiu) Tarptautinė kompiuterinės vizijos konferencija (ICCV), 2011 m. Marr Premijos (Apdovanojimas už geriausią pranešimą) nugalėtojas [skaidrės][aptarimas(video)] [plakatas] [santykinių aprašymų demonstravimas] Toliau pateikiami mūsų naudoti straipsniai: A. Biswas ir D. Parik Vienalaikis klasifikatorių ir atributų mokymasis per santykinį grįžtamąjį ryšį (Simultaneous Active Learning of Classifiers & Attributes via Relative Feedback) IEEE Konferencija dėl kompiuterinės vizijos ir modelių atpažinimo (CVPR), 2013 [projekto puslapis ir duomenys][plakatas] [demonstracija] A. Parkash D. Parikh Klasifikatoriaus grįžtamojo ryšio požymiai (Attributes for Classifier Feedback) Europos konferencija dėl kompiuterinės vizijos (ECCV), 2012 (Žodžiu) [skaidrės] [aptarimas (video)] [projekto puslapis ir duomenys] [demonstracija] A. Kovashka,D. Parikh ir and K. Grauman Smulki paieška: vaizdų paieška su santykinių požymių grįžtamuoju ryšiu (WhittleSearch: Image Search with Relative Attribute Feedback) IEEE Konferencija dėl kompiuterinės vizijos ir modelių atpažinimo (CVPR), 2012 [projekto puslapis][plakatas] [demonstracija] D.Parikh, A. Kovashka, A. Parkash ir K. Grauman Glaudesni žmogaus ir mašinos ryšių santykiniai požymiai (kviestinis pranešimas) (Relative Attributes for Enhanced Human-Machine Communication(Invited paper)) AAAI Konferencija dėl dirbtinio intelekto, 2012 (Žodžiu) [Ačiū Yong Jae Lee už puslapio šabloną]

Original article: https://www.cc.gatech.edu/~parikh/relative.html

Eldorado.gg is the best place to find WoW Cataclysm Gold offers.