Viacheslav Komisarenko kaitseb doktoritööd „Sügavõppe treeningkao joondamine hindamismõõdikutega”

13. jaanuaril kell 10 kaitseb Viacheslav Komisarenko doktoritööd „Aligning Training Loss to Evaluation Metrics in Deep Learning“ („Sügavõppe treeningkao joondamine hindamismõõdikutega”).

Juhendaja:
prof Meelis Kull, Tartu Ülikool

Oponendid:
prof Jesús Cid-Sueiro, Charles III University of Madrid (Hispaania)
kaasprof Maurizio Filippone, King Abdullah University of Science and Technology (Saudi Araabia Kuningriik)

Kokkuvõte
Viimaste aastate edusammud masinõppes on viinud masinõppesüsteemide laialdase kasutuselevõtuni ja tulemused ületavad sageli nii algoritmilisi baastasemeid kui ka inimsooritust. Seda arengut võimaldavad suured ja kvaliteetsed andmestikud, kõrge väljendusvõimekusega arhitektuurid ning robustne optimeerimine.

Kaofunktsiooni valik on keskse tähtsusega disainiotsus: see kujundab optimeerimismaastikku ja suunab, kuidas mudel andmetele sobitatakse. Lõppkokkuvõttes hinnatakse sooritust mõõdikutega, millest paljud on katkevuspunktidega või mittediferentseeruvad, seetõttu tuleb treenimisel kasutada asenduskaofunktsioone. Üksnes klassikalistest mõõdikutest, nagu täpsus, ei piisa enam kasvavate nõudmiste täitmiseks. Praktikas kasutatakse hinnatundlikke mõõdikuid, kus vigadel on asümmeetriline tähtsus (nt määramata diagnoos on halvem kui valehäire), ja kalibreerituse mõõdikuid, mis hindavad ennustatud tõenäosuste kvaliteeti.

Väitekiri koosneb kolmest omavahel seotud uurimusest, mille eesmärk on sobitada treenimisel kasutatava kaofunktsiooni valik hindamismõõdikutega.

Esimene uurimus käsitleb hinnatundlikku klassifitseerimist olukorras, kus veakulud ei ole treenimisel püsivad skalaarsed väärtused, vaid on täpselt määramata. Modelleerime hindasid tõenäosusjaotustena (nt ekspertide hinnangutest tuletatuna) ja tuletame sellele olukorrale sobivad kaofunktsioonid.

Teine uurimus keskendub kalibreeritusele. Analüüsime, miks fokaalkadu annab sageli hästi kalibreeritud mudeleid, ja näitame, et selle valem sisaldab kalibreerimisfunktsiooni. See selgitab fokaalkao head toimimist ja motiveerib uusi kalibreerimismeetodeid, mida laiendame suuremale lahutuvate kaofunktsioonide perekonnale.

Kolmas uurimus käsitleb lõhet üldiste hindamismõõdikute, mis annavad sooritusest üldplaanilise ülevaate, ja rakendusepõhiste kasufunktsioonide vahel, mille arvutamine on domeenispetsiifiline ja kulukas. Pakume välja õpitava teisenduse nende väärtuste kohandamiseks ja uurime, millal säilib kaofunktsiooni korralikkus. Demonstreerime meetodite teostatavust näidisülesannetel.

Kokkuvõttes süvendavad need uurimused arusaamist sellest, kuidas valida treenimisel kaofunktsioone nii, et need oleksid kooskõlas praktiliste hindamismõõdikutega, ja annavad juhiseid praktikutele.