Maksym Del kaitseb doktoritööd „Multilingual and multi-domain representational patterns across transformer-based models“

7. novembril kl 12.00 kaitseb Maksym Del doktoritööd „Multilingual and multi-domain representational patterns across transformer-based models“ („Mitmekeelsed ja mitut tekstivaldkonda hõlmavad esituste mustrid transformeripõhistes mudelites“). 

Juhendaja: 
professor Mark Fišel, Tartu Ülikool

Oponendid:
professor Anders Søgaard (University of Copenhagen, Taani)
kaasprofessor Mathias Creutz (University of Helsinki, Soome)

Kokkuvõte
Tehisintellekti (TI) mudelid toimivad sageli nagu salapärased mustad kastid: nad võtavad andmeid ja genereerivad ennustusi, kuid nende sisemine töö on varjatud. Nende TI võrkude tõlgendamine on sarnane keerulise bioloogilise või tulnukate aju toimimise uurimisega. See läbipaistvuse puudumine muudab nende mudelite usaldamise keeruliseks, kuna me ei saa olla kindlad, et need on ohutud, õiglased või usaldusväärsed. Näiteks võib mudel, mis töötab hästi ühes keeles, ebaõnnestuda teises keeles. 

Meie uurimistöö keskendub TI mudelite arusaadavuse suurendamisele, keskendudes mitmekeelse ja mitmevaldkonnalise mudelitele. Avastame kaks olulist nähtust Transformer-põhistes mudelites: mitmekeelne abstraktsioon, kus mudelid õpivad teisendama sisendlauseid "mentaalseks ühiskeeleks" sõltumata sellest, kas sisend on eesti või inglise keeles, ja mitmevaldkonnaline spetsialiseerumine, kus mudelid õpivad pühendama eraldi tööriistu iga valdkonna jaoks seesmiselt. Need mustrid olid järjepidevad erinevate mudelite ja andmekogumite puhul. 

Kuigi meie peamine eesmärk on pakkuda teadmisi mitmekeelse ja mitmevaldkonnalise mudelite sisemisest toimimisest, tutvustame me ka uut metoodikat mitmekeelse mudeli tõlgendamiseks ja esitleme praktilist rakendust mitmevaldkonnalise masintõlke parandamiseks. Loodame, et need teadmised aitavad parandada TI tehnoloogia ohutust, õiglust või kättesaadavust, eriti alaesindatud keelte ja valdkondade puhul.