prikaz prve stranice dokumenta Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica
Rad nije dostupan
diplomski rad
Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica
2023. urn:nbn:hr:168:358740
Rep, Ivan
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Citirajte ovaj rad

Rep, I. (2023). Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:358740

Rep, Ivan. "Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:358740

Rep, Ivan. "Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2023. https://urn.nsk.hr/urn:nbn:hr:168:358740

Rep, I. (2023). 'Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 05.05.2024., https://urn.nsk.hr/urn:nbn:hr:168:358740

Rep I. Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2023 [pristupljeno 05.05.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:358740

I. Rep, "Kombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2023. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:358740

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:358740
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovKombiniranje tehnika adaptivnoga predtreniranja za zadatak automatizirane provjere činjenica
Naslov (engleski)Combining adaptive pretraining techniques for the task of automated fact-checking
AutorIvan Rep
MentorJan Šnajder (mentor)
Član povjerenstvaJan Šnajder (predsjednik povjerenstva)
Član povjerenstvaMarko Đurasević (član povjerenstva)
Član povjerenstvaMarko Čupić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2023-07-11, Hrvatska
Sažetak
Razvoj tehnika strojnog učenja uvelike je promijenio ulogu numeričkih podataka i kako se ti podaci iskorištavaju. Kombiniranje tehnika obrade prirodnog jezika i arhitekture transformatora nadmašilo je ljudske performanse na određenim zadacima razumijevanja prirodnog jezika. Jedan od zadataka razumijevanja prirodnog jezika je i automatizirana provjera činjenica, koja postaje sve više potrebna zbog brzine širenja dezinformacija u modernim medijima. Ovaj rad bavi se primjenom modela transformatora na zadatak detekcije tvrdnji koje je potrebno provjeriti i na zadatak provjere činjenica. Rad uključuje niz eksperimenata vezanih uz predtreniranje arhitektura transformatora i fino podešavanje parametara modela na spomenutim zadacima. Za predtreniranje modela isprobane su neke od postojećih metoda, osmišljena je i isprobana strategija ciljanog maskiranja riječi za zadatak maskiranog modeliranja jezika, i osmišljen je i isproban zadatak detekcije riječi značajnih za zadatak provjere činjenica. Nastavno na eksperimente vezane uz predtreniranje modela, za fino podešavanje parametara modela osmišljen je i isproban način direktnog ugrađivanja informacije o značajnim riječima, testiran je utjecaj korištenja otežavanja funkcije gubitka i međusobni prijenos znanja između zadataka provjere činjenica. Za svaki od naučenih modela prezentirani su i komentirani rezultati, a detaljnija analiza pogrešaka napravljena je za BERT model.
Sažetak (engleski)
The development of machine learning has drastically changed the role of numerical data and how it can be exploited. Combining natural language processing techniques and transformer architecture has surpassed human performance on certain natural language understanding tasks. One of the natural language understanding tasks is automated fact-checking, which has become increasingly important due to the rapid spreading of misinformation and disinformation in modern media outlets. The thesis focuses on applying transformer models to the task of claim check-worthiness detection and fact-verification. It includes a series of experiments regarding pretraining transformer models and fine-tuning on the mentioned tasks. Besides experimenting with the well-known pretraining methods, a method for strategically masking words in the masked language modeling procedure was developed, as well as a method for detecting highly informative words. Aside from experimenting with pretraining, the thesis includes testing the inclusion of highly informative words directly into the fine-tuning procedure, as well as mutual knowledge transfer from each of the fact-checking tasks, and the use of loss function weighting. Each of the trained models is presented and the results are commented on, while a more detailed error analysis is carried out for the BERT model.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:358740
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-10-11 10:20:03