prikaz prve stranice dokumenta Otkrivanje govora mržnje zasnovano na modelima strojnog učenja
Rad nije dostupan
diplomski rad
Otkrivanje govora mržnje zasnovano na modelima strojnog učenja
2022. urn:nbn:hr:168:534922
Šmuc, Eva
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Citirajte ovaj rad

Šmuc, E. (2022). Otkrivanje govora mržnje zasnovano na modelima strojnog učenja (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:534922

Šmuc, Eva. "Otkrivanje govora mržnje zasnovano na modelima strojnog učenja." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2022. https://urn.nsk.hr/urn:nbn:hr:168:534922

Šmuc, Eva. "Otkrivanje govora mržnje zasnovano na modelima strojnog učenja." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2022. https://urn.nsk.hr/urn:nbn:hr:168:534922

Šmuc, E. (2022). 'Otkrivanje govora mržnje zasnovano na modelima strojnog učenja', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 13.04.2024., https://urn.nsk.hr/urn:nbn:hr:168:534922

Šmuc E. Otkrivanje govora mržnje zasnovano na modelima strojnog učenja [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2022 [pristupljeno 13.04.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:534922

E. Šmuc, "Otkrivanje govora mržnje zasnovano na modelima strojnog učenja", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2022. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:534922

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:534922
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovOtkrivanje govora mržnje zasnovano na modelima strojnog učenja
Naslov (engleski)Hate speech detection based on machine learning models
AutorEva Šmuc
MentorGoran Delač (mentor)
Član povjerenstvaGoran Delač (predsjednik povjerenstva)
Član povjerenstvaMarin Šilić (član povjerenstva)
Član povjerenstvaKlemo Vladimir (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2022-09-14, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Elektrotehnika
Sažetak
U ovom radu, odnos govora mržnje i sličnih zadataka obrade prirodnog jezika istražen je kroz tehniku prijenosa učenja. Skup podataka ETHOS odabran je kao ciljni skup podataka za klasifikaciju. Nekoliko je algoritama trenirano za srodne zadatke (npr. toksični govor) na većim skupovima podataka, a dobiveni modeli su iskorišteni za dobivanje predikcija za ciljni skup podataka. Predikcije su korištene kao jedine ili dodatne značajke u eksperimentima koji slijede. Eksperimenti se provode korištenjem više algoritama (Logistic Regression, SVM, RidgeClassifier, Decision Tree, Random Forest, AdaBoost, GradBoost, Bagging) i višestrukih prikaza teksta, uključujući Tf-Idf, Bert embeddinge i Bert embeddinge u kombinaciji sa spomenutim dodatnim značajkama. Modeli temeljeni na transformerima, BERT i DistilBERT koriste se za fino podešavanje na skupu podataka ETHOS. Svi dobiveni modeli su evaluirani i njihove metrike su međusobno uspoređene i uspoređene s rezultatima koje su dobili autori skupa podataka ETHOS. Kako bi se istražili preostali problemi, koristi se model-agnostička metoda LIME za dobivanje objašnjenja za pojedine pogrešne predikcije.
Sažetak (engleski)
In this work, the relationship between hate speech and similar tasks is explored through application of transfer learning techniques. A hate speech dataset called ETHOS is chosen as the target dataset. Multiple algorithms are trained for similar tasks (e.g. toxic language detection) on larger datasets, and the obtained models are used for getting predictions for the target dataset. These predictions are used as sole or additional features in the experiments that follow. Experiments are carried out using multiple algorithms (Logistic Regression, SVM, RidgeClassifier, Decision Tree, Random Forest, AdaBoost, GradBoost, Bagging) and multiple text representations, including Tf-Idf, Bert embeddings and Bert embeddings combined with mentioned additional features. Transformer-based models BERT and DistilBERT are introduced and fine-tuned on ETHOS dataset. All the obtained models are evaluated and their performance metrics is compared mutually and compared to results obtained by the authors of the ETHOS dataset. In order to explore the remaining underlying issues, model-agnostic method LIME is used to get explanations for incorrect predictions.
Ključne riječi
Ključne riječi (engleski)
Jezikengleski
URN:NBNurn:nbn:hr:168:534922
Studijski programNaziv: Informacijska i komunikacijska tehnologija
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (mag. ing. inf. et comm. techn.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2023-01-15 11:20:20