prikaz prve stranice dokumenta Raspoznavanje prednaučenim samonadziranim i multimodalnim modelima
  Preuzmi
PDF 1.22 MB
diplomski rad
Raspoznavanje prednaučenim samonadziranim i multimodalnim modelima
2025. urn:nbn:hr:168:776667
Kuleš, Jurica
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Citirajte ovaj rad

Kuleš, J. (2025). Raspoznavanje prednaučenim samonadziranim i multimodalnim modelima (Diplomski rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:776667

Kuleš, Jurica. "Raspoznavanje prednaučenim samonadziranim i multimodalnim modelima." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2025. https://urn.nsk.hr/urn:nbn:hr:168:776667

Kuleš, Jurica. "Raspoznavanje prednaučenim samonadziranim i multimodalnim modelima." Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2025. https://urn.nsk.hr/urn:nbn:hr:168:776667

Kuleš, J. (2025). 'Raspoznavanje prednaučenim samonadziranim i multimodalnim modelima', Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 17.03.2025., https://urn.nsk.hr/urn:nbn:hr:168:776667

Kuleš J. Raspoznavanje prednaučenim samonadziranim i multimodalnim modelima [Diplomski rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2025 [pristupljeno 17.03.2025.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:776667

J. Kuleš, "Raspoznavanje prednaučenim samonadziranim i multimodalnim modelima", Diplomski rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2025. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:776667

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:776667
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovRaspoznavanje prednaučenim samonadziranim i multimodalnim modelima
Naslov (engleski)Recognition with pre-trained self-supervised and multimodal models
AutorJurica Kuleš
MentorSiniša Šegvić (mentor)
Član povjerenstvaSiniša Šegvić (predsjednik povjerenstva)
Član povjerenstvaMarin Oršić (član povjerenstva)
Član povjerenstvaIvan Grubišić (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2025-02-28, Hrvatska
Sažetak
Raspoznavanje slika predstavlja važan izazov u području računalnog vida, s mnogim praktičnim primjenama. Na početku ovog rada dan je uvid u postojeće duboke arhitekture za raspoznavanje slika, s posebnim naglaskom na modele temeljene na mehanizmu pažnje. Središnja tema rada bila je raspoznavanje slika pomoću predučenih samonadziranih i multimodalnih modela. U tu smo svrhu pomoću predučenih okosnica modela OpenCLIP i DINOv2 proveli klasifikaciju nad skupom podataka TACO. Došli smo do zaključka... Više da korištenjem navedenih modela za klasifikaciju bez dodatnog ugađanja okosnice, postižemo znatno lošije rezultate nego ako povrh njih dodamo čak i samo jedan potpuno povezani sloj. Nadalje, uočili smo da znatnu ulogu u gubitku točnosti igra i sama priroda skupa podataka TACO. Također smo pokazali da ansambliranjem okosnica ovih dvaju modela postižemo najbolje performanse, što nas je navelo na zaključak da OpenCLIP i DINOv2 ekstrahiraju komplementarne značajke. Sakrij dio sažetka
Sažetak (engleski)
Image recognition represents a significant challenge in the field of computer vision, with numerous practical applications. At the beginning of this work, an overview of existing deep architectures for image recognition is provided, with a particular emphasis on attention-based models. The central theme of this research is image recognition using pretrained self-supervised and multimodal models. To this end, we performed classification on the TACO dataset using the pretrained backbones of the... Više OpenCLIP and DINOv2 models. We concluded that using these models in a zero-shot setting results in significantly poorer performance compared to the event of an addition of even a single fully connected layer on top of the model backbones. Furthermore, we observed that the nature of the TACO dataset itself plays a significant role in the observed loss of accuracy. Additionally, we demonstrated that ensemble learning—combining the backbones of both models—yields the best performance, leading us to conclude that OpenCLIP and DINOv2 extract complementary features. Sakrij dio sažetka
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:168:776667
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2025-03-12 11:11:20
accessibility

closePristupačnostrefresh

Ako želite spremiti trajne postavke, kliknite Spremi, ako ne - vaše će se postavke poništiti kad zatvorite preglednik.