prikaz prve stranice dokumenta Razmještaj osjetila korištenjem ojačanog učenja
Pristup korisnicima matične ustanove
diplomski rad
Razmještaj osjetila korištenjem ojačanog učenja
2022. urn:nbn:hr:190:088862
Lipovac, Filip
Sveučilište u Rijeci
Tehnički fakultet
Zavod za računarstvo
Katedra za inteligentne računalne sustave

Citirajte ovaj rad

Lipovac, F. (2022). Razmještaj osjetila korištenjem ojačanog učenja (Diplomski rad). Rijeka: Sveučilište u Rijeci, Tehnički fakultet. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:190:088862

Lipovac, Filip. "Razmještaj osjetila korištenjem ojačanog učenja." Diplomski rad, Sveučilište u Rijeci, Tehnički fakultet, 2022. https://urn.nsk.hr/urn:nbn:hr:190:088862

Lipovac, Filip. "Razmještaj osjetila korištenjem ojačanog učenja." Diplomski rad, Sveučilište u Rijeci, Tehnički fakultet, 2022. https://urn.nsk.hr/urn:nbn:hr:190:088862

Lipovac, F. (2022). 'Razmještaj osjetila korištenjem ojačanog učenja', Diplomski rad, Sveučilište u Rijeci, Tehnički fakultet, citirano: 29.04.2024., https://urn.nsk.hr/urn:nbn:hr:190:088862

Lipovac F. Razmještaj osjetila korištenjem ojačanog učenja [Diplomski rad]. Rijeka: Sveučilište u Rijeci, Tehnički fakultet; 2022 [pristupljeno 29.04.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:190:088862

F. Lipovac, "Razmještaj osjetila korištenjem ojačanog učenja", Diplomski rad, Sveučilište u Rijeci, Tehnički fakultet, Rijeka, 2022. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:190:088862

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:190:088862
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovRazmještaj osjetila korištenjem ojačanog učenja
Naslov (engleski)Sensor placement using reinforcement learning
AutorFilip Lipovac
MentorKristijan Lenac (mentor)
Član povjerenstvaKristijan Lenac (predsjednik povjerenstva)
Član povjerenstvaMladen Tomić (član povjerenstva)
Član povjerenstvaGoran Mauša (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Rijeci
Tehnički fakultet
(Zavod za računarstvo)
(Katedra za inteligentne računalne sustave)
Rijeka
Datum i država obrane2022-05-27, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Strojarstvo
Sažetak
Ovaj rad predstavlja nastavak istraživanja u sklopu kojega je definiran generalni model prostora i osjetila te simulacijsko okruženje za provjeru metaheurističkih optimizacijskih algoritama za razmještaj osjetila u zatvorenom prostoru (Diego Sušanj, 2021). Simulacijsko okruženje i modeli prostora i osjetila prošireni su okruženjem za treniranje temeljenim na OpenAI Gym implementaciji, knjižnici za kreiranje generaliziranih modela okruženja za treniranje metoda ojačanog učenja. Predložena okruženja se koristi za ispitivanje metoda ojačanog učenja u kojima agent, matematički opisano usmjereno ili svesmjerno osjetilo, korištenjem niza opisanih akcija razvija politiku kojom maksimizira pokrivenost u simuliranom zatvorenom prostoru. Rad se fokusira na proširivanje modela prostora sa okruženjem za treniranje modela ojačanog učenja, pritom koristeći generalizirani model osjetila i prostora iz postojeće literature i na istraživanje i korištenje algoritama ojačanog učenja za primjenu na području razmještaja osjetila u dvodimenzionalnom okruženju. Odabrano je i ispitano pet algoritama dubokog ojačanog učenja koji su implementirani u Stable baselines knjižnici, od čega dvije implementacije koriste metodu glumac-kritičar dok su preostale tri prilagođene verzije algoritama dubokog Q-učenja. Treniranje je provedeno u unaprijed zadanom broju koraka gdje u svakom koraku agent izvodi akciju za koju dobije povratnu informaciju iz okruženja. Povratna informacija iz okruženja je kombinacija trenutne pozicije, orijentacije i postignute vidljivosti osjetila. Rezultati eksperimenta su pokazali da opisani pristup može razmjestiti oba tipa osjetila na pozicije s visokom pokrivenošću prostora te je uz prilagodbu parametra učenja pokazana mogućnost treniranja na jednom i korištenju treniranog modela u nepoznatom prostoru, unatoč malom broju koraka evaluacije i s ograničenim računalnim resursima. Završno, rezultati istraživanja pokazaju potencijal za nastavak istraživanja u području korištenja dubokog ojačanog učenja za rješavanje problema razmještaja osjetila, ali su uočeni i nedostaci u trenutnoj implementaciji u kojoj je jedna od najvećih ograničenosti izostanak podrške za više-agentni način rada.
Sažetak (engleski)
The paper is a continuation of a research in which was created a model for enclosed environment and sensors together with a simulator for testing metaheuristic algorithms for optimal distribution of sensors (Diego Sušanj, 2021). Created simulator and sensor and environment model were expanded with a new training environment based on OpenAI Gym implementation, a framework for defining generalized training environment for reinforcement learning methods. Proposed environments are then used to train and test reinforcement learning methods in which an agent, a mathematically described isotropic or directional sensor, uses a series of described actions to develop a policy that maximizes area coverage in a simulated enclosed environments. The paper focuses on creating an environment for reinforcement learning training, using knowledge and generalized model of senses and environments from existing literature and research and then applying reinforcement learning algorithms for application in spatial distribution of sensors. Research explores and uses five deep reinforcement learning algorithms implemented in Stable baselines library, out of which two implemetations use actor-critic approach and the other three are modified versions of Deep Q-Network algorithms. Training was done in a predetermined number of steps, where in each step the agent carries out an action for which he receives feedback from the environment. Feedback is a combination of a current location, orientation and sensors’ visibility. Experimental results have shown that the described approach can position both types of sensors in positions with high area coverage and a model trained in one environment, with fine tuned learning parameters, could be used on unknown environment despite a small number of evaluation steps and with limited computing resources. Finally, the research results have shown the potential for further research in the field of sensory deployment applications but also elevated a problem with current implementation in which one of the biggest limitations is the lack of a support for multi-agent approach.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:190:088862
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag. ing. comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaPristup korisnicima matične ustanove
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Datum i vrijeme pohrane2022-06-07 08:59:26