prikaz prve stranice dokumenta Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark
Rad nije dostupan
završni rad
Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark
2019. urn:nbn:hr:168:185017
Britvec, Darko
Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva

Citirajte ovaj rad

Britvec, D. (2019). Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark (Završni rad). Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:168:185017

Britvec, Darko. "Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2019. https://urn.nsk.hr/urn:nbn:hr:168:185017

Britvec, Darko. "Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark." Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, 2019. https://urn.nsk.hr/urn:nbn:hr:168:185017

Britvec, D. (2019). 'Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark', Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, citirano: 15.04.2024., https://urn.nsk.hr/urn:nbn:hr:168:185017

Britvec D. Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark [Završni rad]. Zagreb: Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva; 2019 [pristupljeno 15.04.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:185017

D. Britvec, "Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark", Završni rad, Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva, Zagreb, 2019. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:168:185017

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:168:185017
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovFiltriranje geoprostornog toka podataka korištenjem platforme Apache Spark
Naslov (engleski)Filtering of Geospatial Data Streams using Apache Spark Platform
AutorDarko Britvec
MentorKrešimir Pripužić (mentor)
Član povjerenstvaKrešimir Pripužić (predsjednik povjerenstva)
Član povjerenstvaLucija Petricioli (član povjerenstva)
Član povjerenstvaMatija Šulc (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište u Zagrebu
Fakultet elektrotehnike i računarstva
Zagreb
Datum i država obrane2019-07-12, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		TEHNIČKE ZNANOSTI
Računarstvo
Sažetak
Cilj ovog rada je stvaranje učinkovitog raspodijeljenog sustava za filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark. Arhitektura korištena u implementaciji programskog rješenja naziva se „objavi-pretplati“. Objave u sustavu predstavljaju poruke formata GeoJSON koje sadrže geoprostornu značajku (točku, liniju, poligon) te dodatne informacije. Pretplate u sustavu predstavljaju poligoni u prostoru uz koje vežemo dodatne značajke. Tok podataka implementiran je pomoću alata Apache Kafka. Za konzumaciju toka podataka koristi se Spark Streaming koji tok obrađuje u dijelovima koji se mogu primiti u određenom vremenskom intervalu (engl. micro-batch). Za filtriranje geoprostornih podataka korištena je programska knjižnica GeoSpark koja dodatno koristi knjižnice Java Topology Suite i Geotools. Učinkovito filtriranje prostornih podataka ostvareno je pomoću particioniranja skupa pretplata pomoću različitih strategija particioniranja. Izlaz sustava je poruka u formatu JSON koja sadrži identifikator objave i pripadne pretplate. U evaluaciji rješenja isprobane su strategije particioniranja pomoću Hilbertove krivulje, KDB-stabla, Q-stabla i R-stabla. Dodatno, za poboljšanje rezultata ispitano je i korištenje geoprostornih indeksa ostvarenih pomoću R-stabla i Q-stabla. U evaluaciji je također ispitan utjecaj korištenja pričuvne memorije za spremanje skupa pretplata.
Sažetak (engleski)
The goal of this paper is to create an efficient distributed system for filtering of geospatial dana streams using the Apache Spark platform. Architecture used in the implementation is based on publish-subscribe pattern. Incoming messages in system carry a geospatial feature (eg. point, line or polygon on Earth) and some additional data formatted with GeoJSON specification. Geospatial subscriptions represent a set of polygons on Earth with some additional data. Geospatial data stream is implemented with Apache Kafka tool. Spark Streaming platform is used for consuming the incoming messages. It handles messages in portions (micro-batches) consumed within a time interval. GeoSpark library along with Java Topology Suite and GeoTools are used for processing the geospatial data. The effectiveness of geospatial filtering is improved with partitioning of the subscriptions dataset by using a different partitioning strategies. The system output consists of the identifiers of both messages corresponded subscriptions. Partitioning strategies used in the experiment are ones based on Hilbert curve, KDB-tree, Q-tree and R-tree. Additionally, evaluations examined the impact of using geospatial indexes based on Q-tree and R-tree and also the impact of using the cache functionality for persisting the subscription dataset in the memory of worker processes.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:168:185017
Studijski programNaziv: Računarstvo
Vrsta studija: sveučilišni
Stupanj studija: preddiplomski
Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaZatvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Javna napomena
Datum i vrijeme pohrane2020-01-07 17:02:22