The aim of this research paper is to conduct a thorough analysis of inter-annotator agreement in the process of error analysis, which is well-known for its subjectivity and low level of agreement. Since the process is tiresome in its nature and the available user interfaces are pretty distinct from what the average annotator is accustomed to, a user-friendly Windows 10 application offering a more attractive user interface is developed with the aim to simplify the process of error analysis. Translations are performed with Google Translate engine and English-Croatian is selected as the language pair. Since there has been a lot of dispute on inter-annotator agreement and the need for guidelines has been often been emphasized as crucial, the annotators are given a very detailed introduction into the process of error analysis itself. They are given a presentation with a list of the MQM guidelines enriched with tricky cases. All annotators are native speakers of Croatian as the target language and have a linguistic background. The results demonstrate that a stronger agreement indicates more similar backgrounds and that the task of selecting annotators should be conducted more carefully. Furthermore, a training phase on a similar test set is deemed necessary in order to gain a stronger agreement.; Cilj rada je izvršiti temeljitu analizu slaganja među označivačima u postupku analize pogrešaka koji je poznat po svojoj subjektivnosti i niskoj razini slaganja. Budući da je sam postupak po prirodi zamoran, a sučelja dostupnih alata i usluga poprilično se razlikuju od onog na što je prosječni označivač naviknut, u svrhu pojednostavljenja samog postupka analize pogrešaka razvijena je Windows 10 aplikacija s poznatim i atraktivnim korisničkim sučeljem. Englesko-hrvatski prijevodi preuzeti su s usluge Google Translate. Budući da je slaganje među označivačima čest predmet rasprave i da je od neospornog značaja istaknuta potreba za smjernicama, označivačima je dan vrlo detaljan uvid u postupak analize pogrešaka. Također, popis MQM smjernica uz primjere potencijalnih pogrešaka uobličen je u prezentaciju i dan označivačima na raspolaganje. Označivačima je ciljni, tj. hrvatski jezik materinski, a svi imaju određenu razinu lingvističke pozadine. Rezultati otkrivaju da veća razina slaganja ukazuje na sličnije formalno obrazovanje i da proces odabira označivača treba biti pažljivo osmišljen. Štoviše, testiranje na sličnom skupu podataka trebalo bi prethoditi odabiru označivača kako bi se postigla veća razina slaganja.