![Institutional Repository [SANDBOX]](images/dias.logo.png "Institutional Repository [SANDBOX]"){kind=logo}
Institutional Repository [SANDBOX]
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/3C10F4B8-879F-4E0B-8E4D-B09F29887DAA | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.103499 | - |
| Language | en | - |
| Extent | 91 pages | en |
| Title | An ensemble learning engine with Kafka and Kafka streams microservices | en |
| Title | Μηχανή συνδυαστικής μηχανικής μάθησης με χρήση Kafka και Kafka streams μικροϋπηρεσιών | el |
| Creator | Marketakis Michail | en |
| Creator | Μαρκετακης Μιχαηλ | el |
| Contributor [Thesis Supervisor] | Giatrakos Nikolaos | en |
| Contributor [Thesis Supervisor] | Γιατρακος Νικολαος | el |
| Contributor [Committee Member] | Samoladas Vasilis | en |
| Contributor [Committee Member] | Σαμολαδας Βασιλης | el |
| Contributor [Committee Member] | Spyropoulos Thrasyvoulos | en |
| Contributor [Committee Member] | Σπυροπουλος Θρασυβουλος | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | This thesis introduces ELaaMS (Ensemble Learning as a MicroService), an event-driven microservice architecture designed to deliver robust, real-time ensemble predictions from multiple streaming machine-learning models running concurrently, built on top of Apache Kafka and Kafka Streams. Within ELaaMS, each learner runs as an independent Kafka Streams application that consumes streaming data, trains incrementally with the Massive Online Analysis (MOA) library, and publishes live predictions. A lightweight ensemble aggregator service fuses these outputs on the fly—applying majority voting for classifi cation and simple averaging for regression tasks —while a built-in catalog of streaming machine learning algorithms makes the system usable out of the box and readily extensi ble through the integration of new algorithms and methods. This architecture is designed to support robust scalability. Horizontal scalability is achieved by leveraging Kafka’s ca pability to distribute the workload across additional instances of the application, thereby increasing overall processing capacity and throughput. Vertical scalability is the ability to scale the computation with the number of processed streams. | en |
| Content Summary | Η παρούσα διπλωματική εργασία παρουσιάζει το ELaaMS (Ensemble Learning as a Microservice), μια αρχιτεκτονική μικροϋπηρεσιών καθοδηγούμενη από γεγονότα, σχεδιασμένη για την παροχή αξιόπιστων, συνδυαστικών προβλέψεων σε πραγματικό χρόνο, από πολλαπλά μοντέλα μηχανικής μάθησης ροής που εκτελούνται παράλληλα. Η αρχιτεκτονική είναι βασισμένη στην πλατφόρμα Apache Kafka και Kafka Streams. Στο πλαίσιο του ELaaMS, κάθε μοντέλο μηχανικής μάθησης εκτελείται ως μια ανεξάρτητη εφαρμογή Kafka Streams, καταναλώνει δεδομένα ροής, εκπαιδεύεται επαυξητικά με τη χρήση της βιβλιοθήκης Massive Online Analysis (MOA) και δημοσιεύει προβλέψεις σε πραγματικό χρόνο. Μια υπηρεσία συγκέντρωσης συνόλου συνδυάζει δυναμικά αυτές τις εξόδους, εφαρμόζοντας πλειοψηφική ψηφοφορία για προβλήματα ταξινόμησης και απλό μέσο όρο για προβλήματα παλινδρόμησης. Παράλληλα, ένας ενσωματωμένος κατάλογος αλγορίθμων μηχανικής μάθησης ροής καθιστά το σύστημα άμεσα αξιοποιήσιμο και εύκολα επεκτάσιμο, μέσω της ενσωμάτωσης νέων αλγορίθμων και μεθόδων. Η αρχιτεκτονική είναι σχεδιασμένη ώστε να υποστηρίζει ισχυρή κλιμακωσιμότητα. Η Οριζόντια κλιμακωσιμότητα επιτυγχάνεται αξιοποιώντας την ικανότητα του Kafka να κατανέμει τον φόρτο εργασίας σε επιπλέον instances της εφαρμογής, αυξάνοντας έτσι τη συνολική επεξεργαστική ικανότητα και την απόδοση. Η Κάθετη κλιμακωσιμότητα ορίζεται ως η ικανότητα κλιμάκωσης του υπολογισμού ανάλογα με τον αριθμό των επεξεργαζόμενων ροών δεδομένων. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2025-06-18 | - |
| Date of Publication | 2025 | - |
| Subject | Machine Learning & Data Engineering | en |
| Bibliographic Citation | Michail Marketakis, "An ensemble learning engine with Kafka and Kafka streams microservices", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2025 | en |
| Bibliographic Citation | Μιχαήλ Μαρκετάκης, "Μηχανή συνδυαστικής μηχανικής μάθησης με χρήση Kafka και Kafka streams μικροϋπηρεσιών", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2025 | el |
Copyright © DIAS 2013
