An engine for efficient data stream summarization using Kafka and Kafka streams microservicesAn engine for efficient data stream summarization using Kafka and Kafka streams microservicesΜηχανή αποδοτικής σύνοψης ροών δεδομένων με Kafka και Kafka streams μικροϋπηρεσίες Διπλωματική Εργασία Diploma Work 2024-05-282024enIn this work, we introduce a novel stream summary maintenance paradigm in the form of distributed microservices, namely Synopses as a MicroService, and we implement this paradigm on top of Apache Kafka and Kafka Streams Microservices. SaaMS is designed for real-time stream summarization and analysis over rapid data streams. SaaMS also contains a built-in library with Synopses that is used for producing stream summaries but remains extensible and customizable to new Synopses techniques. In that, (a) it contributes an innovative architecture to gain scalability dynamically based on the necessary computation requirements, (b) maintains a large volume of Synopses, concurrently with high throughput and fault-tolerance, (c) provides an extensible Synopsis library for real-time analysis (d) experimental evaluation provided using real financial data. SaaMS manages large-scale stream processing and analysis because it enables (i) horizontal scalability, i.e., taking advantage of complicated mechanisms that Kafka has for distributing the workload, achieving maximum throughput and minimum latency (ii) vertical scalability, i.e., the ability to scale the computation with the number of processed streams (iii) federated scalability, i.e., data can be processed across multiple distributed environments even in case they are geographically dispersed.Σε αυτή την εργασία, παρουσιάζεται ένα παράδειγμα συντήρησης συνόψεων ροών δεδομένων με τη μορφή κατανεμημένων μικροϋπηρεσιών, που ονομάζεται Synopses as a MicroService, και υλοποιείτε πάνω στο Apache Kafka και Kafka Streams. Το SaaMS έχει σχεδιαστεί για περίληψη και ανάλυση ροών δεδομένων σε πραγματικό χρόνο. Επίσης, το SaaMS εμπεριέχει μία ενσωματωμένη βιβλιοθήκη με αλγορίθμους συνόψεων που χρησιμοποιούνται για την παραγωγή περιλήψεων με δυνατότητα επεκτάσεις με νέες τεχνικές συνόψεων. Ως εκ τούτου, (α) έχει μια καινοτόμο αρχιτεκτονική που εφαρμόζει δυναμικά την κλιμακωσιμότητα που θέλουμε με βάση τις υπολογιστικές ανάγκες, (β) διατηρεί μεγάλο όγκο συνόψεων ταυτόχρονα, με υψηλή απόδοση και ανοχή σε σφάλματα, (γ) παρέχει μια επεκτάσιμη βιβλιοθήκη για ανάλυση σε πραγματικό χρόνο, (δ) παρέχει πειραματική τεκμηρίωση χρησιμοποιώντας πραγματικά δεδομένα χρηματιστηρίου. Το SaaMS μπορεί να διαχειρίζεται την επεξεργασία και την ανάλυση μεγάλων όγκων δεδομένων επειδή εκμεταλλεύεται (i) Οριζόντια κλιμακωσιμότητα, δηλαδή, την εκμετάλλευση περίπλοκων μηχανισμών που έχει το Kafka ώστε να διαμερίζει τον φόρτο εργασίας πετυχαίνοντας μέγιστη απόδοση και μικρή καθυστέρηση, (ii) Κάθετη κλιμακωσιμότητα, δηλαδή, την ικανότητα για αύξηση των υπολογισμών με τον αριθμό των επεξεργασμένων ροών, (iii) Ομοσπονδιακή κλιμακωσιμότητα, δηλαδή, την δεξιότητα επεξεργασίας δεδομένων σε πολλά κατανεμημένα περιβάλλοντα ακόμα και αν είναι γεωγραφικά διασκορπισμένα.http://creativecommons.org/licenses/by-nc/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνKalfakis_Georgios-Panagiotis_Dip_2024.pdfChania [Greece]Library of TUC2024-05-27application/pdf9.5 MBembargo Kalfakis Georgios-Panagiotis Καλφακης Γεωργιος-Παναγιωτης Giatrakos Nikolaos Γιατρακος Νικολαος Deligiannakis Antonios Δεληγιαννακης Αντωνιος Garofalakis Minos Γαροφαλακης Μινως Πολυτεχνείο Κρήτης Technical University of Crete High throughput and fault-tolerance Real financial data analysis Extensible synopsis library Horizontal, vertical and federated scalability Apache Kafka and Kafka streams Distributed microservices Real-time stream summarization and analysis