Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Μηχανή αποδοτικής σύνοψης ροών δεδομένων με Kafka και Kafka streams μικροϋπηρεσίες

Kalfakis Georgios-Panagiotis

Πλήρης Εγγραφή


URI: http://purl.tuc.gr/dl/dias/B8BFB68A-9186-4131-A568-E0D61948D48F
Έτος 2024
Τύπος Διπλωματική Εργασία
Άδεια Χρήσης
Λεπτομέρειες
Βιβλιογραφική Αναφορά Γεώργιος-Παναγιώτης Καλφάκης, "Μηχανή αποδοτικής σύνοψης ροών δεδομένων με Kafka και Kafka streams μικροϋπηρεσίες", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024 https://doi.org/10.26233/heallink.tuc.99743
Εμφανίζεται στις Συλλογές

Περίληψη

Σε αυτή την εργασία, παρουσιάζεται ένα παράδειγμα συντήρησης συνόψεων ροών δεδομένων με τη μορφή κατανεμημένων μικροϋπηρεσιών, που ονομάζεται Synopses as a MicroService, και υλοποιείτε πάνω στο Apache Kafka και Kafka Streams. Το SaaMS έχει σχεδιαστεί για περίληψη και ανάλυση ροών δεδομένων σε πραγματικό χρόνο. Επίσης, το SaaMS εμπεριέχει μία ενσωματωμένη βιβλιοθήκη με αλγορίθμους συνόψεων που χρησιμοποιούνται για την παραγωγή περιλήψεων με δυνατότητα επεκτάσεις με νέες τεχνικές συνόψεων. Ως εκ τούτου, (α) έχει μια καινοτόμο αρχιτεκτονική που εφαρμόζει δυναμικά την κλιμακωσιμότητα που θέλουμε με βάση τις υπολογιστικές ανάγκες, (β) διατηρεί μεγάλο όγκο συνόψεων ταυτόχρονα, με υψηλή απόδοση και ανοχή σε σφάλματα, (γ) παρέχει μια επεκτάσιμη βιβλιοθήκη για ανάλυση σε πραγματικό χρόνο, (δ) παρέχει πειραματική τεκμηρίωση χρησιμοποιώντας πραγματικά δεδομένα χρηματιστηρίου. Το SaaMS μπορεί να διαχειρίζεται την επεξεργασία και την ανάλυση μεγάλων όγκων δεδομένων επειδή εκμεταλλεύεται (i) Οριζόντια κλιμακωσιμότητα, δηλαδή, την εκμετάλλευση περίπλοκων μηχανισμών που έχει το Kafka ώστε να διαμερίζει τον φόρτο εργασίας πετυχαίνοντας μέγιστη απόδοση και μικρή καθυστέρηση, (ii) Κάθετη κλιμακωσιμότητα, δηλαδή, την ικανότητα για αύξηση των υπολογισμών με τον αριθμό των επεξεργασμένων ροών, (iii) Ομοσπονδιακή κλιμακωσιμότητα, δηλαδή, την δεξιότητα επεξεργασίας δεδομένων σε πολλά κατανεμημένα περιβάλλοντα ακόμα και αν είναι γεωγραφικά διασκορπισμένα.

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά