Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Extreme-Scale online machine learning on stream processing platforms

Konidaris Vissarion-Bertcholnt

Simple record


URIhttp://purl.tuc.gr/dl/dias/52EF7270-E7E6-47C1-A576-5044960EE29D-
Identifierhttps://doi.org/10.26233/heallink.tuc.92838-
Languageen-
Extent72 pagesen
Extent1.7 megabytesen
TitleExtreme-Scale online machine learning on stream processing platformsen
TitleΜεγάλης κλίμακας συνεχής μηχανική μάθηση σε πλατφόρμες επεξεργασίας ροών δεδομένωνel
CreatorKonidaris Vissarion-Bertcholnten
CreatorΚονιδαρης Βησσαριων-Μπερτχολντel
Contributor [Thesis Supervisor]Samoladas Vasilisen
Contributor [Thesis Supervisor]Σαμολαδας Βασιληςel
Contributor [Committee Member]Garofalakis Minosen
Contributor [Committee Member]Γαροφαλακης Μινωςel
Contributor [Committee Member]Lagoudakis Michailen
Contributor [Committee Member]Λαγουδακης Μιχαηλel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
DescriptionΜεταπτυχιακή διατριβή που υποβλήθηκε στη σχολή ΗΜΜΥ Πολυτεχνείου Κρήτης για τη πλήρωση προυποθέσεων λήψης του Μεταπτυχιακού Διπλώματος Ειδίκευσηςel
Content SummaryOnline Machine Learning (OML) techniques support training over continuous unbounded training items while simultaneously providing predictions on the same or another unlabeled stream. The explosion in the amount and complexity of digital information generated online is gradually rendering OML techniques essential for modern analytics and forecasting applications due to their ability to handle massive, unbounded, and most importantly, inherently not-static data. Having noted that support for popular Machine Learning (ML) toolchains is somewhat weak for the OML setting, we have designed the Online Machine Learning and Data Mining (OMLDM) component, a state-of-the-art engine for effortlessly deploying OML pipelines on streaming platforms. Our prototype, built on Apache Flink, validates our architecture, and identifies issues that current streaming platforms should improve on to support OML. To achieve high performance, OMLDM supports distributed online learning by utilizing the Parameter Server paradigm. We have identified the communication cost of synchronizing distributed learners as the major impediment to scalability. To overcome this obstacle, our proposed engine supports several popular model synchronization strategies. In addition, we bring forward and evaluate a novel synchronization strategy, Functional Dynamic Averaging (FDA), that minimizes the prediction loss and network communication all at once. We demonstrate through experiments that FDA is superior to current model synchronization strategies in many settings.en
Content SummaryΟι αλγόριθμοι συνεχούς μηχανικής μάθησης υποστηρίζουν την δυνατότητα εκπαίδευσης πάνω σε συνεχόμενες και απεριόριστες ροές δεδομένων, ενώ ταυτόχρονα είναι ικανοί να παρέχουν προβλέψεις σε επιπλέον ροές δεδομένων χωρίς ετικέτες. Η αύξηση του όγκου και της πολυπλοκότητας των ψηφιακών δεδομένων που παράγεται καθημερινώς είναι εκρηκτική. Με τη παραγωγή τους να είναι κατανεμημένη, αδιάλειπτη και πρωτίστως μη στατική, οι αλγόριθμοι συνεχούς μηχανικής μάθησης αποτελούν πια ουσιώδεις και αναγκαίες τεχνικές για τις σύγχρονες εφαρμογές παροχής αναλύσεων και προβλέψεων. Παρακινούμενοι από την χαμηλή υποστήριξη δημοφιλών προγραμματιστικών εργαλείων σε θέματα συνεχούς μηχανικής μάθησης, υλοποιήσαμε το εργαλείο Online Machine Learning and Data Mining (OMLDM), ένα εργαλείο σύγχρονης τεχνολογίας ικανό να αναπτύξει κατανεμημένους αλγορίθμους συνεχούς μηχανικής μάθησης σε πλατφόρμες επεξεργασίας ροών δεδομένων. Για λόγους υψηλής απόδοσης, η υλοποίησή μας έγινε πάνω σε μοντέρνα συστήματα ανάλυσης μεγάλων δεδομένων όπως Apache Flink και Apache Kafka, χρησιμοποιώντας την αρχιτεκτονική του διακομιστή παραμέτρων, ή αλλιώς το μοντέλο παραλληλισμού δεδομένων. Παρατηρήσαμε πως η δικτυακή επικοινωνία για τον συγχρονισμό παράλληλων μοντέλων αποτελεί το μεγαλύτερο εμπόδιο για την αύξηση του παραλληλισμού των εν λόγο συστημάτων. Για αυτό το λόγο, υλοποιήσαμε στο εργαλείο OMLDM μια πληθώρα από μοντέρνες τεχνικές συγχρονισμού κατανεμημένων μοντέλων. Επιπροσθέτως, παρουσιάζουμε μέσω του εργαλείου μια καινούργια τεχνική συγχρονισμού, την Functional Dynamic Averaging (FDA), για την οποία αποδεικνύουμε πειραματικά ότι ελαχιστοποιεί την επικοινωνία μεταξύ κατανεμημένων μοντέλων διατηρώντας υψηλή απόδοση προβλέψεων.el
Type of ItemΜεταπτυχιακή Διατριβήel
Type of ItemMaster Thesisen
Licensehttp://creativecommons.org/licenses/by-nc/4.0/en
Date of Item2022-07-21-
Date of Publication2022-
SubjectBig dataen
SubjectΜηχανική μάθησηel
SubjectMachine learningel
SubjectOnline machine learningen
SubjectCloud computingen
SubjectΚαταμεμημένα συστήματαel
SubjectDistributed systemsen
SubjectStreaming dataen
SubjectΡοές δεδομένωνel
SubjectCluster computingen
Bibliographic CitationVissarion-Bertcholnt Konidaris, "Extreme-Scale online machine learning on stream processing platforms", Master Thesis, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2022en
Bibliographic CitationΒησσαρίων-Μπέρτχολντ Κονιδάρης, "Μεγάλης κλίμακας συνεχής μηχανική μάθηση σε πλατφόρμες επεξεργασίας ροών δεδομένων", Μεταπτυχιακή Διατριβή, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2022el

Available Files

Services

Statistics