Αναζήτηση

Πλοήγηση

• Κοινότητες
• Συγγραφείς
• Έτος
• Τίτλοι
• Θέματα

Ο Χώρος μου

• Είσοδος

Μεγάλης κλίμακας συνεχής μηχανική μάθηση σε πλατφόρμες επεξεργασίας ροών δεδομένων

Konidaris Vissarion-Bertcholnt

Πλήρης Εγγραφή

---

Περίληψη

Οι αλγόριθμοι συνεχούς μηχανικής μάθησης υποστηρίζουν την δυνατότητα εκπαίδευσης πάνω σε συνεχόμενες και απεριόριστες ροές δεδομένων, ενώ ταυτόχρονα είναι ικανοί να παρέχουν προβλέψεις σε επιπλέον ροές δεδομένων χωρίς ετικέτες. Η αύξηση του όγκου και της πολυπλοκότητας των ψηφιακών δεδομένων που παράγεται καθημερινώς είναι εκρηκτική. Με τη παραγωγή τους να είναι κατανεμημένη, αδιάλειπτη και πρωτίστως μη στατική, οι αλγόριθμοι συνεχούς μηχανικής μάθησης αποτελούν πια ουσιώδεις και αναγκαίες τεχνικές για τις σύγχρονες εφαρμογές παροχής αναλύσεων και προβλέψεων. Παρακινούμενοι από την χαμηλή υποστήριξη δημοφιλών προγραμματιστικών εργαλείων σε θέματα συνεχούς μηχανικής μάθησης, υλοποιήσαμε το εργαλείο Online Machine Learning and Data Mining (OMLDM), ένα εργαλείο σύγχρονης τεχνολογίας ικανό να αναπτύξει κατανεμημένους αλγορίθμους συνεχούς μηχανικής μάθησης σε πλατφόρμες επεξεργασίας ροών δεδομένων. Για λόγους υψηλής απόδοσης, η υλοποίησή μας έγινε πάνω σε μοντέρνα συστήματα ανάλυσης μεγάλων δεδομένων όπως Apache Flink και Apache Kafka, χρησιμοποιώντας την αρχιτεκτονική του διακομιστή παραμέτρων, ή αλλιώς το μοντέλο παραλληλισμού δεδομένων. Παρατηρήσαμε πως η δικτυακή επικοινωνία για τον συγχρονισμό παράλληλων μοντέλων αποτελεί το μεγαλύτερο εμπόδιο για την αύξηση του παραλληλισμού των εν λόγο συστημάτων. Για αυτό το λόγο, υλοποιήσαμε στο εργαλείο OMLDM μια πληθώρα από μοντέρνες τεχνικές συγχρονισμού κατανεμημένων μοντέλων. Επιπροσθέτως, παρουσιάζουμε μέσω του εργαλείου μια καινούργια τεχνική συγχρονισμού, την Functional Dynamic Averaging (FDA), για την οποία αποδεικνύουμε πειραματικά ότι ελαχιστοποιεί την επικοινωνία μεταξύ κατανεμημένων μοντέλων διατηρώντας υψηλή απόδοση προβλέψεων.

Διαθέσιμα αρχεία

Υπηρεσίες