Distributed and Online maintenance of graphical models in Apache FlinkDistributed and Online maintenance of graphical models in Apache FlinkΚατανεμημένη και Online διατήρηση γραφικών μοντέλων στο Apache Flink Διπλωματική Εργασία Diploma Work 2023-05-162023elΜε την αυξανόμενη ανάγκη για ανάλυση των δεδομένων σε μεγάλη κλίμακα, η κατανεμημένη μηχανική μάθηση έχει αποκτήσει σημασία τα τελευταία χρόνια. Τα δεδομένα συνήθως περιγράφονται από ένα μεγάλο αριθμό από αλληλοσχετιζόμενες μεταβλητές και μια σημαντική διεργασία είναι να μπορούμε να περιγράψουμε την από κοινού κατανομή όλων των μεταβλητών, επιτρέποντας την λήψη συμπερασμών και προβλέψεων. Ωστόσο η “απευθείας” μοντελοποίηση της από κοινού κατανομής όλων των μεταβλητών είναι μη εφικτή, αφού η πολυπλοκότητα ενός τέτοιου μοντέλου αυξάνεται εκθετικά με τον αριθμό των μεταβλητών. Εστιάζουμε στα Bayesian Networks , τα οποία αποτελούν τον “πατέρα” των γραφικών μοντέλων και παρουσιάζουμε μια διαφορετική προσέγγιση που είναι “επικοινωνιακά” αποδοτική χρησιμοποιώντας την ευρέως γνωστή μέθοδο του Functional Geometric Monitoring, για την συνεχή εκμάθηση και διατήρηση των Bayesian Networks πάνω σε κατανεμημένο περιβάλλον. Τέλος τα πειραματικά αποτελέσματα επιβεβαιώνουν την λειτουργικότητα την προτεινομένης προσέγγισης.With the growing need for large scale data analysis, distributed machine learning has grown importance in recent years. The raw data is described by large number of interrelated variables and an important task is to describe the joint probability distribution over these variables, allowing simultaneously interferences and predications to be made. Directly modeling of joint probability distribution of all these variables may be infeasible, since the complexity of such model grown exponential with the number of variables. We focus on Bayesian Networks, the father of graphical models and present a different communication-efficient approach using the well-known method of Functional Geometric Monitoring, for continuously learning and maintenance of Bayesian Networks in a distributed streaming environment. Finally, the experimental results confirmed the functionality of proposed method.Διπλωματική Εργασία που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολ. Κρήτης για την πλήρωση προϋποθέσεων λήψης του Προπτυχιακού Διπλώματος.http://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνTzimos_Nikolaos_Dip_2023.pdfChania [Greece]Library of TUC2023-05-16application/pdf3.1 MBfree Tzimos Nikolaos Τζημος Νικολαος Deligiannakis Antonios Δεληγιαννακης Αντωνιος Garofalakis Minos Γαροφαλακης Μινως Samoladas Vasilis Σαμολαδας Βασιλης Πολυτεχνείο Κρήτης Technical University of Crete Bayesian Networks Naive Bayes Classifiers Functional Geometric Monitoring Approximate Distributed Counters Maximum Likelihood Estimate Joint Probability Distribution Apache Flink