Dendritic application to machine learningDendritic application to machine learningΕφαρμογή των ιδιοτήτων των δενδριτών στη μηχανική μάθηση Διπλωματική Εργασία Diploma Work 2021-08-302021enThe current deep learning architectures achieve remarkable performance when trained in large-scale controlled datasets. However, the predictive ability of these architectures significantly decreases when learning new classes incrementally due to their inclination to forget the knowledge acquired from previously seen data, also called catastrophic-forgetting. The Self-Organizing Maps can model the input space utilizing constrained-kmeans and thus ensure that the past knowledge is maintained. Hence, we propose the Dendritic-Self-Organizing Map algorithm consisting of a single layer of Self-Organizing Maps, which extract patterns from specific regions of the input space, and an association matrix that estimates the association between units and labels. The best-matching unit of an input pattern is selected using the maximum cosine similarity rule, while the point-wise mutual information is employed for inferencing. Our method performs unsupervised classification since we do not utilize the labels for targeted weight update. Finally, the results indicate that our algorithm outperforms several state-of-the-art continual learning algorithms on benchmark datasets such as the Split-MNIST and Split-CIFAR-10.Τα υπάρχοντα μοντέλα βαθιάς μάθησης επιτυγχάνουν αξιοσημείωτη απόδοση όταν εκπαιδεύονται σε μεγάλα σύνολα δεδομένων, Ωστόσο απόδοση των μοντέλων αυτών μειώνεται σημαντικά όταν μαθαίνουν σταδιακά νέες κλάσεις λόγω της τάσης τους να ξεχνούν τις γνώσεις που έχουν αποκτηθεί από προηγούμενα δεδομένα, το φαινόμενο αυτό ονομάζεται καταστροφική λήθη (catastrophic forgetting). Οι Αυτοοργανωτικοί Χάρτες μπορούν να μοντελοποιήσουν τον χώρο εισόδου χρησιμοποιώντας constrained-kmeans διασφαλίζοντας τη διατήρηση των προηγούμενων γνώσεων. Ως εκ τούτου, εισάγουμε τον Δενδριτικό-Αυτοοργανοτικό Χάρτη που αποτελείται από ένα μόνο επίπεδο Χαρτών Αυτοοργάνωσης, οι οποίοι εξάγουν μοτίβα από συγκεκριμένες περιοχές του χώρου εισόδου και ένα πίνακα συσχέτισης που εκτιμά τη συσχέτιση μεταξύ μονάδων και ετικετών. Η μονάδα που ταιριάζει καλύτερα σε ένα μοτίβο εισόδου επιλέγεται με βάση τον κανόνα της μέγιστου συνημιτόνου, ενώ η αμοιβαία πληροφορία χρησιμοποιείται για συμπερασμό. Η μέθοδος μας εκτελεί ταξινόμηση χωρίς επίβλεψη, καθώς δεν γίνεται χρήση των ετικετών κατά την ενημέρωση των διανυσμάτων βάρους των χαρτών. Τα αποτελέσματα υποδεικνύουν ότι ο προτεινόμενος αλγόριθμος υπερτερεί πολλών αλγορίθμων συνεχούς μάθησης στα σύνολα δεδομένων όπως το Split-MNIST και το Split-CIFAR-10.Διπλωματική εργασία που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολυτεχνείου Κρήτης για τη πλήρωση προϋποθέσεων λήψης Διπλώματος Μηχανικού http://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνPinitas_Kosmas_Dip_2021.pdfChania [Greece]Library of TUC2021-08-27application/pdf2.6 MBfree Pinitas Kosmas Πινητας Κοσμας Dollas Apostolos Δολλας Αποστολος Panayiota Poirazi Παναγιώτα Ποϊράζη Zervakis Michail Ζερβακης Μιχαηλ Πολυτεχνείο Κρήτης Technical University of Crete Self-Organizing maps Unsupervised classification Lifelong learning Incremental learning Continual learning