Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Dendritic application to machine learning

Pinitas Kosmas

Simple record


URIhttp://purl.tuc.gr/dl/dias/43321662-C403-4226-A0E3-83CF6B2EE0AA-
Identifierhttps://doi.org/10.26233/heallink.tuc.90049-
Languageen-
Extent2.6 megabytesen
Extent102 pagesen
TitleDendritic application to machine learningen
TitleΕφαρμογή των ιδιοτήτων των δενδριτών στη μηχανική μάθησηel
CreatorPinitas Kosmasen
CreatorΠινητας Κοσμαςel
Contributor [Committee Member]Dollas Apostolosen
Contributor [Committee Member]Δολλας Αποστολοςel
Contributor [Committee Member]Panayiota Poirazien
Contributor [Committee Member]Παναγιώτα Ποϊράζηel
Contributor [Thesis Supervisor]Zervakis Michailen
Contributor [Thesis Supervisor]Ζερβακης Μιχαηλel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
DescriptionΔιπλωματική εργασία που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολυτεχνείου Κρήτης για τη πλήρωση προϋποθέσεων λήψης Διπλώματος Μηχανικού el
Content SummaryThe current deep learning architectures achieve remarkable performance when trained in large-scale controlled datasets. However, the predictive ability of these architectures significantly decreases when learning new classes incrementally due to their inclination to forget the knowledge acquired from previously seen data, also called catastrophic-forgetting. The Self-Organizing Maps can model the input space utilizing constrained-kmeans and thus ensure that the past knowledge is maintained. Hence, we propose the Dendritic-Self-Organizing Map algorithm consisting of a single layer of Self-Organizing Maps, which extract patterns from specific regions of the input space, and an association matrix that estimates the association between units and labels. The best-matching unit of an input pattern is selected using the maximum cosine similarity rule, while the point-wise mutual information is employed for inferencing. Our method performs unsupervised classification since we do not utilize the labels for targeted weight update. Finally, the results indicate that our algorithm outperforms several state-of-the-art continual learning algorithms on benchmark datasets such as the Split-MNIST and Split-CIFAR-10.en
Content SummaryΤα υπάρχοντα μοντέλα βαθιάς μάθησης επιτυγχάνουν αξιοσημείωτη απόδοση όταν εκπαιδεύονται σε μεγάλα σύνολα δεδομένων, Ωστόσο απόδοση των μοντέλων αυτών μειώνεται σημαντικά όταν μαθαίνουν σταδιακά νέες κλάσεις λόγω της τάσης τους να ξεχνούν τις γνώσεις που έχουν αποκτηθεί από προηγούμενα δεδομένα, το φαινόμενο αυτό ονομάζεται καταστροφική λήθη (catastrophic forgetting). Οι Αυτοοργανωτικοί Χάρτες μπορούν να μοντελοποιήσουν τον χώρο εισόδου χρησιμοποιώντας constrained-kmeans διασφαλίζοντας τη διατήρηση των προηγούμενων γνώσεων. Ως εκ τούτου, εισάγουμε τον Δενδριτικό-Αυτοοργανοτικό Χάρτη που αποτελείται από ένα μόνο επίπεδο Χαρτών Αυτοοργάνωσης, οι οποίοι εξάγουν μοτίβα από συγκεκριμένες περιοχές του χώρου εισόδου και ένα πίνακα συσχέτισης που εκτιμά τη συσχέτιση μεταξύ μονάδων και ετικετών. Η μονάδα που ταιριάζει καλύτερα σε ένα μοτίβο εισόδου επιλέγεται με βάση τον κανόνα της μέγιστου συνημιτόνου, ενώ η αμοιβαία πληροφορία χρησιμοποιείται για συμπερασμό. Η μέθοδος μας εκτελεί ταξινόμηση χωρίς επίβλεψη, καθώς δεν γίνεται χρήση των ετικετών κατά την ενημέρωση των διανυσμάτων βάρους των χαρτών. Τα αποτελέσματα υποδεικνύουν ότι ο προτεινόμενος αλγόριθμος υπερτερεί πολλών αλγορίθμων συνεχούς μάθησης στα σύνολα δεδομένων όπως το Split-MNIST και το Split-CIFAR-10.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by/4.0/en
Date of Item2021-08-30-
Date of Publication2021-
SubjectSelf-Organizing mapsen
SubjectUnsupervised classificationen
SubjectLifelong learningen
SubjectIncremental learningen
SubjectContinual learningen
Bibliographic CitationKosmas Pinitas, "Dendritic application to machine learning", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021en
Bibliographic CitationΚοσμάς Πινήτας, "Εφαρμογή των ιδιοτήτων των δενδριτών στη μηχανική μάθηση", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021el

Available Files

Services

Statistics