Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Εξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware)

Perakis Emmanouil

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/391F6EEB-5AC3-4516-8E11-AFF78905339F-
Αναγνωριστικόhttps://doi.org/10.26233/heallink.tuc.97559-
Γλώσσαen-
Μέγεθος125 pagesen
Μέγεθος8.4 megabytesen
ΤίτλοςDesign space exploration of hardware accelerated continual learning methods in convolutional neural networksen
ΤίτλοςΕξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware) el
ΔημιουργόςPerakis Emmanouilen
ΔημιουργόςΠερακης Εμμανουηλel
Συντελεστής [Επιβλέπων Καθηγητής]Dollas Apostolosen
Συντελεστής [Επιβλέπων Καθηγητής]Δολλας Αποστολοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Lagoudakis Michailen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Λαγουδακης Μιχαηλel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Τσαγκατάκης Γρηγόριοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Tsagkatakis Grigoriosen
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠερίληψηArtificial Intelligence (AI) and Machine Learning (ML) have seen indisputable advancements over the years, spanning a large number of branches from medicine and industry related machinery to data analytics and Internet of Things. One way in which Machine Learning on the edge falters is to learn from new, never before seen data, without having access to the previous data. If left as it is, trying to learn new classes results in catastrophic forgetting. By training a classifier that is separated from the network's parameters the model can learn new tasks without forgetting previously learned ones, and do this at inference time. This is where Continual Learning, and more importantly to this thesis, Streaming Linear Discriminant Analysis comes into play. In this thesis, an accelerator for the previously mentioned method was fully implemented and downloaded on an Field Programmable Gate Array (FPGA) device and compared to other platforms such as modern CPUs and Graphical Processing Units (GPUs). This accelerator results in fixed point latency that is two orders of magnitude smaller than even GPUs and hundrends of times more energy efficient. The floating point latency speedup is a lot smaller but still comparable to modern devices, while retaining the energy efficiency.en
ΠερίληψηΗ Τεχνητή Νοημοσύνη (ΤΝ) και η Μηχανική Μάθηση (ΜΜ) έχουν δει αναμφισβήτητη πρόοδο τα τελευταία χρόνια, βρίσκοντας χρήση σε διάφορους κλάδους από την ιατρική και τα μηχανήματα που χρησιμοποιούνται στη βιομηχανία μέχρι την Ανάλυση Δεδομένων και το Διαδίκτυο των Πραγμάτων (IoT). Ένας τρόπος με τον οποίο η Μηχανική Μάθηση στην άκρη αποτυγχάνει είναι το να μάθει από νέα, πρωτοφανή δεδομένα, χωρίς να έχει πρόσβαση σε προηγούμενα δεδομένα. Αν μέινει όπως είναι, τότε η προσπάθεια εκμάθησης νέων κλάσεων οδηγεί σε ένα φαινόμενο που ονομάζεται καταστροφική λήθη. Εκπαιδεύοντας ένας ταξινομητή ο οποίος είναι διαχωρισμένος από τις παραμέτρους ενός δικτύου το μοντέλο μπορεί να μάθει νέες εργασίες χωρίς να ξεχνάει τις προηγούμενες, και όλα αυτά σε χρόνο συμπερασμού. Εδώ είναι που "εισέρχεται στην εξίσωση" η Συνεχής Μάθηση, και σημαντικότερα για τη συγκεκριμένη διατριβή, η Εισρέουσα Γραμμική Διακριτική Ανάλυση. Σε αυτή τη διατριβή ένας επιταχυντής για την προαναφερθείσα μέθοδο υλοποιήθηκε και κατέβηκε σε συσκευή Προγραμματιζόμενη Συστοιχία Πυλών Πεδίου και συγρίθηκε με άλλες πλατφόρμες όπως μοντέρνoυς επεξεργαστές και Επξεργαστικές Μονάδες Γραφικών. O επιταχυντής επιτυγχάνει, σε αριθμητική σταθερής υποδιαστολής, καθυστέρηση που είναι δύο τάξεις μεγέθους χαμηλότερη ακόμα και από Επξεργαστικές Μονάδες Γραφικών αλλά ταυτόχρονα είναι εκατοντάδες φορές πιο ενεργειακά αποδοτικός. Η βελτίωση στην καθυστέρηση, σε αριθμητική κινητής υποδιαστολής είναι πολύ μικρότερη αλλά συγκρίσημη με σύγχρονες συσκευές παράλληλα διατηρώντας την ενεργειακή απόδοση.el
ΤύποςΔιπλωματική Εργασίαel
ΤύποςDiploma Worken
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by-nc/4.0/en
Ημερομηνία2023-10-04-
Ημερομηνία Δημοσίευσης2023-
Θεματική ΚατηγορίαContinual learningen
Θεματική ΚατηγορίαAIen
Θεματική ΚατηγορίαMachine learningen
Θεματική ΚατηγορίαHardwareen
Θεματική ΚατηγορίαCNNen
Θεματική ΚατηγορίαFPGAen
Θεματική ΚατηγορίαHigh level synthesisen
Θεματική ΚατηγορίαHardware accelerationen
Βιβλιογραφική ΑναφοράPerakis Emmanouil, "Design Space Exploration of Hardware Accelerated Continual Learning Methods in Convolutional Neural Networks", Diploma Thesis, Microprocessor and Hardware Lab, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023en
Βιβλιογραφική ΑναφοράΕμμανουήλ Περάκης, "Εξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware) ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά