Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Design space exploration of hardware accelerated continual learning methods in convolutional neural networks

Perakis Emmanouil

Simple record


URIhttp://purl.tuc.gr/dl/dias/391F6EEB-5AC3-4516-8E11-AFF78905339F-
Identifierhttps://doi.org/10.26233/heallink.tuc.97559-
Languageen-
Extent125 pagesen
Extent8.4 megabytesen
TitleDesign space exploration of hardware accelerated continual learning methods in convolutional neural networksen
TitleΕξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware) el
CreatorPerakis Emmanouilen
CreatorΠερακης Εμμανουηλel
Contributor [Thesis Supervisor]Dollas Apostolosen
Contributor [Thesis Supervisor]Δολλας Αποστολοςel
Contributor [Committee Member]Lagoudakis Michailen
Contributor [Committee Member]Λαγουδακης Μιχαηλel
Contributor [Committee Member]Τσαγκατάκης Γρηγόριοςel
Contributor [Committee Member]Tsagkatakis Grigoriosen
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryArtificial Intelligence (AI) and Machine Learning (ML) have seen indisputable advancements over the years, spanning a large number of branches from medicine and industry related machinery to data analytics and Internet of Things. One way in which Machine Learning on the edge falters is to learn from new, never before seen data, without having access to the previous data. If left as it is, trying to learn new classes results in catastrophic forgetting. By training a classifier that is separated from the network's parameters the model can learn new tasks without forgetting previously learned ones, and do this at inference time. This is where Continual Learning, and more importantly to this thesis, Streaming Linear Discriminant Analysis comes into play. In this thesis, an accelerator for the previously mentioned method was fully implemented and downloaded on an Field Programmable Gate Array (FPGA) device and compared to other platforms such as modern CPUs and Graphical Processing Units (GPUs). This accelerator results in fixed point latency that is two orders of magnitude smaller than even GPUs and hundrends of times more energy efficient. The floating point latency speedup is a lot smaller but still comparable to modern devices, while retaining the energy efficiency.en
Content SummaryΗ Τεχνητή Νοημοσύνη (ΤΝ) και η Μηχανική Μάθηση (ΜΜ) έχουν δει αναμφισβήτητη πρόοδο τα τελευταία χρόνια, βρίσκοντας χρήση σε διάφορους κλάδους από την ιατρική και τα μηχανήματα που χρησιμοποιούνται στη βιομηχανία μέχρι την Ανάλυση Δεδομένων και το Διαδίκτυο των Πραγμάτων (IoT). Ένας τρόπος με τον οποίο η Μηχανική Μάθηση στην άκρη αποτυγχάνει είναι το να μάθει από νέα, πρωτοφανή δεδομένα, χωρίς να έχει πρόσβαση σε προηγούμενα δεδομένα. Αν μέινει όπως είναι, τότε η προσπάθεια εκμάθησης νέων κλάσεων οδηγεί σε ένα φαινόμενο που ονομάζεται καταστροφική λήθη. Εκπαιδεύοντας ένας ταξινομητή ο οποίος είναι διαχωρισμένος από τις παραμέτρους ενός δικτύου το μοντέλο μπορεί να μάθει νέες εργασίες χωρίς να ξεχνάει τις προηγούμενες, και όλα αυτά σε χρόνο συμπερασμού. Εδώ είναι που "εισέρχεται στην εξίσωση" η Συνεχής Μάθηση, και σημαντικότερα για τη συγκεκριμένη διατριβή, η Εισρέουσα Γραμμική Διακριτική Ανάλυση. Σε αυτή τη διατριβή ένας επιταχυντής για την προαναφερθείσα μέθοδο υλοποιήθηκε και κατέβηκε σε συσκευή Προγραμματιζόμενη Συστοιχία Πυλών Πεδίου και συγρίθηκε με άλλες πλατφόρμες όπως μοντέρνoυς επεξεργαστές και Επξεργαστικές Μονάδες Γραφικών. O επιταχυντής επιτυγχάνει, σε αριθμητική σταθερής υποδιαστολής, καθυστέρηση που είναι δύο τάξεις μεγέθους χαμηλότερη ακόμα και από Επξεργαστικές Μονάδες Γραφικών αλλά ταυτόχρονα είναι εκατοντάδες φορές πιο ενεργειακά αποδοτικός. Η βελτίωση στην καθυστέρηση, σε αριθμητική κινητής υποδιαστολής είναι πολύ μικρότερη αλλά συγκρίσημη με σύγχρονες συσκευές παράλληλα διατηρώντας την ενεργειακή απόδοση.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by-nc/4.0/en
Date of Item2023-10-04-
Date of Publication2023-
SubjectContinual learningen
SubjectAIen
SubjectMachine learningen
SubjectHardwareen
SubjectCNNen
SubjectFPGAen
SubjectHigh level synthesisen
SubjectHardware accelerationen
Bibliographic CitationPerakis Emmanouil, "Design Space Exploration of Hardware Accelerated Continual Learning Methods in Convolutional Neural Networks", Diploma Thesis, Microprocessor and Hardware Lab, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023en
Bibliographic CitationΕμμανουήλ Περάκης, "Εξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware) ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023el

Available Files

Services

Statistics