Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Large Scale Design and Implementation of Convolutional Neural Networks based on Large FPGA Arrays

Loukas Charisios

Simple record


URIhttp://purl.tuc.gr/dl/dias/8AE197A1-C96B-441E-80C5-7E93C9F29EE4-
Identifierhttps://doi.org/10.26233/heallink.tuc.84315-
Languageen-
Extent87 pagesel
TitleLarge Scale Design and Implementation of Convolutional Neural Networks based on Large FPGA Arraysen
TitleΣχεδίαση και υλοποίηση μεγάλης κλίμακας CNN βασισμένων σε ευρείας κλίμακας συστήματα αναδιατασσόμενης λογικής el
CreatorLoukas Charisiosen
CreatorΛουκας Χαρισιοςel
Contributor [Thesis Supervisor]Dollas Apostolosen
Contributor [Thesis Supervisor]Δολλας Αποστολοςel
Contributor [Committee Member]Zervakis Michailen
Contributor [Committee Member]Ζερβακης Μιχαηλel
Contributor [Committee Member]Koutroulis Eftychiosen
Contributor [Committee Member]Κουτρουλης Ευτυχιοςel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryAn international race towards the development of the first exascale supercomputer during the past few years, has created a demand for applications that require comparable amounts of computational work. The superior performance and power consumption that hardware accelerators can achieve, renders their use on such applications inevitable. Convolutional Neural Networks constitute a prime example of a computationally intensive and highly parallelizable system, whose performance can increase significantly, when implemented as such an accelerator, as recent work has shown. This study inherits the hardware accelerator design of a CNN developed by G. Pitsis and attempts to scale it, both horizontally, by incorporating it into the ExaNeSt designs and allowing its use on the QFDB multi-FPGA prototype board, and vertically, by fixing issues with a version of the design that increases the batch size. It also applies a recently published dropout technique on the hardware accelerator at prediction time, demonstrating the capability of trading computational power for increased confidence in the results of the network. The boards used for the purposes of this thesis are the Xilinx ZCU102 and the QFDB, a 4-FPGA prototype board developed in FORTH.en
Content SummaryΗ διεθνής προσπάθεια για την ανάπτυξη του πρώτου υπερυπολογιστή με δυνατότητα εκτέλεσης πράξεων κλίμακας ενός πεντάκις εκατομμυρίου, έχει δημιουργήσει ζήτηση για εφαρμογές που απαιτούν αντίστοιχο υπολογιστικό φόρτο για την εκτέλεση τους. Η υπερέχουσα επίδοση και κατανάλωση ενέργειας που επιτυγχάνουν οι επιταχυντές υλικού, καθιστά την χρήση τους σε τέτοιες εφαρμογές αναπόφευκτη. Τα Συνελικτικά Νευρωνικά Δίκτυα αποτελούν άριστο παράδειγμα ενός υπολογιστικά εντατικού και άκρως παραλληλοποιήσιμου συστήματος, του οποίου η επίδοση βελτιώνεται σημαντικά, με τη υλοποίηση του σαν επιταχυντή υλικού, όπως έχουν δείξει πρόσφατη βιβλιογραφία. Η παρούσα δουλειά κληρονομεί την σχεδίαση υλικού του επιταχυντή ενός ΣΝΔ, υλοποιημένη από τον Α. Γ. Πίτση και επιχειρεί να την κλιμακώσει, τόσο οριζοντίως, με την ενσωμάτωση της στις σχεδιάσεις του ερευνητικού προγράμματος ExaNeSt και χρήση στην πρωτότυπη πλατφόρμα QFDB, όσο και καθέτως, με την αποσφαλμάτωση μιας εκδοχής της σχεδίασης που αυξάνει τον αριθμό δεσμίδων δεδομένων της εισόδου. Επιπλέον, εφαρμόζουμε μια προσφάτως δημοσιευμένη τεχνική απενεργοποίησης νευρώνων κατά τη διάρκεια της εκτέλεσης του δικτύου, επιδεικνύοντας της δυνατότητα βελτίωσης της εμπιστοσύνης στα αποτελέσματα του δικτύου, θυσιάζοντας επεξεργαστική ισχύ. Οι πλατφόρμες που χρησιμοποιήθηκαν στα πλαίσια αυτής της διπλωματικής εργασίας ήταν οι ZCU102 της Xilinx και το QFDB, το πρωτότυπο που αναπτύχθηκε από το ΙΤΕ.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by-nc-sa/4.0/en
Date of Item2020-01-20-
Date of Publication2020-
SubjectHPCen
SubjectQFDBen
SubjectCNNen
Bibliographic CitationCharisios Loukas, "Large Scale Design and Implementation of Convolutional Neural Networks based on Large FPGA Arrays", Diploma Thesis, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2020en
Bibliographic CitationΧαρίσιος Λούκας, "Σχεδίαση και υλοποίηση μεγάλης κλίμακας CNN βασισμένων σε ευρείας κλίμακας συστήματα αναδιατασσόμενης λογικής ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2020el

Available Files

Services

Statistics