Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Αρχιτεκτονική επιτάχυνσης εκμάθησης σε συνελικτικά νευρωνικά δίκτυα

Flengas Georgios

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/05A0B1B4-517D-4C54-B42C-E1E04D52AB15-
Αναγνωριστικόhttps://doi.org/10.26233/heallink.tuc.99113-
Γλώσσαen-
Μέγεθος3.4 megabytesen
Μέγεθος118 pagesen
ΤίτλοςReconfigurable logic based acceleration of convolutional neural network trainingen
ΤίτλοςΑρχιτεκτονική επιτάχυνσης εκμάθησης σε συνελικτικά νευρωνικά δίκτυαel
ΔημιουργόςFlengas Georgiosen
ΔημιουργόςΦλεγγας Γεωργιοςel
Συντελεστής [Επιβλέπων Καθηγητής]Dollas Apostolosen
Συντελεστής [Επιβλέπων Καθηγητής]Δολλας Αποστολοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Zervakis Michailen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Ζερβακης Μιχαηλel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Tsagkatakis, Grigoriosen
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠεριγραφήΤhesis submitted in fulfilment of the requirements for the diploma of Electrical and Computer Engineering en
Περίληψη In the rapidly evolving landscape of artificial intelligence and machine learning, the intricate nature of neural network architectures, combined with exponential data growth, has intensified the need for advanced computational training. Traditional CPUs and GPUs struggle to meet these demands, prompting exploration into the untapped potential of FPGA-based acceleration. This research introduces an innovative FPGA-tailored hardware architecture for training Convolutional Neural Networks (CNNs), prioritizing optimal accuracy, energy efficiency, and speedup over conventional CPU and GPU systems. Building on prior research, we employ General Matrix Multiply (GEMM) and Image to Column(im2col) implementations, coupled with batch level parallelism. The workload distribution between the CPU and FPGA is intricately balanced, ensuring efficient collaboration, while multiple operations are synergistically combined to streamline computation time and reduce complexity. The integration of state-of-the-art machine learning algorithms with advanced FPGA design tools, including Vitis High-Level Synthesis (HLS), yields tailored IP blocks for each stage of the neural network training process. Our Proposed Platform achieves a notable throughput of 374.32 images per second, surpassing the CPU rate of 258.7 images per second but falls behind GPU with a throughput of 1333.3 images per second, while operating at a significantly lower power consumption of 4.16 Watts (0.011 Joules per image). This positions the Proposed Platform as a leading candidate for energy-efficient neural network training, showcasing a 16.55X energy efficiency gain over CPUs and a 7.75X over GPUs.en
Περίληψη Στον ραγδαία εξελισσόμενο κόσμο της τεχνητής νοημοσύνης και της μηχανικής μάθησης, η πολύπλοκη φύση των αρχιτεκτονικών νευρωνικών δικτύων, σε συνδυασμό με την εκθετική αύξηση των δεδομένων, έχουν αυξήσει τις υπολογιστικές ανάγκες της εκπαίδευσης ενός δικτύου. Οι παραδοσιακές CPU και GPU δυσκολεύονται να ανταποκριθούν τις απαιτήσεις, γεγονός που προτρέπει στη διερεύνηση των αναξιοποίητων δυνατοτήτων της επιτάχυνσης με βάση τις FPGA. Η παρούσα έρευνα εισάγει μια καινοτόμο αρχιτεκτονική υλικού προσαρμοσμένη σε FPGA για την εκπαίδευση Συνελικτικών Νευρωνικών Δικτύων, δίνοντας προτεραιότητα στην βέλτιστη ακρίβεια, στην ενεργειακή απόδοση και στην επιτάχυνση έναντι των συμβατικών συστημάτων CPU και GPU. Βασιζόμενοι σε προηγούμενες έρευνες, αξιοποιούμε υλοποιήσεις General Matrix Multiply και Image to Column, σε συνδυασμό με batch-level παραλληλισμό. Εξισορροπώντας την κατανομή του φορτίου εργασίας μεταξύ CPU και FPGA, εξασφαλίζουμε την αποτελεσματική συνεργασία τους, ενώ συνδυάζοντας πολλαπλές λειτουργίες επιτυγχάνουμε την εξοικονόμηση χρόνου εκτέλεσης και τη μείωση της πολυπλοκότητας. Η ενσωμάτωση αλγορίθμων μηχανικής μάθησης τελευταίας τεχνολογίας με προηγμένα εργαλεία σχεδίασης FPGA, συμπεριλαμβανομένου του Vitis High-Level Synthesis, παράγει προσαρμοσμένα IP blocks για κάθε στάδιο της διαδικασίας εκπαίδευσης του νευρωνικού δικτύου. Η Προτεινόμενη Πλατφόρμα επιτυγχάνει σημαντικό ρυθμό επεξεργασίας 374,32 εικόνων ανά δευτερόλεπτο, υπερβαίνοντας το ρυθμό της CPU των 258,7 εικόνων ανά δευτερόλεπτο αλλά υστερεί σε σχέση με τη GPU που πετυχένει 1333,3 εικόνες ανά δευτερόλεπτο, ενώ λειτουργεί με σημαντικά χαμηλή κατανάλωση ισχύος των 4,16 Watts (0,011 Joules ανά εικόνα). Αυτό την αναδεικνύει ως μια πολύ ανταγωνιστική επιλογή για αποδοτική εκπαίδευση νευρωνικών δικτύων, επιτυγχάνοντας ωφέλεια απόδοσης ενέργειας 16,55× έναντι των CPUs και 7,75× έναντι των GPUs.el
ΤύποςΔιπλωματική Εργασίαel
ΤύποςDiploma Worken
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by/4.0/en
Ημερομηνία2024-03-15-
Ημερομηνία Δημοσίευσης2024-
Θεματική ΚατηγορίαMachine learningen
Θεματική ΚατηγορίαFPGAen
Θεματική ΚατηγορίαCNNen
Θεματική ΚατηγορίαConvolutional neural networksen
Θεματική ΚατηγορίαReconfigurable Logicen
Θεματική ΚατηγορίαCNN training accelerationen
Θεματική ΚατηγορίαConvolutional neural networks trainingen
Θεματική ΚατηγορίαFPGA acceleration of CNN trainingen
Θεματική ΚατηγορίαNeural networken
Θεματική ΚατηγορίαCNN training using FPGAen
Βιβλιογραφική ΑναφοράGeorgios Flengas, "Reconfigurable logic based acceleration of convolutional neural network training", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024en
Βιβλιογραφική ΑναφοράΓεώργιος Φλέγγας, "Αρχιτεκτονική επιτάχυνσης εκμάθησης σε συνελικτικά νευρωνικά δίκτυα", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά