![Ιδρυματικό Αποθετήριο [SANDBOX]](images/dias.logo.png "Ιδρυματικό Αποθετήριο [SANDBOX]"){kind=logo}
Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/EE780EDB-C5F7-426E-9658-94972C9F7407 | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.80191 | - |
| Γλώσσα | en | - |
| Μέγεθος | 71 pages | en |
| Τίτλος | Modelling error gradients in deep learning methods using reconfigurable hardware | en |
| Τίτλος | Μοντελοποίηση σφαλμάτων κλίσης σε μεθόδους βαθιάς εκμάθησης χρησιμοποιώντας αναδιατασσόμενο υλικό | el |
| Δημιουργός | Fragiadakis-Theodorouleas Michail | en |
| Δημιουργός | Φραγκιαδακης-Θεοδωρουλεας Μιχαηλ | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Dollas Apostolos | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Δολλας Αποστολος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Παπαευσταθιου Ιωαννης | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Pnevmatikatos Dionysios | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Πνευματικατος Διονυσιος | el |
| Συντελεστής [Βοηθός] | Νικητακης Αντωνιος | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | Κατά τη διάρκεια της διαδικασίας εκμάθησης ενός Νευρωνικού Δικτύου, σημαντικός όγκος πόρων παραμένει αχρησιμοποίητος, εξαιτίας εξαρτήσεων πληροφορίας, περιμένοντας την ολοκλήρωση του υπολογισμού της εξόδου και της όπισθεν διάδοσης του λάθους. Οι “Αποσυζευγμένες” (μη συζευγμένες) Νευρωνικές Διεπαφές (Decoupled Neural Interfaces) με χρήση μοντελοποίησης κλίσης σφάλματος έχουν προταθεί για να ξεπεράσουν αυτό το εμπόδιο, επιτρέποντας σε κάθε επίπεδο να ενημερώνεται προτού η όπισθεν διάδοση ολοκληρωθεί, ώστε να του γνωστοποιηθεί η πραγματική κλίση σφάλματος. Σε αυτή την διπλωματική εργασία εξετάζουμε την παραλληλοποίηση των διεργασιών των αποσυζευγμένων νευρωνικών διεπαφών κατά την υλοποίησή τους σε Field Programmable Gate Arrays, διατάξεις που μπορούν να μειώσουν τον χρόνο εκμάθησης, όπως επίσης και την επίδραση των αποδεσμευμένων νευρωνικών διεπαφών όσον αφορά την ικανότητα εκμάθησης και ακρίβειας του δικτύου. Η συνεισφορά της παρούσας εργασίας είναι: - Η ενσωμάτωση της μοντελοποίησης κλίσης σφάλματος δεν έχει αρνητική επίπτωση στην ακρίβεια και στην ικανότητα αναπαράστασης. - Η προσθήκη της μοντελοποίησης κλίσης σφάλματος προκαλεί την προσθήκη θορύβου στο σφάλμα εκμάθησης το οποίο έχει ως αποτέλεσμα την κανονικοποίηση του. Αυτό είναι ευεργετικό για την διαδικασία εκμάθησης, καθώς διευρύνει την εξερεύνηση του χώρου σφάλματος, μειώνει το σφάλμα γενίκευσης του νευρωνικού δικτύου και αποτρέπει τον περιορισμό στη λύση των δεδομένων εκμάθησης (overfitting). - Η μοντελοποίηση κλίσης σφάλματος μπορεί να πετύχει μείωση του χρόνου εκμάθησης μόνο υπό συγκεκριμένες συνθήκες. - Ο συνδυασμός της μοντελοποίησης με την πραγματική κλίση σφάλματος αυξάνει τον αριθμό ενημερώσεων διόρθωσης σφάλματος των νευρωνικών επιπέδων και επιταχύνει τον ρυθμό σύγκλισης σφάλματος. - Παρόλο του ότι ο συνδυασμός μοντελοποίησης και πραγματικής κλίσης σφάλματος αυξάνει τον χρόνο ανά κύκλο εκμάθησης, ο συνολικός χρόνος εκμάθησης μειώνεται, εξαιτίας του υψηλότερου ρυθμού σύγκλισης σφάλματος. | el |
| Περίληψη | During the training process of a Neural Network there is significant amount of resources that remains unused due to data dependencies, waiting for the forward pass and the error backpropagation to complete. Decoupled neural interfaces using gradient error modelling were introduced in order to overcome this pitfall allowing each layer to be updated before the backpropagation is complete and it is provided with the error gradient. In this diploma thesis we examine the parallelisation of decoupled neural interfaces operations when implemented on Field Programmable Gate Array (FPGA), configurations that can decrease training time as well as the effects of decoupled neural interfaces regarding the training ability and the accuracy of the network. In this thesis we adjudge that: Integration of synthetic gradient error does not have negative effect in accuracy and representational strength. The addition of synthetic gradient error causes the addition of noise in the training error which results in training error regularisation. This is beneficial for the training process as it broadens the exploration of error space, decreases the generalisation error of the neural network and prevents from overfitting the training dataset. Synthetic gradient error modeling can accomplish decrease of training time only in particular cases. The combination of synthetic and true gradient error increases the number of neural layers error correction updates and accelerate the convergence rate of the training error. Despite the fact that the combination of synthetic and true gradient error increases the training pass latency, the overall training time can decrease due to the higher error convergence rate. | en |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2019-01-08 | - |
| Ημερομηνία Δημοσίευσης | 2018 | - |
| Θεματική Κατηγορία | Neural networks | en |
| Βιβλιογραφική Αναφορά | Michail Fragiadakis-Theodorouleas, "Modelling error gradients in deep learning methods using reconfigurable hardware", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2018 | en |
| Βιβλιογραφική Αναφορά | Μιχαήλ Φραγκιαδάκης-Θεοδωρουλέας, "Μοντελοποίηση σφαλμάτων κλίσης σε μεθόδους βαθιάς εκμάθησης χρησιμοποιώντας αναδιατασσόμενο υλικό", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2018 | el |
Copyright © DIAS 2013
