Αναζήτηση

Πλοήγηση

• Κοινότητες
• Συγγραφείς
• Έτος
• Τίτλοι
• Θέματα

Ο Χώρος μου

• Είσοδος

Μοντελοποίηση σφαλμάτων κλίσης σε μεθόδους βαθιάς εκμάθησης χρησιμοποιώντας αναδιατασσόμενο υλικό

Fragiadakis-Theodorouleas Michail

Πλήρης Εγγραφή

---

Περίληψη

Κατά τη διάρκεια της διαδικασίας εκμάθησης ενός Νευρωνικού Δικτύου,σημαντικός όγκος πόρων παραμένει αχρησιμοποίητος, εξαιτίας εξαρτήσεων πληροφορίας,περιμένοντας την ολοκλήρωση του υπολογισμού της εξόδου και της όπισθεν διάδοσης τουλάθους. Οι “Αποσυζευγμένες” (μη συζευγμένες) Νευρωνικές Διεπαφές (Decoupled NeuralInterfaces) με χρήση μοντελοποίησης κλίσης σφάλματος έχουν προταθεί για ναξεπεράσουν αυτό το εμπόδιο, επιτρέποντας σε κάθε επίπεδο να ενημερώνεται προτού ηόπισθεν διάδοση ολοκληρωθεί, ώστε να του γνωστοποιηθεί η πραγματική κλίσησφάλματος.Σε αυτή την διπλωματική εργασία εξετάζουμε την παραλληλοποίηση τωνδιεργασιών των αποσυζευγμένων νευρωνικών διεπαφών κατά την υλοποίησή τους σεField Programmable Gate Arrays, διατάξεις που μπορούν να μειώσουν τον χρόνοεκμάθησης, όπως επίσης και την επίδραση των αποδεσμευμένων νευρωνικών διεπαφώνόσον αφορά την ικανότητα εκμάθησης και ακρίβειας του δικτύου.Η συνεισφορά της παρούσας εργασίας είναι:- Η ενσωμάτωση της μοντελοποίησης κλίσης σφάλματος δεν έχει αρνητική επίπτωσηστην ακρίβεια και στην ικανότητα αναπαράστασης.- Η προσθήκη της μοντελοποίησης κλίσης σφάλματος προκαλεί την προσθήκηθορύβου στο σφάλμα εκμάθησης το οποίο έχει ως αποτέλεσμα τηνκανονικοποίηση του. Αυτό είναι ευεργετικό για την διαδικασία εκμάθησης, καθώςδιευρύνει την εξερεύνηση του χώρου σφάλματος, μειώνει το σφάλμα γενίκευσηςτου νευρωνικού δικτύου και αποτρέπει τον περιορισμό στη λύση των δεδομένωνεκμάθησης (overfitting).- Η μοντελοποίηση κλίσης σφάλματος μπορεί να πετύχει μείωση του χρόνουεκμάθησης μόνο υπό συγκεκριμένες συνθήκες.- Ο συνδυασμός της μοντελοποίησης με την πραγματική κλίση σφάλματος αυξάνειτον αριθμό ενημερώσεων διόρθωσης σφάλματος των νευρωνικών επιπέδων καιεπιταχύνει τον ρυθμό σύγκλισης σφάλματος.- Παρόλο του ότι ο συνδυασμός μοντελοποίησης και πραγματικής κλίσηςσφάλματος αυξάνει τον χρόνο ανά κύκλο εκμάθησης, ο συνολικός χρόνοςεκμάθησης μειώνεται, εξαιτίας του υψηλότερου ρυθμού σύγκλισης σφάλματος.

Διαθέσιμα αρχεία

Υπηρεσίες