Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Distributed training of recurrent neural networks by FGM protocol

Balampanis Ilias

Simple record

URIhttp://purl.tuc.gr/dl/dias/E93A906F-856D-4D07-8B71-93114448146E-
Identifierhttps://doi.org/10.26233/heallink.tuc.86833-
Languageen-
Extent62 pagesen
TitleDistributed training of recurrent neural networks by FGM protocolen
TitleΚατανεμημένη εκπαίδευση αναδρομικών νευρωνικών δικτύων με την χρήση γεωμετρικής μεθόδουel
CreatorBalampanis Iliasen
CreatorΜπαλαμπανης Ηλιαςel
Contributor [Thesis Supervisor]Samoladas Vasilisen
Contributor [Thesis Supervisor]Σαμολαδας Βασιληςel
Contributor [Committee Member]Deligiannakis Antoniosen
Contributor [Committee Member]Δεληγιαννακης Αντωνιοςel
Contributor [Committee Member]Lagoudakis Michailen
Contributor [Committee Member]Λαγουδακης Μιχαηλel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryArtificial Neural Networks are appealing because they learn by example and are strongly supported by statistical and optimization theories. The usage of recurrent neural networks as identifiers and predictors in nonlinear dynamic systems has increased significantly. They can present a wide range of dynamics, due to feedback and are also flexible nonlinear maps. Based on this, there is a need for distributed training on these networks, because of the enormous datasets. One of the most known protocols for distributed training is the Geometric Monitoring protocol. Our conviction is that this is a very expensive protocol regarding the communication of nodes. Recently, the Functional Geometric Protocol has tested training on Convolutional Neural Networks and has had encouraging results. The goal of this work is to test and compare these two protocols on Recurrent Neural Networks.en
Content SummaryΤα Νευρωνικά Δίκτυα είναι ελκυστικά επειδή μαθαίνουν από τα δεδομένα και υποστηρίζονται έντονα από τις θεωρίες στατιστικής και βελτιστοποίησης. Η χρήση των Αναδρομικών Νευρωνικών Δικτύων για την πρόγνωση σε μη γραμμικά δυναμικά συστήματα έχει αυξηθεί σημαντικά. Αυτά έχουν την δυνατότητα να παρουσιάσουν ένα ευρύ φάσμα δυναμικής, λόγω της ανατροφοδότησης στην αρχιτεκτονικής τους. Βασιζόμενοι σε αυτό, προκύπτει η ανάγκη για κατανεμημένη εκπαίδευση σε αυτά τα δίκτυα, λόγω των τεράστιων δεδομένων. Ένα από τα πιο γνωστά πρωτόκολλα για κατανεμημένη εκπαίδευση είναι το πρωτόκολλο Γεωμετρικής Παρακολούθησης. Η πεποίθησή μας είναι ότι αυτό είναι ένα πολύ ακριβό πρωτόκολλο όσον αφορά την επικοινωνία των κόμβων, όταν το δίκτυο γίνεται όλο και μεγαλύτερο. Πρόσφατα, το Functional Geometric Monitoring πρωτόκολλο έχει δοκιμαστεί στην εκπαίδευση των Συνελικτικών Νευρωνικών Δικτύων και είχε ενθαρρυντικά αποτελέσματα. Ο στόχος αυτής της εργασίας είναι να δοκιμάσει και να συγκρίνει αυτά τα δύο πρωτόκολλα στα Αναδρομικά Νευρωνικά Δίκτυα.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by-sa/4.0/en
Date of Item2020-10-02-
Date of Publication2020-
SubjectRecurrent neural networksen
SubjectFunctional geometric monitoringen
SubjectDistributed training of neural networks en
Bibliographic CitationIlias Balampanis, "Distributed training of recurrent neural networks by FGM protocol", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2020en
Bibliographic CitationΗλίας Μπαλαμπάνης, "Κατανεμημένη εκπαίδευση αναδρομικών νευρωνικών δικτύων με την χρήση γεωμετρικής μεθόδου", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2020el

Available Files

Services

Statistics

 

Copyright © DIAS 2013