Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Μέθοδοι επαύξησης δεδομένων για νευρωνικά δίκτυα Vision Transformer

Georgakilas Christos

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/E7D90BFF-93A5-4DC0-A9D9-92B95EB1FE51-
Αναγνωριστικόhttps://doi.org/10.26233/heallink.tuc.93681-
Γλώσσαen-
Μέγεθος2.4 megabytesen
Μέγεθος40 pagesen
ΤίτλοςData augmentation methods for Vision Transformersen
ΤίτλοςΜέθοδοι επαύξησης δεδομένων για νευρωνικά δίκτυα Vision Transformerel
ΔημιουργόςGeorgakilas Christosen
ΔημιουργόςΓεωργακιλας Χριστοςel
Συντελεστής [Επιβλέπων Καθηγητής]Zervakis Michailen
Συντελεστής [Επιβλέπων Καθηγητής]Ζερβακης Μιχαηλel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Lagoudakis Michailen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Λαγουδακης Μιχαηλel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Κομοντάκης Νίκοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Komodakis Nikosen
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠερίληψηThe Transformer architecture was first introduced in 2017 and has since become the standard for Natural Language Processing tasks, replacing Recurrent Neural Networks. For the first time, in 2021, the Transformer architecture was used with great success for computer vision tasks, proving that a Vision Transformer can, under certain conditions, outperform Convolutional Neural Networks and become the state-of-the-art in image recognition. One of the main challenges being tackled by subsequent work on Vision Transformers is the need of the architecture for humongous amounts of data during pre-training in order to achieve state-of-the-art accuracy on the downstream task. Some works have addressed this by altering or adding parts to the original Vision Transformer architecture while others are using Self-Supervised Learning techniques to take advantage of unlabeled data. This thesis explores data augmentation methods for Vision Transformers with the goal to increase the model’s accuracy and robustness on classification tasks, with limited amounts of data. Our augmentation methods are based on the architecture’s characteristics such as the self-attention mechanism and the input of discrete tokens. All methods are tested for the benchmark classification datasets CIFAR-10 and CIFAR-100 using Supervised Learning and yield great results. When training with the same model hyperparameters, our best augmentation method improves the baseline’s accuracy on CIFAR-10 and CIFAR-100 by 1.98 % and 2.71 % respectively. en
ΤύποςΔιπλωματική Εργασίαel
ΤύποςDiploma Worken
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by/4.0/en
Ημερομηνία2022-10-17-
Ημερομηνία Δημοσίευσης2022-
Θεματική ΚατηγορίαVision Transformersen
Βιβλιογραφική ΑναφοράChristos Georgakilas, "Data augmentation methods for Vision Transformers", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2022en
Βιβλιογραφική ΑναφοράΧρίστος Γεωργακίλας, "Μέθοδοι επαύξησης δεδομένων για νευρωνικά δίκτυα Vision Transformer", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2022el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά