Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Επιτάχυνση διαδικασιών βαθιάς ενισχυτικής μάθησης μέσω μίμησης

Papathanasiou Theodoros

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/668C47FF-2EC6-4DDA-BD5A-9CF6B3A7BF5D-
Αναγνωριστικόhttps://doi.org/10.26233/heallink.tuc.84657-
Γλώσσαen-
Μέγεθος55 pagesen
ΤίτλοςAccelerating deep reinforcement learning via imitationen
ΤίτλοςΕπιτάχυνση διαδικασιών βαθιάς ενισχυτικής μάθησης μέσω μίμησηςel
ΔημιουργόςPapathanasiou Theodorosen
ΔημιουργόςΠαπαθανασιου Θεοδωροςel
Συντελεστής [Επιβλέπων Καθηγητής]Chalkiadakis Georgiosen
Συντελεστής [Επιβλέπων Καθηγητής]Χαλκιαδακης Γεωργιοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Bletsas Aggelosen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Μπλετσας Αγγελοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Samoladas Vasilisen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Σαμολαδας Βασιληςel
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠεριγραφήΔιπλωματική εργασίαel
ΠερίληψηImitation has evolved in nature as an advanced behavioural tool for knowledge transfer between individuals. It can be observed in most of the higher intelligence life forms such as members of the simian (monkeys & apes), delphinidae (dolphins) and corvus (crows, ravens, jackdows) groups. Its advantages over instinctual acting and habituation can be seen in the vast success of the animals capable of imitation learning, throughout the world's ecosystems. In machine learning mimicry and imitation have been implemented in the form of supervised learning, and have been used in reinforcement learning through explicit imitation techniques. Implicit imitation has been also tested as an alternative to direct knowledge transfer in single and multiagent systems in order to accelerate individual agent learning rates by use of extracted experiences from previous sessions or other cooperative agents. Even though these techniques have achieved promising results, they have not to date taken advantage of the recent success of neural networks and deep learning. In this thesis, we propose the application of implicit imitation on model-free, deep reinforcement learning techniques in order to speed up the learning stages of the respective agents. Briefly, by extracting experience from a mentor agent and augmenting the Bellman backups of another agent to benefit from this experience, we manage to provide a way of guidance. The observer decides whether to trust or disregard that information based on a confidence testing mechanism. We test our model on a DQN variant in classic control environments and demonstrate accelerated learning via our experiments. Though we limit our tests to one deep learning algorithm and simple settings, we comment on extensions of our model to other agents and more complex environments.en
ΠερίληψηΗ μίμηση έχει εξελιχθεί στο φυσικό περιβάλλον ως προηγμένο συμπεριφορικό εργαλείο για τη μεταφορά γνώσης μεταξύ οργανισμών. Μπορεί να παρατηρηθεί στις περισσότερες μορφές ζωής με υψηλότερα επίπεδα νοημοσύνης όπως στα μέλη των ομάδων simian (πρωτεύοντα, πίθηκοι), delphinidae (δελφίνια) και corvus (κοράκια, κίσσες). Τα πλεονεκτήματά της έναντι της ενστικτώδους δράσης μπορούν να παρατηρηθούν στην ξεκάθαρη επιτυχία των οργανισμών ικανών για μιμητική μάθηση σε όλα τα οικοσυστήματα του κόσμου. Στη μηχανική μάθηση, η μίμηση έχει υλοποιηθεί με τη μορφή εποπτευόμενης μάθησης και έχει χρησιμοποιηθεί στην ενισχυτική μάθηση μέσω τεχνικών απευθείας μίμησης. Επιπρόσθετα, η έμμεση μίμηση έχει δοκιμαστεί ως εναλλακτική μέθοδος άμεσης μεταφοράς γνώσης τόσο σε μονοπρακτορικά όσο και σε πολυπρακτορικά συστήματα, με σκοπό την επιτάχυνση του ρυθμού εκπαίδευσης των πρακτόρων μέσω της χρήσης εμπειριών από προηγούμενες συνεδρίες ή άλλους πράκτορες. Παρόλο που οι τεχνικές αυτές έχουν παρουσιάσει πληθώρα υποσχόμενων αποτελεσμάτων, μέχρι σήμερα δεν έχουν επωφεληθεί από την πρόσφατη επιτυχία των τεχνητών νευρωνικών δικτύων και της βαθιάς μάθησης. Σε αυτή τη διπλωματική εργασία, προτείνουμε την εφαρμογή εμμέσου μίμησης σε τεχνικές βαθιάς ενισχυτικής μάθησης χωρίς μοντέλο προκειμένου να επιταχυνθούν τα στάδια εκπαίδευσης των αντίστοιχων πρακτόρων. Εν συντομία, εξάγοντας την υπάρχουσα εμπειρία από έναν πράκτορα- μέντορα και μεταλλάσσοντας τις εξισώσεις Bellman ενός άλλου πράκτορα-παρατηρητή ώστε να μπορεί να επωφεληθεί από αυτή, καταφέρνουμε να προσφέρουμε έναν τρόπο καθοδήγησης της εκπαίδευσης. Ο πράκτορας-παρατηρητής αποφασίζει εάν θα εμπιστευτεί ή θα αγνοήσει τις πληροφορίες αυτές βάσει ενός μηχανισμού ελέγχου εμπιστοσύνης. Μέσω των πειραμάτων μας δοκιμάζουμε το μοντέλο μας σε μία παραλλαγή του αλγορίθμου DQN σε κλασικά περιβάλλοντα ελέγχου και παρουσιάζουμε επιταχυμένα επίπεδα μάθησης. Αν και περιορίζουμε τις δοκιμές μας σε έναν μόνο αλγόριθμο βαθιάς μάθησης και σε απλά περιβάλλοντα, σχολιάζουμε τις επεκτάσεις του μοντέλου μας σε άλλους πράκτορες και πιο πολύπλοκα περιβάλλοντα.el
ΤύποςΔιπλωματική Εργασίαel
ΤύποςDiploma Worken
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by-sa/4.0/en
Ημερομηνία2020-02-24-
Ημερομηνία Δημοσίευσης2020-
Θεματική ΚατηγορίαDeep reinforcement learningen
Θεματική ΚατηγορίαImitation learningen
Θεματική ΚατηγορίαArtificial intelligenceen
Βιβλιογραφική ΑναφοράTheodoros Papathanasiou, "Accelerating deep reinforcement learning via imitation", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2020en
Βιβλιογραφική ΑναφοράΘεόδωρος Παπαθανασίου, "Επιτάχυνση διαδικασιών βαθιάς ενισχυτικής μάθησης μέσω μίμησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2020el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά