Κατευθυνόμενη αναζήτηση του χώρου πολιτικών στην ενισχυτική μάθηση

Rexakis Ioannis

URI	http://purl.tuc.gr/dl/dias/B71794BD-645B-4A9A-977A-FDC713DF4DE3	-
Αναγνωριστικό	https://doi.org/10.26233/heallink.tuc.78690	-
Γλώσσα	en	-
Μέγεθος	187 pages	el
Τίτλος	Directed exploration of policy space in reinforcement learning	en
Τίτλος	Κατευθυνόμενη αναζήτηση του χώρου πολιτικών στην ενισχυτική μάθηση	el
Δημιουργός	Rexakis Ioannis	en
Δημιουργός	Ρεξακης Ιωαννης	el
Συντελεστής [Επιβλέπων Καθηγητής]	Lagoudakis Michail	en
Συντελεστής [Επιβλέπων Καθηγητής]	Λαγουδακης Μιχαηλ	el
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Petrakis Evripidis	en
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Πετρακης Ευριπιδης	el
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Potamianos Alexandros	en
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Ποταμιανος Αλεξανδρος	el
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Chalkiadakis Georgios	en
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Χαλκιαδακης Γεωργιος	el
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Zervakis Michail	en
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Ζερβακης Μιχαηλ	el
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Blekas Konstantinos	en
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Κωνσταντινος Μπλεκας	el
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Vlassis Nikolaos	en
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]	Βλασσης Νικολαος	el
Εκδότης	Πολυτεχνείο Κρήτης	el
Εκδότης	Technical University of Crete	en
Ακαδημαϊκή Μονάδα	Technical University of Crete::School of Electrical and Computer Engineering	en
Ακαδημαϊκή Μονάδα	Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
Περιγραφή	Διατριβή που παρεδόθη για να καλύψει μερικώς τις απαιτήσεις απόκτησης του Διδακτορικού Διπλώματος στη Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών του Πολυτεχνείου Κρήτης	el
Περιγραφή	Dissertation submitted in partial fulfillment of the requirements for the degree of Doctor of Philosophy in the School of Electrical and Computer Engineering of the Technical University of Crete, Greece	en
Περίληψη	Reinforcement learning refers to a broad class of learning problems. Autonomous agents typically try to learn how to achieve their goal solely by interacting with their environment. They perform a trial-and-error search and they receive delayed rewards (or penalties). The challenge is to learn a good or even optimal decision policy, one that maximizes the total long-term reward. A decision policy for an autonomous agent is the knowledge of what to do in any possible state in order to achieve the long-term goal efficiently. Several recent learning approaches within decision making under uncertainty suggest the use of classifiers for the compact (approximate) representation of policies. However, the space of possible policies, even under such structured representations, is huge and must be searched carefully to avoid computationally expensive policy simulations. In this dissertation, our first contribution uncovers policy structure by deriving optimal policies for two standard two-dimensional reinforcement learning domains, namely the Inverted Pendulum and the Mountain Car. We found that optimal policies have significant structure and a high degree of locality, i.e. dominant actions persist over large continuous areas within the state space. This observation provides sufficient justification for the appropriateness of classifiers for approximate policy representation. Our second and main contribution is the proposal of two Directed Policy Search algorithms for the efficient exploration of policy space provided by Support Vector Machines and Relevance Vector Machines. The first algorithm exploits the structure of the classifiers used for policy representation. The second algorithm uses an importance function to rank the states, based on action prevalence. In both approaches, the search over the state space is focused on areas where there is change of action domination. This directed focus on critical parts of the state space iteratively leads to refinement and improvement of the underlying policy and delivers excellent control policies in only a few iterations with a relatively small rollout budget, yielding significant computational time savings. We demonstrate the proposed algorithms and compare them to prior work on three standard reinforcement learning domains: Inverted Pendulum (two-dimensional), Mountain Car (two-dimensional), Acrobot (four-dimensional). Additionally, we demonstrate the scalability of the proposed approaches on the problem of learning how to control a 4-Link, Under-Actuated, Planar Robot, which corresponds to an eight-dimensional problem, well-known in the control theory community. In all cases, the proposed approaches strike a balance between efficiency and effort, yielding sufficiently good policies without excessive steps of learning.	en
Περίληψη	Η ενισχυτική μάθηση αναφέρεται σε μια ευρεία κατηγορία προβλημάτων μάθησης. Οι αυτόνομες οντότητες τυπικά προσπαθούν να μάθουν να επιτυγχάνουν το στόχο τους αποκλειστικά μέσω της αλληλεπίδρασης με το περιβάλλον τους. Κάνουν διερευνητικές προσπάθειες αναζήτησης μέσω δοκιμών και ελέγχων και λαμβάνουν με καθυστέρηση ανταμοιβές (ή ποινές). Η πρόκληση είναι να μάθουν μια ικανοποιητική ή ακόμα και βέλτιστη πολιτική λήψης αποφάσεων, η οποία να μεγιστοποιεί τη συνολική μακροπρόθεσμη ανταμοιβή. Μια πολιτική λήψης αποφάσεων για μια αυτόνομη οντότητα είναι η γνώση του τι πρέπει να κάνει σε κάθε πιθανή κατάσταση προκειμένου να επιτευχθεί αποτελεσματικά ο μακροπρόθεσμος στόχος. Πολλές πρόσφατες προσεγγίσεις μάθησης για τη λήψη αποφάσεων υπό αβεβαιότητα προτείνουν τη χρήση ταξινομητών για την συμπαγή (προσεγγιστική) αναπαράσταση πολιτικών. Ωστόσο, ο χώρος των πιθανών πολιτικών, ακόμα και κάτω από τέτοιες δομημένες αναπαραστάσεις, είναι τεράστιος και πρέπει να αναζητηθεί προσεκτικά για να αποφευχθούν υπολογιστικά ακριβές προσομοιώσεις πολιτικών. Σε αυτή τη διατριβή, η πρώτη μας συμβολή σχετίζεται με την ανίχνευση δομής σε βέλτιστες πολιτικές. Εξετάσαμε βέλτιστες πολιτικές για δύο βασικά πεδία ενισχυτικής μάθησης δύο διαστάσεων, το Inverted Pendulum και το Mountain Car. Διαπιστώσαμε ότι οι βέλτιστες πολιτικές τους έχουν σημαντική δομή και υψηλό βαθμό τοπικότητας, δηλαδή οι κυρίαρχες ενέργειες παραμένουν ίδιες σε μεγάλες συνεχείς περιοχές εντός του χώρου καταστάσεων. Η παρατήρηση αυτή παρέχει επαρκή αιτιολόγηση για την καταλληλότητα των ταξινομητών για προσεγγιστική αναπαράσταση πολιτικών. Η δεύτερη και κύρια συμβολή μας είναι η πρόταση δύο αλγορίθμων για την κατευθυνόμενη αναζήτηση του χώρου πολιτικών με τη χρήση των ταξινομητών SVM και RVM. Ο πρώτος αλγόριθμος εκμεταλλεύεται τη δομή των ταξινομητών που χρησιμοποιούνται για την αναπαράσταση της πολιτικής. Ο δεύτερος αλγόριθμος χρησιμοποιεί μια συνάρτηση σημαντικότητας των καταστάσεων, βάσει της επικράτησης των ενεργειών. Και στις δύο προσεγγίσεις, η αναζήτηση στον χώρο καταστάσεων επικεντρώνεται σε περιοχές όπου υπάρχει αλλαγή κυρίαρχης ενέργειας. Αυτή η κατευθυνόμενη εστίαση σε κρίσιμα τμήματα του χώρου καταστάσεων οδηγεί επαναληπτικά σε εκλέπτυνση και βελτίωση της τρέχουσας πολιτικής. Λίγες μόνο επαναλήψεις αρκούν για την παραγωγή εξαιρετικών πολιτικών με σχετικά χαμηλό αριθμό προσομοιώσεων, καταλήγοντας σε σημαντική εξοικονόμηση χρόνου. Παρουσιάζουμε τους προτεινόμενους αλγόριθμους και τους συγκρίνουμε με τις προηγούμενες εργασίες σε τρία βασικά πεδία μελέτης της ενισχυτικής μάθησης: Inverted Pendulum (δύο διαστάσεων), Mountain Car (δύο διαστάσεων) και Acrobot (τεσσάρων διαστάσεων). Επιπροσθέτως, επιδεικνύουμε την επεκτασιμότητα των προτεινόμενων προσεγγίσεων στο πρόβλημα της μάθησης για τον έλεγχο ενός 4-Link Planar Robot, το οποίο αντιστοιχεί σε ένα πρόβλημα οκτώ διαστάσεων, γνωστό στην κοινότητα της θεωρίας ελέγχου. Σε όλες τις περιπτώσεις, οι προτεινόμενες προσεγγίσεις επιτυγχάνουν μια ισορροπία μεταξύ αποτελεσματικότητας και προσπάθειας, αποδίδοντας επαρκώς καλές πολιτικές σε σύντομο χρονικό διάστημα, χωρίς υπερβολικό αριθμό βημάτων μάθησης.	el
Τύπος	Διδακτορική Διατριβή	el
Τύπος	Doctoral Dissertation	en
Άδεια Χρήσης	http://creativecommons.org/licenses/by/4.0/	en
Ημερομηνία	2018-09-07	-
Ημερομηνία Δημοσίευσης	2018	-
Θεματική Κατηγορία	Μηχανική μάθηση	el
Θεματική Κατηγορία	Machine learning	en
Θεματική Κατηγορία	Ενισχυτική μάθηση	el
Θεματική Κατηγορία	Reinforcement learning	en
Θεματική Κατηγορία	Ταξινόμηση	el
Θεματική Κατηγορία	Classification	en
Θεματική Κατηγορία	Λήψη αποφάσεων υπό αβεβαιότητα	el
Θεματική Κατηγορία	Decision making under uncertainty	en
Θεματική Κατηγορία	Προβλήματα ελέγχου	el
Θεματική Κατηγορία	Control problems	en
Θεματική Κατηγορία	Πολυδιάστατοι χώροι	el
Θεματική Κατηγορία	Multi-dimensional spaces	en
Θεματική Κατηγορία	Classifiers	en
Θεματική Κατηγορία	Ταξινομητές	el
Θεματική Κατηγορία	Policy representation	en
Θεματική Κατηγορία	Αναπαράσταση πολιτικών	el
Θεματική Κατηγορία	Directed resampling	en
Θεματική Κατηγορία	Κατευθυνόμενη δειγματοληψία	el
Βιβλιογραφική Αναφορά	Ioannis Rexakis, "Directed exploration of policy space in reinforcement learning", Doctoral Dissertation, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2018	en
Βιβλιογραφική Αναφορά	Ιωάννης Ρεξάκης, "Κατευθυνόμενη αναζήτηση του χώρου πολιτικών στην ενισχυτική μάθηση", Διδακτορική Διατριβή, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2018	el

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Κατευθυνόμενη αναζήτηση του χώρου πολιτικών στην ενισχυτική μάθηση

Rexakis Ioannis

Διαθέσιμα αρχεία

Υπηρεσίες

Εξαγωγή

Κοινοποίηση

Στατιστικά

Μεταδεδομένων & Περιεχομένου σε METS:

Μεταδεδομένων σε Μορφότυπο: