Reinforcement learning for obstacle overcoming using a three-dimensional humanoid modelReinforcement learning for obstacle overcoming using a three-dimensional humanoid modelΕνισχυτική Μάθηση για Υπέρβαση Εμποδίων με χρήση Τρισδιάστατου Ανθρωποειδούς Μοντέλου Διπλωματική Εργασία Diploma Work 2024-02-292024enIn the realm of artificial intelligence and robotics, the creation of agents capable of effectively overcoming obstacles is a great challenge. Reinforcement Learning has received substantial attention for its capacity to empower machines to learn and adapt within their surroundings, through interaction with their environment. This has led to groundbreaking advancements in the domain of autonomous agents. This diploma thesis embarks on a journey to harness the potential of Reinforcement Learning, with a specific focus on enabling obstacle overcoming through the utilization of a Three-Dimensional Humanoid Model, commencing from a walking learning example. Building on a comprehensive background, encompassing Unity Game Development, the ML-Agents toolkit, the Anaconda environment for streamlined dependency management, and the fundamental principles of Reinforcement Learning and the Proximal Policy Optimization (PPO) algorithm, the stage is set for a deep dive into the challenges of creating a model able to overcome obstacles. Through a series of experiments, the setup and progress are presented, along with the development of a reward function and the observation space for our agents. Changes in the environment are introduced to assess adaptability and resilience of our model, and PPO hyper-parameters are meticulously tuned for best results. This thesis concludes with promising outcomes, showcasing the creation of a fully functional model, adaptable to diverse environments. Furthermore, it outlines future directions for research and development, aiming to further the quest for intelligent agents capable of undertaking difficult challenges.Στον χώρο της τεχνητής νοημοσύνης και της ρομποτικής, η δημιουργία πρακτόρων ικανών να υπερβαίνουν εμπόδια αποτελεσματικά αποτελεί σημαντική πρόκληση. H Ενισχυτική Μάθηση (Reinforcement Learning) έχει λάβει ιδιαίτερη προσοχή για την ικανότητά της να επιτρέπει στις μηχανές να μαθαίνουν και να προσαρμόζονται στο περιβάλλον τους μέσω της αλληλεπίδρασής τους με αυτό. Αυτό έχει οδηγήσει σε πρωτοποριακές εξελίξεις στον τομέα των αυτόνομων πρακτόρων. Η παρούσα διπλωματική εργασία εκκινεί ένα εγχείρημα να αξιοποιήσει τη δυναμική της Ενισχυτικής Μάθησης, εστιά ζοντας στη δυνατότητα της υπέρβασης εμποδίων με χρήση ενός τρισδιάστατου ανθρωποειδούς μοντέλου, ξεκινώντας από ένα παράδειγμα μάθησης βαδίσματος. Χτίζοντας σε ένα ολοκληρωμένο υπόβαθρο, το οποίο περιλαμβάνει την πλατφόρμα Unity Game Development, την εργαλειοθήκη ML-Agents, το περιβάλλον Anaconda για βέλτιστη διαχείριση εξαρτήσεων και τις θεμελιώδεις αρχές της Ενισχυτικής Μάθησης και του αλγορίθμου Proximal Policy Optimization (PPO), οι προϋποθέσεις είναι έτοιμες για μια βαθιά κατάδυση στις προκλήσεις της δημιουργίας ενός μοντέλου ικανού να υπερβαίνει εμπόδια. Μέσα από μια σειρά πειραμάτων, παρουσιάζονται οι ρυθμίσεις και η πρόοδος, μαζί με τη δημιουργία μιας συνάρτησης ανταμοιβής και του χώρου παρατηρήσεων για τους πράκτορές μας. Εισάγονται αλλαγές στο περιβάλλον για την αξιολόγηση της προσαρμοστικότητας και της ανθεκτικότητας του μοντέλου μας και οι υπερ-παράμετροι του PPO ρυθμίζονται σχολαστικά για τη βελτιστοποίηση των αποτελεσμάτων. Η παρούσα εργασία ολοκληρώνεται με πολλά υποσχόμενα αποτελέσματα, παρουσιάζοντας τη δημιουργία ενός πλήρως λειτουργικού μοντέλου, προσαρμόσιμου σε διαφορετικά περιβάλλοντα. Επιπλέον, σκιαγραφεί μελλοντικές κατευθύνσεις για έρευνα και ανάπτυξη, με στόχο να ενισχύσει την ανάπτυξη ευφυών πρακτόρων ικανών να αντιμετωπίζουν δύσκολες προκλήσεις.http://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνPetroulakis_Ioannis_Dip_2024.pdfChania [Greece]Library of TUC2024-02-28application/pdf6.3 MBfree Petroulakis Ioannis Πετρουλακης Ιωαννης Lagoudakis Michail Λαγουδακης Μιχαηλ Zervakis Michail Ζερβακης Μιχαηλ Spyropoulos Thrasyvoulos Σπυροπουλος Θρασυβουλος Πολυτεχνείο Κρήτης Technical University of Crete Ενισχυτική μάθηση Reinforcement learning