Autonomous drone navigation for landmark position estimation using reinforcement learningAutonomous drone navigation for landmark position estimation using reinforcement learningΑυτόνομη πλοήγηση drone για εκτίμηση θέσης διακριτικών με χρήση ενισχυτικής μάθησης Διπλωματική Εργασία Diploma Work 2021-10-112021enUnmanned aerial vehicles (UAVs) have been increasingly used for critical and challenging applications, which often require a substantial level of autonomy. Several approaches have been investigated to create autonomous navigation systems such as Simultaneous Localization and Mapping (SLAM) using real-time mapping and position estimation. Reinforcement leaning (RL) is a promising alternative that focuses on learning to perform a task through a trial-and-error procedure, in which an agent interacts with its environment and receives continuous feedback based on the actions taken, with no access to any information about the environment itself. Eventually, the agent’s objective is to find the best possible sequence of actions that lead to the maximum total reward in the long term. This thesis explores a mapless approach to UAV autonomous navigation in completely unknown 3D environments using deep reinforcement learning (DRL), a reinforcement learning approach that incorporates deep learning techniques (deep neural networks) to overcome dimensionality limitations. The goal of the agent is to safely navigate through this unknown environment, so as to detect and approach a predefined set of ArUco markers (landmarks) placed within the environment. The unknown environments are dynamically created and contain a number of procedurally generated obstacles. We evaluate our agent in five different environment profiles with increasing difficulty level and observe how environment complexity affects training performance. Results show that deep reinforcement learning can be effective and can be successfully used for autonomous navigation missions. The entire project was implemented using the Robot Operating System (ROS) platform within the Gazebo robot simulator environment.Τα μη επανδρωμένα αεροσκάφη (Unmanned Aerial Vehicles, UAVs) χρησιμοποιούνται ολοένα και περισσότερο για κρίσιμες και απαιτητικές εφαρμογές, οι οποίες συχνά απαιτούν ένα σημαντικό επίπεδο αυτονομίας. ‘ ́Εχουν διερευνηθεί διάφορες προσεγγίσεις για τη δημιουργία συστημάτων αυτόνομης πλοήγησης, όπως ο ταυτόχρονος εντοπισμός και χαρτογράφηση (SLAM) που υλοποιεί σε πραγματικό χρόνο χαρτογράφηση και εκτίμηση θέσης. Η Ενισχυτική Μάθηση (Reinforcement Learning, RL) θεωρείται μια πολλά υποσχόμενη εναλλακτική λύση που επικεντρώνεται στη μάθηση κάποιου έργου μέσω μιας διαδικασίας δοκιμής και σφάλματος, στην οποία ένας πράκτορας αλληλεπιδρά με το περιβάλλον του και λαμβάνει συνεχή αξιολόγηση εξαρτώμενη από τις ενέργειες που επιλέγει, χωρίς ωστόσο να έχει πρόσβαση σε πληροφορίες για το ίδιο το περιβάλλον. Εν τέλει, ο στόχος του πράκτορα είναι να βρει την καλύτερη δυνατή ακολουθία ενεργειών που θα εξασφαλίσουν τη μέγιστη συνολική ανταμοιβή μακροπρόθεσμα. Η παρούσα διπλωματική εργασία διερευνά μια προσέγγιση αυτόνομης πλοήγησης αεροσκαφών (χωρίς χάρτη) σε εντελώς άγνωστα τρισδιάστατα περιβάλλοντα χρησιμοποιώντας βαθιά ενισχυτική μάθηση (Deep Reinforcement Learning, DRL), μια προσέγγιση ενισχυτικής μάθησης που ενσωματώνει τεχνικές βαθιάς μάθησης (βαθιά νευρωνικά δίκτυα) για να αντιμετωπιστούν οι περιορισμοί διαστατικότητας. Ο στόχος του πράκτορα είναι να περιηγηθεί με ασφάλεια στο άγνωστο περιβάλλον, ώστε να εντοπίσει και να προσεγγίσει έναν προκαθορισμένο αριθμό διακριτικών δεικτών ArUco που είναι τοποθετημένοι μέσα στο περιβάλλον. Τα άγνωστα περιβάλλοντα δημιουργούνται δυναμικά και συμπεριλαμβάνουν έναν πλήθος από εμπόδια παραγόμενα με αυτοματοποιημένο τρόπο. Αξιολογούμε τον πράκτορας μας σε πέντε διαφορετικά προφίλ περιβαλλόντων με αυξανόμενο επίπεδο δυσκολίας και παρατηρούμε πως η πολυπλοκότητα του περιβάλλοντος επηρεάζει την απόδοση της μάθησης. Τα αποτελέσματα δείχνουν ότι η βαθιά ενισχυτική μάθηση μπορεί να είναι αποτελεσματική και μπορεί να χρησιμοποιηθεί επιτυχώς σε αποστολές αυτόνομης πλοήγησης. Η εργασία στο σύνολό της έχει υλοποιηθεί μέσω της πλατφόρμας Robot Operating System (ROS) στο περιβάλλον ρομποτικής προσομοίωσης Gazebo.http://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνGalanis_Michalis_Dip_2021.pdfGALANIS_MICHALIS_DIP_PRESENTATION_2021.pdfChania [Greece]Library of TUC2021-10-09Chania [Greece]Library of TUC2021-10-09application/pdfapplication/pdf6.2 MB4.3 MBfreefreeGalanis_Michalis_Dip_2021.pdfGALANIS_MICHALIS_DIP_PRESENTATION_2021.pdfChania [Greece]Library of TUC2021-10-09Chania [Greece]Library of TUC2021-10-09application/pdfapplication/pdf6.2 MB4.3 MBfreefree Galanis Michalis Γαλανης Μιχαλης Lagoudakis Michail Λαγουδακης Μιχαηλ Zervakis Michail Ζερβακης Μιχαηλ Partsinevelos Panagiotis Παρτσινεβελος Παναγιωτης Πολυτεχνείο Κρήτης Technical University of Crete 3D environment Artificial intelligence Artificial neural network ArUco marker ArUco marker detection ArUco tag Autonomous UAV navigation Deep learning Deep neural network Deep reinforcement learning DQN Drone Drone aircraft Dynamic environment Environment Fully connected layer Gazebo Inertial measurement unit Keras Landmark position estimation LIDAR Machine vision Neural network Obstacle avoidance Obstacles OpenAI Gym Optical camera Q-Learning Reinforcement learning Reward ROS ROS transformations Sensors SONAR Target approach Tensorflow Training Unknown environment Unmanned eerial vehicle Value function approximation Autonomous drone navigation