Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Autonomous drone navigation using visual gate detection and reinforcement learning

Karamailis Panteleimon

Simple record


URIhttp://purl.tuc.gr/dl/dias/58623CDF-111D-4776-A504-27F74A5420AA-
Identifierhttps://doi.org/10.26233/heallink.tuc.100586-
Languageen-
Extent11.3 megabytesen
Extent145 pagesen
ExtentA4 (210x297mm)en
TitleAutonomous drone navigation using visual gate detection and reinforcement learningen
TitleΑυτόνομη πλοήγηση drone με χρήση οπτικής ανίχνευσης θυρών και ενισχυτικής μάθησης el
CreatorKaramailis Panteleimonen
CreatorΚαραμαϊλης Παντελεημωνel
Contributor [Committee Member]Zervakis Michailen
Contributor [Committee Member]Ζερβακης Μιχαηλel
Contributor [Committee Member]Partsinevelos Panagiotisen
Contributor [Committee Member]Παρτσινεβελος Παναγιωτηςel
Contributor [Thesis Supervisor]Lagoudakis Michailen
Contributor [Thesis Supervisor]Λαγουδακης Μιχαηλel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
DescriptionΔιπλωματική Εργασία που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολυτεχνείου Κρήτης για την πλήρωση προϋποθέσεων λήψης του Πτυχίου.el
Content SummaryIn recent decades, drones have gained much recognition for their ability to carry out missions involving areas inaccessible to humans, requiring high costs and long times to approach. Given the ever-increasing complexity of UAV applications, the aim is to minimize their interaction with humans to reduce human error, which consequently may cause material damage and injury. Thus, a particularly desirable direction is the development of fully autonomous navigation systems. Such systems rely on the vehicle's sensors to guide the vehicle in order to reach a target position in unknown and dynamic environments, while avoiding possible collisions. Therefore, novel and innovative approaches are used to develop applications of such complex behavior beyond conventional methodologies. Among these relatively new techniques is Reinforcement Learning (RL), a branch of Machine Learning that has achieved excellent results in many different problems in recent years. This way of learning simulates the learning of living beings, as the agent interacts with its environment and, through constant trial and error, improves its behavior to achieve its goals. Thus, the topic of this diploma thesis concerns the development of a fully operational navigation system for unmanned aircrafts and sets as its ultimate goal the safe navigation through certain gates. The inspiration for this work is the annual AlphaPilot competition of heroX, which invites participants to develop a fully autonomous drone that can beat the best pilot team in a speed race. However, this thesis focuses on sailing the aircraft as safely as possible and not on the speed of flight. Thus, the first and most significant part of this work concerns the autonomous flight of the unmanned aircraft in unknown dynamic environments and the avoidance of possible obstacles using Deep Reinforcement Learning. The proposed approach uses Deep Neural Networks to approximate value functions within RL, addressing the high-dimensional problem that traditionally challenges RL. The second part of this thesis focuses on enhancing an existing optical gate recognition system, operating in real-time through the aircraft's fixed camera. The proposed integrated system, developed and tested in the Gazebo robot simulator using the Robot Operating System (ROS) framework, successfully avoids most obstacles and navigates through gates in numerous randomly-generated instances of variable difficulty, demonstrating significant potential for robust performance.en
Content SummaryΤις τελευταίες δεκαετίες τα μη επανδρωμένα αεροσκάφη τυγχάνουν μεγάλης αναγνώρισης λόγω της ικανότητάς τους να φέρουν εις πέρας αποστολές, οι οποίες λαμβάνουν μέρος σε δυσπρόσιτες για τον άνθρωπο περιοχές, η προσέγγιση των οποίων απαιτεί υψηλό κόστος και εκτενείς χρόνους. Δεδομένης της διαρκώς αυξανόμενης πολυπλοκότητας των εφαρμογών των μη επανδρωμένων αεροσκαφών, επιδιώκεται η όσον το δυνατόν λιγότερη αλληλεπίδρασή τους με τον άνθρωπο, προκειμένου να περιοριστεί το ανθρώπινο λάθος και κατ' επέκταση η πιθανή πρόκληση υλικών ζημιών και τραυματισμών. Έτσι, μία ιδιαίτερα επιθυμητή κατεύθυνση είναι η ανάπτυξη συστημάτων πλήρους αυτόνομης πλοήγησης. Τα συστήματα αυτά, βασίζονται στους αισθητήρες του οχήματος για να το καθοδηγήσουν, ώστε να προσεγγίσει μία θέση στόχου σε άγνωστα και δυναμικά περιβάλλοντα, αποφεύγοντας παράλληλα ενδεχόμενες συγκρούσεις. Ως εκ τούτου, για την ανάπτυξη εφαρμογών τέτοιας περίπλοκης συμπεριφοράς γίνεται επιστράτευση νέων και καινοτόμων προσεγγίσεων που ξεφεύγουν από τις συμβατικές μεθοδολογίες. Ανάμεσα σε αυτές τις σχετικά νέες τεχνικές είναι και η Ενισχυτική Μάθηση (Reinforcement Learning – RL), η οποία αποτελεί κλάδο της Μηχανικής Μάθησης και τα τελευταία χρόνια έχει σημειώσει εξαιρετικά αποτελέσματα σε πολλά διαφορετικά προβλήματα. Αυτός ο τρόπος μάθησης προσομοιώνει τον τρόπο μάθησης των έμβιων όντων, καθώς ο πράκτορας αλληλεπιδρά με το περιβάλλον του και μέσω συνεχών δοκιμών και σφαλμάτων βελτιώνει τη συμπεριφορά του, προκειμένου να πετύχει τους στόχους του. Έτσι, το θέμα της παρούσας διπλωματικής εργασίας αφορά στην ανάπτυξη ενός πλήρους λειτουργικού συστήματος πλοήγησης για μη επανδρωμένα αεροσκάφη και θέτει ως απώτερο στόχο την ασφαλή πλοήγηση μέσω συγκεκριμένων πυλών. Πηγή έμπνευσης αποτελεί ο ετήσιος διαγωνισμός AlphaPilot της heroX, που καλεί τους συμμετέχοντες να αναπτύξουν ένα πλήρως αυτόνομο drone, το οποίο μπορεί να νικήσει την καλύτερη πιλοτική ομάδα σε έναν αγώνα ταχύτητας. Ωστόσο, η διπλωματική εργασία επικεντρώνεται στην όσο το δυνατόν ασφαλέστερη πλοήγηση του σκάφους κι όχι στην ταχύτητα της πτήσης. Έτσι, το πρώτο και μεγαλύτερο μέρος της εργασίας αφορά στην αυτόνομη πτήση τού μη επανδρωμένου αεροσκάφους σε άγνωστα δυναμικά περιβάλλοντα και την αποφυγή πιθανών εμποδίων με χρήση Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning). Η προτεινόμενη μέθοδος χρησιμοποιεί Βαθιά Νευρωνικά Δίκτυα (Deep Neural Networks) για την προσεγγιστική αναπαράσταση συναρτήσεων αξίας εντός της Ενισχυτικής Μάθησης, αντιμετωπίζοντας το πρόβλημα υψηλής διαστατικότητας που παραδοσιακά αποτελεί πρόκληση για την Ενισχυτική Μάθηση. Το δεύτερο μέρος αυτής της εργασίας επικεντρώνεται στη βελτίωση ενός υπάρχοντος συστήματος οπτικής αναγνώρισης πυλών, το οποίο λειτουργεί σε πραγματικό χρόνο μέσω της σταθερής κάμερας του αεροσκάφους. Το προτεινόμενο ολοκληρωμένο σύστημα, που αναπτύχθηκε και δοκιμάστηκε στον ρομποτικό προσομοιωτή Gazebo χρησιμοποιώντας το πλαίσιο Robot Operating System (ROS), αποφεύγει επιτυχώς τα περισσότερα εμπόδια και πλοηγείται μέσα από πύλες σε πολλά τυχαία-δημιουργημένα στιγμιότυπα μεταβλητής δυσκολίας, επιδεικνύοντας σημαντικές δυνατότητες για ισχυρή απόδοση.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by/4.0/en
Date of Item2024-08-01-
Date of Publication2024-
SubjectAutonomous UAV navigationen
SubjectDQNen
SubjectMachine visionen
SubjectObstacle avoidanceen
SubjectReinforcement learningen
Bibliographic CitationPanteleimon Karamailis, "Autonomous drone navigation using visual gate detection and reinforcement learning", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024en
Bibliographic CitationΠαντελεήμων Καραμαϊλής, "Αυτόνομη πλοήγηση drone με χρήση οπτικής ανίχνευσης θυρών και ενισχυτικής μάθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024el

Available Files

Services

Statistics