Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Hybrid visual simultaneous localization and mapping (SLAM) on the Nao Robot using ROS

Sfyris Nektarios

Simple record


URIhttp://purl.tuc.gr/dl/dias/00D4F34B-FC5A-4EC7-B4B0-E4C702E62C9F-
Identifierhttps://doi.org/10.26233/heallink.tuc.82763-
Languageen-
Extent170 pagesel
TitleHybrid visual simultaneous localization and mapping (SLAM) on the Nao Robot using ROSen
TitleΥβριδικός οπτικός εντοπισμός και χαρτογράφηση (SLAM) στο Ρομπότ Nao με χρήση του ROSel
CreatorSfyris Nektariosen
CreatorΣφυρης Νεκταριοςel
Contributor [Thesis Supervisor]Lagoudakis Michailen
Contributor [Thesis Supervisor]Λαγουδακης Μιχαηλel
Contributor [Committee Member]Chalkiadakis Georgiosen
Contributor [Committee Member]Χαλκιαδακης Γεωργιοςel
Contributor [Committee Member]Zervakis Michailen
Contributor [Committee Member]Ζερβακης Μιχαηλel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummarySimultaneous Localization and Mapping (SLAM) is one of the fundamental problems a robot must solve in order to become truly autonomous. A variety of SLAM methods have been proposed, depending on the available robot sensors for measurements (camera, laser, infrared, lidar, sonar, GPS, compass, etc.) and the available prior knowledge about the environment being mapped and navigated, ranging from controlled environments, such as robotic warehouses, to totally unstructured and unknown terrains, such as the scene of a disaster. In this thesis, we present a Hybrid Visual SLAM approach, implemented and tested on the monocular case of the Nao humanoid robot. The proposed approach combines the benefits of both a Direct (Direct Sparse Odometry or DSO) and an Indirect (Oriented FAST and Rotated BRIEF SLAM or ORB-SLAM) visual odometry method. Specifically, the Direct module provides the total system's initialization process and local camera tracking, while the Indirect module provides relocalization, loop closing and map refinement. In addition, points of the physical three-dimensional space are selected from each module and at each camera keyframe to create the final consistent sparse point cloud map of the environment. All these tasks are executed in a parallel and multi-threaded architecture on a remote computer station, which communicates with the robot over a wired or wireless network. To increase the system's efficiency, we have also included both a geometric and a photometric calibration method to correct the camera measurements. Communication between the Direct and Indirect modules, as well as between the robot and the remote computer station, takes place within the Robot Operating System (ROS) framework, which enables for a common message transmission protocol. Last, but not least, a teleoperation node is built to simulate autonomous robot navigation during SLAM. The coupled system applied to the Nao humanoid robot is evaluated in various indoor and outdoor environments to demonstrate its robustness and real-time performance.en
Content SummaryΟ ταυτόχρονος Εντοπισμός και Χαρτογράφηση (Simultaneous Localization and Mapping - SLAM) είναι ένα από τα θεμελιώδη προβλήματα που πρέπει να λύσει ένα ρομπότ για να γίνει πραγματικά αυτόνομο. Ποικίλες μέθοδοι SLAM έχουν προταθεί ανάλογα με τους διαθέσιμους αισθητήρες για μετρήσεις (όπως κάμερα, λέιζερ, υπέρυθρες, lidar, σόναρ, GPS, πυξίδα, κ.λπ.) και ανάλογα με τη διαθέσιμη πρότερη γνώση για το χαρτογραφούμενο περιβάλλον, που κυμαίνεται από ελεγχόμενα περιβάλλοντα, όπως οι ρομποτικές αποθήκες, έως αδόμητες και άγνωστες περιοχές, όπως το σκηνικό μιας φυσικής καταστροφής. Σε αυτή τη διπλωματική εργασία, παρουσιάζουμε μία Υβριδική Οπτική προσέγγιση SLAM, η οποία υλοποιήθηκε και δοκιμάστηκε στην περίπτωση του ανθρωποειδούς ρομπότ Nao που διαθέτει μία μόνο κάμερα (monocular vision). Η προτεινόμενη προσέγγιση συνδυάζει τα οφέλη τόσο της Άμεσης ( Direct Sparse Odometry ή DSO), όσο και της Έμμεσης (Oriented FAST and Rotated BRIEF SLAM ή ORB-SLAM) οπτικής οδομετρίας. Πιο συγκεκριμένα, η Άμεση μέθοδος παρέχει τη διαδικασία αρχικοποίησης του συνολικού συστήματος και την τοπική παρακολούθηση της θέσης της κάμερας, ενώ η Έμμεση μέθοδος παρέχει επαναπροσανατολισμό της κάμερας, κλείσιμο βρόχου και βελτίωση του χάρτη. Επιπλέον, επιλέγονται σημεία του φυσικού τρισδιάστατου χώρου από κάθε μέθοδο και για κάθε εικόνα του βίντεο της κάμερας, για να δημιουργηθεί ο τελικός χάρτης νέφους σημείων του περιβάλλοντος. Όλες αυτές οι διεργασίες εκτελούνται σε μία παράλληλη και πολυνηματική αρχιτεκτονική σε απομακρυσμένο υπολογιστή, ο οποίος επικοινωνεί με το ρομπότ μέσω ενός ενσύρματου ή ασύρματου δικτύου. Για να αυξήσουμε την αποδοτικότητα του συστήματος, έχουμε συμπεριλάβει και μία μέθοδο γεωμετρικής και φωτομετρικής βαθμονόμησης της κάμερας για τη διόρθωση των μετρήσεών της. Η επικοινωνία μεταξύ της Άμεσης και Έμμεσης μεθόδου, καθώς και μεταξύ του ρομπότ και του απομακρυσμένου υπολογιστή, πραγματοποιείται μέσα από το Robot Operating System (ROS), το οποίο επιτρέπει ένα κοινό πρωτόκολλο μετάδοσης μηνυμάτων. Τελευταίο στοιχείο, αλλά εξίσου σημαντικό, είναι η προσθήκη ενός κόμβου τηλεχειρισμού για να προσομοιώνει την αυτόνομη πλοήγηση του ρομπότ κατά τη διάρκεια της διαδικασίας SLAM. Το πλήρες σύστημα εφαρμοσμένο στο ανθρωποειδές ρομπότ Nao αξιολογείται σε διάφορα εσωτερικά και εξωτερικά περιβάλλοντα για να επιδειχθεί η σταθερότητα των αποτελεσμάτων και η αποδοτικότητά του σε πραγματικό χρόνο.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by-nc/4.0/en
Date of Item2019-07-19-
Date of Publication2019-
SubjectHybrid Visual SLAMen
SubjectSimultaneous localization and mappingen
SubjectMachine visionen
SubjectVisual odometryen
SubjectHybrid Visual Odometryen
SubjectRoboticsen
SubjectRoboten
SubjectSLAMen
SubjectMonocularen
SubjectRobot Operating Systemen
SubjectROSen
SubjectNao roboten
Bibliographic CitationNektarios Sfyris, "Hybrid visual simultaneous localization and mapping (SLAM) on the Nao Robot using ROS", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2019en
Bibliographic CitationΝεκτάριος Σφυρής, "Υβριδικός οπτικός εντοπισμός και χαρτογράφηση (SLAM) στο Ρομπότ Nao με χρήση του ROS", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2019el

Available Files

Services

Statistics