![Institutional Repository [SANDBOX]](images/dias.logo.png "Institutional Repository [SANDBOX]"){kind=logo}
Institutional Repository [SANDBOX]
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/48C0565A-3558-460A-95AD-D7BD6C1523AC | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.98156 | - |
| Language | en | - |
| Extent | 7 megabytes | en |
| Extent | 147 pages | en |
| Title | Machine learning and multiagent systems for effective human-machine teaming | en |
| Title | Μηχανική μάθηση και πολυπρακτορικά συστήματα για αποτελεσματικές ομάδες ανθρώπων – μηχανών | el |
| Creator | Trigkas Nikolaos | en |
| Creator | Τριγκας Νικολαος | el |
| Contributor [Thesis Supervisor] | Chalkiadakis Georgios | en |
| Contributor [Thesis Supervisor] | Χαλκιαδακης Γεωργιος | el |
| Contributor [Committee Member] | Zervakis Michail | en |
| Contributor [Committee Member] | Ζερβακης Μιχαηλ | el |
| Contributor [Committee Member] | Partsinevelos Panagiotis | en |
| Contributor [Committee Member] | Παρτσινεβελος Παναγιωτης | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Τhis MSc thesis proposes innovative machine learning and multiagent systems algorithms, for the effective collaboration of humans and machines. More specifically, it puts forward a novel AI-based algorithmic ``toolkit’’ in order to enable teams of Unmanned Aerial Vehicles (UAVs) to assist in the victims’ localization and rescue, in case of post-avalanche events. Our thesis consists of two main research axes that gave rise to respective elements within the aforementioned algorithmic toolkit: first, the processing and analysis of post-avalanche scenery images (in order for the UAVs to be able to recognize the victims), via the employment and enhancement of several well-known image processing techniques; and second, the creation of a novel coalition formation framework that facilitates the UAVs' cooperation and coordination. In some detail, for the victims’ recognition task itself, we employ three image recognition algorithms, putting forward object and edge detection techniques used for the first time for the analysis of post-avalanche Search & Rescue operations images. More specifically, we apply (a) a Colour Desaturation Method in which we manage image information to be reduced by using color filtering; (b) a novel version of the well-known Sobel edge detection algorithm, which enhances the tracked edges of the background and the desired objects in it; and (c) the ``Faster R-CNN’’ object detection method, offering state-of the-art region selection and image segmentation. All three algorithms are tested in real-time simulations, with the best of which in combinational effectiveness (i.e. the Faster R-CNN) being used during later stages of our research. At the same time, the second axis of our thesis work involves putting forward a novel coalition formation framework consisting of multiple components. First, a proposed initial UAVs placement algorithm (adapting a known Brain-Storming Optimization algorithm to our setting); second, a coalition structure generation protocol that allows for the "online" calculation of coalition values (representing the value of each potential teaming-up configuration of the UAVs at hand) that will eventually guide the rescue effort; and third, a simple but effective opinion aggregation protocol, that can be used to prioritize rescue operations in the event of "ambiguous" findings. The combination of the above modules aims to maximize the number of victims that can be tracked and rescued based on cooperative discoveries by the UAVs, and to completing this process in the shortest possible amount of time. Our experimental evaluation verifies the applicability and effectiveness of our framework and its individual components, in a variety of different scenario simulations. Finally, our thesis work led to a research paper entitled "Coalitions of UAVs for Victims Localization in Post-Avalanche Events Using Advanced Image Processing Techniques & Algorithms", published after peer-review in the proceedings of the (international) 12th Hellenic Conference of Artificial Intelligence (SETN 2022). | en |
| Content Summary | H παρούσα μεταπτυχιακή εργασία προτείνει καινοτόμους αλγορίθμους μηχανικής μάθησης και πολυπρακτορικών συστημάτων για την αποτελεσματική συνεργασία ανθρώπων και μηχανών. Πιο συγκεκριμένα, προτείνει ένα νέο αλγοριθμικό εργαλείο βασισμένο σε Τεχνητή Νοημοσύνη, προκειμένου να επιτρέψει σε ομάδες μη επανδρωμένων εναέριων οχημάτων (UAVs) να βοηθήσουν στον εντοπισμό και τη διάσωση των θυμάτων, σε περίπτωση συμβάντων (λχ, εγκλωβισμού) μετά από χιονοστιβάδα. Η εργασία μας αποτελείται από δύο βασικούς ερευνητικούς άξονες που οδήγησαν στην παραγωγή αντιστοίχων «αλγοριθμικών εργαλείων»: Ο πρώτος άξονας αφορά την επεξεργασία και ανάλυση εικόνων τοπίων μετά από χιονοστιβάδα (προκειμένου τα UAVs να μπορούν να αναγνωρίζουν τα θύματα) μέσω της χρήσης και της βελτίωσης γνωστών τεχνικών επεξεργασίας εικόνας. Ο δεύτερος άξονας αφορά τη δημιουργία ενός νέου πλαισίου σχηματισμού συνασπισμών, το οποίο επιτρέπει την συνεργασία και τον συντονισμό των UAVs. Σε σχέση με τον πρώτο άξονα της εργασίας μας, για τον εντοπισμό των θυμάτων χρησιμοποιούμε τρεις αλγόριθμους αναγνώρισης εικόνων, συνδυάζοντας τεχνικές ανίχνευσης αντικειμένων και ακμών που χρησιμοποιούνται για πρώτη φορά στη βιβλιογραφία για την ανάλυση εικόνων επιχειρήσεων Έρευνας και Διάσωσης (Search and Rescue Operations) μετά από χιονοστιβάδα. Πιο συγκεκριμένα, εφαρμόζουμε (α) μια μέθοδο αποκορεσμού χρώματος, στην οποία διαχειριζόμαστε τη μείωση των πληροφοριών εικόνας χρησιμοποιώντας τεχνικές φιλτραρίσματος των χρωμάτων, (β) μια νέα έκδοση του γνωστού αλγορίθμου ανίχνευσης άκρων (Sobel), ο οποίος βελτιώνει τις παρακολουθούμενες ακμές του φόντου και τα επιθυμητά αντικείμενα σε αυτό, και (γ) τη μέθοδο ανίχνευσης αντικειμένων «Faster R-CNN», η οποία χρησιμοποιεί τεχνολογία αιχμής για την επιλογή περιοχής και τμηματοποίηση εικόνας. Και οι τρεις αλγόριθμοι δοκιμάζονται σε προσομοιώσεις σε πραγματικό χρόνο, με τον καλύτερο εκ των οποίων σε συνδυαστική αποτελεσματικότητα (δηλαδή την μέθοδο «Faster R-CNN») να χρησιμοποιείται σε μεταγενέστερα στάδια της έρευνάς μας. Ταυτόχρονα, στο δεύτερο άξονα της εργασίας μας προτείνουμε ένα νέο πλαίσιο σχηματισμού συνασπισμών που συμπεριλαμβάνει πολλαπλά στοιχεία. Πρώτον, έναν προτεινόμενο αλγόριθμο αρχικής τοποθέτησης UAVs (προσαρμογή ενός γνωστού αλγόριθμου Βελτιστοποίησης "Brain-Storming" στις ρυθμίσεις μας). Δεύτερον, ένα πρωτόκολλο δημιουργίας δομών συνασπισμού που επιτρέπει τον - σε άμεσο χρόνο - υπολογισμό της αξίας του κάθε συνασπισμού (που αντικατοπτρίζει την αξία συνεργασίας των UAVs που συμμετέχουν στον συνασπισμό), που θα καθοδηγήσει τελικά την προσπάθεια διάσωσης. Kαι τρίτον, ένα απλό αλλά αποτελεσματικό πρωτόκολλο συνάθροισης και αξιολόγησης απόψεων, το οποίο μπορεί να χρησιμοποιηθεί για την ιεράρχηση επιχειρήσεων διάσωσης σε περιπτώσεις «διφορούμενων» ευρημάτων των UAVs. Ο συνδυασμός των παραπάνω σκοπεύει στην μεγιστοποίηση του αριθμού των θυμάτων που μπορούν να εντοπιστούν και να διασωθούν, βάσει των συνεργατικών ανακαλύψεων από τα UAVs, και στην ολοκλήρωση της διαδικασίας στο συντομότερο δυνατό χρονικό διάστημα. Η μεθοδική πειραματική αξιολόγηση που διεξήχθη σε μια πληθώρα διαφορετικών σεναρίων προσομοίωσης, επαληθεύει τη δυνατότητα εφαρμογής και την αποτελεσματικότητα του πλαισίου μας και των επιμέρους στοιχείων του. Τέλος, αξίζει να σημειωθεί ότι η εργασία μας οδήγησε στην μετά από κρίση δημοσίευση ενός ερευνητικού άρθρου με τίτλο "Coalitions of UAVs for Victims Localization in Post-Avalanche Events Using Advanced Image Processing Techniques & Algorithms", το οποίο περιλαμβάνεται στα πρακτικά του (διεθνούς) 12ου Συνεδρίου Τεχνητής Νοημοσύνης που διοργανώνεται από την Ελληνική Εταιρεία Τεχνητής Νοημοσύνης (SETN 2022). | el |
| Type of Item | Μεταπτυχιακή Διατριβή | el |
| Type of Item | Master Thesis | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2023-11-29 | - |
| Date of Publication | 2023 | - |
| Subject | Πολυπρακτορικά συστήματα | el |
| Subject | Multiagent systems | en |
| Subject | Artificial intelligence | en |
| Subject | Τεχνητή νοημοσύνη | el |
| Bibliographic Citation | Nikolaos Trigkas, "Machine learning and multiagent systems for effective human-machine teaming", Master Thesis, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023 | en |
| Bibliographic Citation | Νικόλαος Τρίγκας, "Μηχανική μάθηση και πολυπρακτορικά συστήματα για αποτελεσματικές ομάδες ανθρώπων – μηχανών", Μεταπτυχιακή Διατριβή, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023 | el |
Copyright © DIAS 2013
