Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Gaze-driven, head-worn augmented reality system for firefighters in both urban and wild fire operations with the use of thermal imaging and Android data

Chalimas Theodoros

Simple record


URIhttp://purl.tuc.gr/dl/dias/D6BCED5F-9F4D-4BCC-A8DD-30487B2E54EA-
Identifierhttps://doi.org/10.26233/heallink.tuc.96815-
Languageen-
Extent19.5 megabytesen
Extent83 pagesen
TitleGaze-driven, head-worn augmented reality system for firefighters in both urban and wild fire operations with the use of thermal imaging and Android data en
TitleΕπαυξημένη πραγματικότητα με οθόνη κεφαλιού και ακολουθία βλέμματος για κατάσβεση αστικών και δασικών πυρκαγιών με τη χρήση θερμικής απεικόνισης και δεδομένων Androidel
CreatorChalimas Theodorosen
CreatorΧαλιμας Θεοδωροςel
Contributor [Thesis Supervisor]Mania Aikaterinien
Contributor [Thesis Supervisor]Μανια Αικατερινηel
Contributor [Committee Member]Balas Costasen
Contributor [Committee Member]Μπαλας Κωσταςel
Contributor [Committee Member]Lagoudakis Michailen
Contributor [Committee Member]Λαγουδακης Μιχαηλel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryDespite recent advancements in technology and organizational measures, firefighting remains a perilous profession. To enhance safety and operational efficiency during firefighting operations, there has been a growing exploration of integrating sensors and technological systems. One notable technological advancement in this field is the utilization of augmented reality (AR) technology. AR technology has emerged as a promising tool for firefighters, offering enhanced visualization capabilities on the field, to augment their performance. By leveraging modern augmented reality head-mounted displays, equipped with an array of sensors such as thermal cameras and advanced user interfaces such as gaze tracking, firefighters can gain enhanced situational awareness by sensing and understanding the environment around them. This thesis introduces two systems developed using the Unity development engine, targeting distinct firefighting scenarios. The first system addresses fire and rescue operations, where thick smoke poses a significant challenge. By integrating a heat-wavelength infrared camera with the Microsoft HoloLens 2, thermal data can be streamed directly to the operator's field of view, enhancing their perception in smoke-filled environments. Unlike conventional handheld thermal cameras, this approach maintains the operator's ability to use their hands effectively. The second system focuses on wildfire situations, enabling live tracking of each firefighting team member and displaying their locations on a 3D map, accessible remotely on a computer. Moreover, an augmented reality headset provides the team captain on the field with intuitive visual signals communicating their teams’ location. This setup facilitates real-time location representation of all members for both the team captain and those operating remotely, such as personnel in offices or headquarters. By leveraging the advancements in AR technology and addressing the need for seamless communication, the proposed systems aim to augment firefighters' capabilities, improving their safety and operational effectiveness in challenging firefighting situations.en
Content SummaryΠαρά τις πρόσφατες εξελίξεις στην τεχνολογία και τα μέτρα οργάνωσης, η πυρόσβεση αποτελεί ακόμα ένα επικίνδυνο επάγγελμα. Για τη βελτίωση της ασφάλειας και της λειτουργικής αποτελεσματικότητας κατά τη διάρκεια των επιχειρήσεων πυρόσβεσης, εξερευνάται η ενσωμάτωση αισθητήρων και η χρήση τεχνολογικών συστήματων. Μια αξιοσημείωτη τεχνολογική πρόοδος στον τομέα αυτό είναι η αξιοποίηση της επαυξημένης πραγματικότητας (Augmented Reality, AR). Η τεχνολογία AR έχει αναδειχθεί ως ένα πολλά υποσχόμενο εργαλείο για πυροσβέστες, προσφέροντας πολλαπλές δυνατότητες oπτικοποίησης για να αυξήσουν την αποτελεσματικότητά τους κατά τις επιχειρήσεις πυρόσβεσης. Αξιοποιώντας σύγχρονες οθόνες επαυξημένης πραγματικότητας που τοποθετούνται στο κεφάλι, εξοπλισμένες με μια σειρά από αισθητήρες όπως θερμικές κάμερες αλλά και διεπαφές όπως παρακολούθηση βλέμματος, οι πυροσβέστες μπορούν να αποκτήσουν βελτιωμένη επίγνωση της κατάστασης ανιχνεύοντας και κατανοώντας το περιβάλλον γύρω τους. Αυτή η διπλωματική εργασία εισάγει δύο συστήματα που αναπτύχθηκαν χρησιμοποιώντας τη μηχανή ανάπτυξης Unity, στοχεύοντας διαφορετικά σενάρια πυρόσβεσης. Το πρώτο σύστημα απευθύνεται σε επιχειρήσεις αστικής πυρκαγιάς και διάσωσης όπου ο πυκνός καπνός αποτελεί σημαντική πρόκληση. Με την ενσωμάτωση μιας υπέρυθρης κάμερας στο Microsoft HoloLens 2, τα θερμικά δεδομένα μπορούν να μεταδοθούν απευθείας στο οπτικό πεδίο του χειριστή, ενισχύοντας την αντίληψή του σε περιβάλλοντα γεμάτα καπνό. Σε αντίθεση με τις συμβατικές θερμικές κάμερες χειρός, αυτή η προσέγγιση διατηρεί την ικανότητα του χειριστή να χρησιμοποιεί αποτελεσματικά τα χέρια του. Το δεύτερο σύστημα εστιάζει σε καταστάσεις δασικής πυρκαγιάς, επιτρέποντας τη ζωντανή παρακολούθηση κάθε μέλους της ομάδας που επιχειρεί στο πεδίο και την εμφάνιση των τοποθεσιών τους σε έναν τρισδιάστατο χάρτη, προσβάσιμο από απόσταση σε υπολογιστή. Επιπλέον, μια οθόνη επαυξημένης πραγματικότητας παρέχει στον αρχηγό της ομάδας, στο πεδίο, διαισθητικά οπτικά σήματα σχετικά με την τοποθεσία της ομάδας του. Αυτή η ρύθμιση διευκολύνει αναπαράσταση τοποθεσίας σε πραγματικό χρόνο όλων των μελών τόσο για τον αρχηγό της ομάδας όσο και για εκείνους που επιχειρούν εξ αποστάσεως, όπως προσωπικό σε γραφεία ή στον σταθμό. Αξιοποιώντας τις εξελίξεις στην τεχνολογία AR και αντιμετωπίζοντας την ανάγκη για λιγότερη λεκτική επικοινωνία, τα προτεινόμενα συστήματα στοχεύουν στην ενίσχυση των ικανοτήτων των πυροσβεστών, αποδεικνύοντας την ασφάλεια και την επιχειρησιακή τους αποτελεσματικότητα σε δύσκολες καταστάσεις πυρόσβεσης.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by/4.0/en
Date of Item2023-07-31-
Date of Publication2023-
SubjectAugmented realityen
SubjectFirefightingen
SubjectThermal imagingen
Bibliographic CitationTheodoros Chalimas, "Gaze-driven, head-worn augmented reality system for firefighters in both urban and wild fire operations with the use of thermal imaging and Android data", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023en
Bibliographic CitationΘεόδωρος Χαλιμάς, "Επαυξημένη πραγματικότητα με οθόνη κεφαλιού και ακολουθία βλέμματος για κατάσβεση αστικών και δασικών πυρκαγιών με τη χρήση θερμικής απεικόνισης και δεδομένων Android", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023el

Available Files

Services

Statistics