Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Ανίχνευση εστίασης βλέμματος σε μη τροποποιημένα φορητά VR headsets χρησιμοποιώντας την selfie κάμερα του κινητού

Drakopoulos Panagiotis

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/8CD087BD-F8FF-43A8-955B-7BA1C106CBB8-
Αναγνωριστικόhttps://doi.org/10.26233/heallink.tuc.89397-
Γλώσσαen-
Μέγεθος99 pagesen
ΤίτλοςEye tracking on unmodified mobile VR headsets using the selfie cameraen
ΤίτλοςΑνίχνευση εστίασης βλέμματος σε μη τροποποιημένα φορητά VR headsets χρησιμοποιώντας την selfie κάμερα του κινητούel
ΔημιουργόςDrakopoulos Panagiotisen
ΔημιουργόςΔρακοπουλος Παναγιωτηςel
Συντελεστής [Επιβλέπων Καθηγητής]Mania Aikaterinien
Συντελεστής [Επιβλέπων Καθηγητής]Μανια Αικατερινηel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Balas Costasen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Μπαλας Κωσταςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Deligiannakis Antoniosen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Δεληγιαννακης Αντωνιοςel
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠερίληψηInput methods for interaction in smartphone-based virtual and mixed reality (VR/MR) are currently limited on uncomfortable head orientation tracking controlling a pointer on the screen. User fixations are a fast and natural input method for VR/MR interaction. Previously, eye tracking in mobile VR suffered from low accuracy, long processing time and the need for hardware add-ons such as anti-reflective lens coating and infrared emitters. We present an innovative mobile VR eye tracking methodology utilizing only the eye images from the front-facing (selfie) camera through the headset’s lens, without any modifications. Our system first enhances the low-contrast, poorly lit eye images by applying a pipeline of customised low level image enhancements suppressing obtrusive lens reflections. We then propose an iris region-of-interest detection algorithm that is run only once. This increases the iris tracking speed by significantly reducing the iris search space in mobile devices. We iteratively fit a customised geometric model to the iris to refine its coordinates. We display a thin bezel of light at the top edge of the screen for constant illumination. A confidence metric calculates the probability of successful iris detection, based on knowledge from previous work and experimentall validated heuristics. Calibration and linear gaze mapping between the estimated iris centroid and physical pixels on the screen results in low latency, real-time iris tracking. A formal study confirmed that our system’s accuracy is similar to eye trackers in commercial VR headsets in the central part of the headset’s field-of-view in optimal illumination conditions. In a VR game, gaze-driven user completion time was as fast as with head tracked interaction, without the need for consecutive head motions. In a VR panorama viewer, users could successfully switch between panoramas using gaze.en
ΠερίληψηΟι μέθοδοι εισόδου για αλληλεπίδραση του χρήστη με εικονικά (VR) ή περιβάλλοντα επαυξημένης/μεικτής πραγματικότητας (MR) μέσω κινητής συσκευής (smartphone) περιορίζονται κυρίως σε άβολες περιστροφικές κινήσεις του κεφαλιού για τον έλεγχο ενός δείκτη στην οθόνη. Η ανίχνευση της εστίασης του βλέμματος (eye-tracking) είναι ένας γρήγορος και φυσικός τρόπος αλληλεπίδρασης σύμφωνα με προηγούμενες έρευνες. Η αξιοποίηση του βλέμματος σε VR έχει υπάρξει προβληματική, καθώς προηγούμενες υλοποιήσεις προσέφεραν χαμηλή ακρίβεια, υψηλή καθυστέρηση και επιπλέον υλικό (hardware) ή τροποποιήσεις του ήδη υπάρχοντος, όπως για παράδειγμα υπέρυθρες κάμερες και φακοί με αντι-ανακλαστικές στρώσεις. Παρουσιάζουμε μια πρωτοπόρα μεθοδολογία ανίχνευσης βλέμματος, χρησιμοποιώντας μόνο την καταγραφή της μπροστινής κάμερας ενός σύγχρονου smartphone, χωρίς κάποια τροποποίηση. Το σύστημα μας αρχικά βελτιώνει την ευκρίνεια του ματιού στις καταγραφόμενες εικόνες λόγω του μη επαρκούς φωτισμού, καταστέλλοντας τις έντονες αντανακλάσεις που προσπίπτουν στο μάτι και εκτελώντας μια σειρά αλγοριθμικών βελτιώσεων. Στη συνέχεια παρουσιάζουμε έναν έξυπνο αλγόριθμο αποκοπής της “περιοχής ενδιαφέροντος” της εικόνας (region of interest) στην οποία κινείται το μάτι ώστε να μειώσουμε τον υπολογιστικό φόρτο. Αφού έχει καθοριστεί η περιοχή ενδιαφέροντος, προσαρμόζουμε επαναληπτικά για κάθε εικόνα ένα γεωμετρικό μοντέλο στην ίριδα, ώστε να προσδιορίσουμε τις συντεταγμένες του κέντρου της. Ορίζουμε έναν “δείκτη εμπιστοσύνης” (confidence metric), ο οποίος υπολογίζει την πιθανότητα επιτυχούς ή μη αναγνώρισης της ίριδας, βασιζόμενοι σε γνώση από προηγούμενη έρευνα αλλά και πειραματικά επαληθευμένες υποθέσεις. Η διαδικασία βαθμονόμησης (calibration) και γραμμικής μετατροπής συντεταγμένων της ίριδας σε συντεταγμένες στην οθόνη του κινητού εξασφαλίζουν ανίχνευση βλέμματος με ακρίβεια σε πραγματικό χρόνο. Η μελέτη μας επιβεβαιώνει τα παραπάνω, με την προϋπόθεση ύπαρξης ευνοϊκών συνθηκών φωτισμού του ματιού. Πιο συγκεκριμένα, σε ένα VR παιχνίδι, η ολοκλήρωση ενός task με το βλέμμα αποδείχτηκε εξίσου γρήγορη με το την ολοκλήρωση του ίδιου task με κινήσεις του κεφαλιού, ενώ σε ένα VR panorama viewer, οι χρήστες είχαν τη δυνατότητα να εναλλάσσουν τις προβληθείσες εικόνες με το βλέμμα τους.el
ΤύποςΜεταπτυχιακή Διατριβήel
ΤύποςMaster Thesisen
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by-nc/4.0/en
Ημερομηνία2021-06-22-
Ημερομηνία Δημοσίευσης2021-
Θεματική ΚατηγορίαGaze-trackingen
Θεματική ΚατηγορίαVRen
Θεματική ΚατηγορίαMobile headseten
Θεματική ΚατηγορίαEye-trackingen
Θεματική ΚατηγορίαVirtual Realityen
Θεματική ΚατηγορίαMobile VR en
Βιβλιογραφική ΑναφοράPanagiotis Drakopoulos, "Eye tracking on unmodified mobile VR headsets using the selfie camera", Master Thesis, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021en
Βιβλιογραφική ΑναφοράΠαναγιώτης Δρακόπουλος, "Ανίχνευση εστίασης βλέμματος σε μη τροποποιημένα φορητά VR headsets χρησιμοποιώντας την selfie κάμερα του κινητού", Μεταπτυχιακή Διατριβή, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά