Eye tracking on unmodified mobile VR headsets using the selfie cameraEye tracking on unmodified mobile VR headsets using the selfie cameraΑνίχνευση εστίασης βλέμματος σε μη τροποποιημένα φορητά VR headsets χρησιμοποιώντας την selfie κάμερα του κινητού Μεταπτυχιακή Διατριβή Master Thesis 2021-06-222021enInput methods for interaction in smartphone-based virtual and mixed reality (VR/MR) are currently limited on uncomfortable head orientation tracking controlling a pointer on the screen. User fixations are a fast and natural input method for VR/MR interaction. Previously, eye tracking in mobile VR suffered from low accuracy, long processing time and the need for hardware add-ons such as anti-reflective lens coating and infrared emitters. We present an innovative mobile VR eye tracking methodology utilizing only the eye images from the front-facing (selfie) camera through the headset’s lens, without any modifications. Our system first enhances the low-contrast, poorly lit eye images by applying a pipeline of customised low level image enhancements suppressing obtrusive lens reflections. We then propose an iris region-of-interest detection algorithm that is run only once. This increases the iris tracking speed by significantly reducing the iris search space in mobile devices. We iteratively fit a customised geometric model to the iris to refine its coordinates. We display a thin bezel of light at the top edge of the screen for constant illumination. A confidence metric calculates the probability of successful iris detection, based on knowledge from previous work and experimentall validated heuristics. Calibration and linear gaze mapping between the estimated iris centroid and physical pixels on the screen results in low latency, real-time iris tracking. A formal study confirmed that our system’s accuracy is similar to eye trackers in commercial VR headsets in the central part of the headset’s field-of-view in optimal illumination conditions. In a VR game, gaze-driven user completion time was as fast as with head tracked interaction, without the need for consecutive head motions. In a VR panorama viewer, users could successfully switch between panoramas using gaze.Οι μέθοδοι εισόδου για αλληλεπίδραση του χρήστη με εικονικά (VR) ή περιβάλλοντα επαυξημένης/μεικτής πραγματικότητας (MR) μέσω κινητής συσκευής (smartphone) περιορίζονται κυρίως σε άβολες περιστροφικές κινήσεις του κεφαλιού για τον έλεγχο ενός δείκτη στην οθόνη. Η ανίχνευση της εστίασης του βλέμματος (eye-tracking) είναι ένας γρήγορος και φυσικός τρόπος αλληλεπίδρασης σύμφωνα με προηγούμενες έρευνες. Η αξιοποίηση του βλέμματος σε VR έχει υπάρξει προβληματική, καθώς προηγούμενες υλοποιήσεις προσέφεραν χαμηλή ακρίβεια, υψηλή καθυστέρηση και επιπλέον υλικό (hardware) ή τροποποιήσεις του ήδη υπάρχοντος, όπως για παράδειγμα υπέρυθρες κάμερες και φακοί με αντι-ανακλαστικές στρώσεις. Παρουσιάζουμε μια πρωτοπόρα μεθοδολογία ανίχνευσης βλέμματος, χρησιμοποιώντας μόνο την καταγραφή της μπροστινής κάμερας ενός σύγχρονου smartphone, χωρίς κάποια τροποποίηση. Το σύστημα μας αρχικά βελτιώνει την ευκρίνεια του ματιού στις καταγραφόμενες εικόνες λόγω του μη επαρκούς φωτισμού, καταστέλλοντας τις έντονες αντανακλάσεις που προσπίπτουν στο μάτι και εκτελώντας μια σειρά αλγοριθμικών βελτιώσεων. Στη συνέχεια παρουσιάζουμε έναν έξυπνο αλγόριθμο αποκοπής της “περιοχής ενδιαφέροντος” της εικόνας (region of interest) στην οποία κινείται το μάτι ώστε να μειώσουμε τον υπολογιστικό φόρτο. Αφού έχει καθοριστεί η περιοχή ενδιαφέροντος, προσαρμόζουμε επαναληπτικά για κάθε εικόνα ένα γεωμετρικό μοντέλο στην ίριδα, ώστε να προσδιορίσουμε τις συντεταγμένες του κέντρου της. Ορίζουμε έναν “δείκτη εμπιστοσύνης” (confidence metric), ο οποίος υπολογίζει την πιθανότητα επιτυχούς ή μη αναγνώρισης της ίριδας, βασιζόμενοι σε γνώση από προηγούμενη έρευνα αλλά και πειραματικά επαληθευμένες υποθέσεις. Η διαδικασία βαθμονόμησης (calibration) και γραμμικής μετατροπής συντεταγμένων της ίριδας σε συντεταγμένες στην οθόνη του κινητού εξασφαλίζουν ανίχνευση βλέμματος με ακρίβεια σε πραγματικό χρόνο. Η μελέτη μας επιβεβαιώνει τα παραπάνω, με την προϋπόθεση ύπαρξης ευνοϊκών συνθηκών φωτισμού του ματιού. Πιο συγκεκριμένα, σε ένα VR παιχνίδι, η ολοκλήρωση ενός task με το βλέμμα αποδείχτηκε εξίσου γρήγορη με το την ολοκλήρωση του ίδιου task με κινήσεις του κεφαλιού, ενώ σε ένα VR panorama viewer, οι χρήστες είχαν τη δυνατότητα να εναλλάσσουν τις προβληθείσες εικόνες με το βλέμμα τους.http://creativecommons.org/licenses/by-nc/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνDrakopoulos_Panagiotis_MSc_2021.pdfIEEE VR 2020compressed.mp4Xcode Project.zipChania [Greece]Library of TUC2021-06-22Chania [Greece]Library of TUC2021-06-22Chania [Greece]Library of TUC2021-06-22application/pdfvideo/mp4application/zip15.0 MB16.9 MB394.1 MBfreefreefreeDrakopoulos_Panagiotis_MSc_2021.pdfIEEE VR 2020compressed.mp4Xcode Project.zipChania [Greece]Library of TUC2021-06-22Chania [Greece]Library of TUC2021-06-22Chania [Greece]Library of TUC2021-06-22application/pdfvideo/mp4application/zip15.0 MB16.9 MB394.1 MBfreefreefreeDrakopoulos_Panagiotis_MSc_2021.pdfIEEE VR 2020compressed.mp4Xcode Project.zipChania [Greece]Library of TUC2021-06-22Chania [Greece]Library of TUC2021-06-22Chania [Greece]Library of TUC2021-06-22application/pdfvideo/mp4application/zip15.0 MB16.9 MB394.1 MBfreefreefree Drakopoulos Panagiotis Δρακοπουλος Παναγιωτης Mania Aikaterini Μανια Αικατερινη Balas Costas Μπαλας Κωστας Deligiannakis Antonios Δεληγιαννακης Αντωνιος Πολυτεχνείο Κρήτης Technical University of Crete Gaze-tracking VR Mobile headset Eye-tracking Virtual Reality Mobile VR