Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

A multimodal head-worn augmented reality serious gaming experience based on dynamic difficulty adjustment

Giariskanis Fotios

Simple record


URIhttp://purl.tuc.gr/dl/dias/3624EAAE-5C65-4A22-9B72-039D0C6A7854-
Identifierhttps://doi.org/10.26233/heallink.tuc.96937-
Languageen-
Extent142 pagesen
Extent39.4 megabytesen
TitleA multimodal head-worn augmented reality serious gaming experience based on dynamic difficulty adjustmenten
TitleΠολυμεσικό σοβαρό παιχνίδι με γυαλιά επαυξημένης πραγματικότητας βασισμένο σε δυναμικά προσαρμοζόμενο επίπεδο δυσκολίαςel
CreatorGiariskanis Fotiosen
CreatorΓιαρισκανης Φωτιοςel
Contributor [Thesis Supervisor]Mania Aikaterinien
Contributor [Thesis Supervisor]Μανια Αικατερινηel
Contributor [Committee Member]Chalkiadakis Georgiosen
Contributor [Committee Member]Χαλκιαδακης Γεωργιοςel
Contributor [Committee Member]Γιαννακακης Γεωργιοςel
Contributor [Committee Member]Yannakakis Georgiosen
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
DescriptionΜεταπτυχιακή Διατριβήel
Content SummaryThis master's thesis explores the incorporation of Dynamic Difficulty Adjustment (DDA) and Conversational User Interfaces (CUIs) within the relatively unexplored domain of head-worn Audio Augmented Reality (AAR). The aim is to provide an engaging AAR experience by combining various interaction modalities such as hand and gaze interaction, spatial sound, and voice input. The challenge lies in seamlessly integrating these interaction modalities to create a captivating experience in AAR. This thesis presents the design, implementation, and evaluation of an innovative, flow-aspired AAR experience for head-worn AAR, presented as a gamified historical narrative. The proposed approach integrates user-driven DDA, spatialized auditory feedback, gaze-based interaction, and location-specific musical elements. The DDA component utilizes heuristic distributions based on factors such as round completion time, hint usage, remaining time, and additional time needed. These factors are weighted to calculate an overall score, enabling players of varying skill levels to enjoy a customized difficulty level. Upon completing AAR missions, users can compose their own personalized soundscape. This AAR experience successfully addresses the challenges associated with personalized AAR interactions. It introduces a voice-assisted system that employs accurate hand and gaze interaction, even in the dynamic setting of a busy museum environment. Through thorough evaluation, it has been demonstrated that the combination of voice, hand, and gaze interaction yields higher usability compared to voice-only and gaze-only interaction methods. The DDA component effectively matches players' individual styles, ensuring sustained engagement throughout the experience.en
Content SummaryΗ παρούσα μεταπτυχιακή διπλωματική εργασία εξετάζει την ενσωμάτωση της Δυναμικά Προσαρμοζόμενης Δυσκολίας (DDA) και των Συνομιλητικών Διεπαφών Χρήστη (CUIs) στο σχετικά αναξιοποίητο πεδίο της Ακουστικής Επαυξημένης Πραγματικότητας (AAR) για συσκευές που τοποθετούνται στο κεφάλι. Σκοπός αυτής της εργασίας είναι να παρέχει μία συναρπαστική εμπειρία AAR με τη συνδυαστική χρήση διάφορων μορφών αλληλεπίδρασης, όπως η αλληλεπίδραση με το χέρι και το βλέμμα, ο χωρικός ήχος και οι φωνητικές εντολές. Η πρόκληση έγκειται στην αρμονική ενσωμάτωση αυτών των μορφών αλληλεπίδρασης για τη δημιουργία μιας συναρπαστικής AAR εμπειρίας. Η παρούσα εργασία παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση μιας καινοτόμου εμπειρίας AAR για συσκευές που εφαρμόζονται στο κεφάλι, βασισμένη σε μία παιγνιωδή ιστορική αφήγηση. Η προτεινόμενη προσέγγιση ενσωματώνει το DDA, τη χώρο-θεματική ανατροφοδότηση ήχου, την αλληλεπίδραση βλέμματος και μουσικά στοιχεία σε συγκεκριμένες τοποθεσίες. To DDA χρησιμοποιεί ευριστικές κατανομές βασισμένες σε παραμέτρους όπως ο χρόνος ολοκλήρωσης του γύρου, η χρήση βοήθειας, ο υπολειπόμενος χρόνος και ο απαιτούμενος επιπλέον χρόνος. Αυτές οι παράμετροι εκτιμώνται με συγκεκριμένα βάρη για τον υπολογισμό μίας συνολικής βαθμολογίας, επιτρέποντας σε παίκτες με διαφορετικά επίπεδα δεξιοτήτων να απολαύσουν ένα εξατομικευμένο επίπεδο δυσκολίας. Μετά την ολοκλήρωση των αποστολών της AAR εμπειρίας, οι χρήστες μπορούν να δημιουργήσουν το δικό τους εξατομικευμένο ηχοτοπίο. Αυτή η εμπειρία AAR αντιμετωπίζει με επιτυχία τις προκλήσεις που σχετίζονται με τις εξατομικευμένες αλληλεπιδράσεις στην AAR και παρουσιάζει ένα σύστημα βοηθούμενο από φωνή που χρησιμοποιεί ακριβή αλληλεπίδραση με το χέρι, το βλέμμα, την φωνή, ακόμα και στο δυναμικό περιβάλλον ενός πολυσύχναστου μουσείου. Μέσω λεπτομερούς αξιολόγησης, αποδείχθηκε ότι ο συνδυασμός φωνής, χεριού και βλέμματος οδηγεί σε μεγαλύτερη ευχρηστία σε σύγκριση με τις μεμονωμένες μεθόδους αλληλεπίδρασης. Το DDA εξυπηρετεί αποτελεσματικά τις ατομικές ανάγκες των παικτών, εξασφαλίζοντας την συμμετοχή τους στην εμπειρεία καθ’ όλη τη διάρκεια της.el
Type of ItemΜεταπτυχιακή Διατριβήel
Type of ItemMaster Thesisen
Licensehttp://creativecommons.org/licenses/by-nc-nd/4.0/en
Date of Item2023-08-04-
Date of Publication2023-
SubjectAugmented Reality (AR)en
SubjectDynamic Difficulty Adjustment (DDA)en
SubjectSerious Games (SG)en
Bibliographic CitationFotios Giariskanis, "A multimodal head-worn augmented reality serious gaming experience based on dynamic difficulty adjustment", Master Thesis, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023en
Bibliographic CitationΦώτιος Γιαρισκάνης, "Πολυμεσικό σοβαρό παιχνίδι με γυαλιά επαυξημένης πραγματικότητας βασισμένο σε δυναμικά προσαρμοζόμενο επίπεδο δυσκολίας", Μεταπτυχιακή Διατριβή, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023el

Available Files

Services

Statistics