A Wireless haptic system for multisensory texture data capture and vibrotactile feedback representation in virtual realityA Wireless haptic system for multisensory texture data capture and vibrotactile feedback representation in virtual realityΑσύρματο σύστημα για πολυαισθητηριακή καταγραφή δεδομένων υφής και απτική αναπαράσταση μέσω δονήσεων σε εικονική πραγματικότητα Διπλωματική Εργασία Diploma Work 2025-01-302025enThe sense of touch is a fundamental aspect of human interaction with the environment, providing rich perceptual information about surface textures and material properties. As virtual environments increasingly aim to replicate real-world experiences, haptic feedback systems play a critical role in enhancing immersion. However, realistic texture representation remains a significant challenge, due to the complexity of tactile perception and the multi-dimensional nature of textures. This thesis is focused on developing a wireless system capable of capturing, processing and representing real-world textures, by simulating them through vibrotactile feedback. The system leverages a dual-sensor approach, using a MEMS microphone and a three-axis accelerometer to record synchronized audio and vibrational data during barefingertip user interactions with textures. Data preprocessing techniques, including filtering and denoising, isolate meaningful signal components, while adaptive peak detection identifies consistent interaction regions. Features extracted from the processed signals are mapped to vibration frequency and amplitude to drive a Linear Resonant Actuator (LRA), creating perceptually realistic texture representations. The system supports audio-only, accelerometer-only and fused feedback modes, as well as dynamic hand velocity modulation for enhanced realism. A user evaluation in a custom Unity based virtual environment with Leap Motion integration for hand tracking demonstrated the system’s effectiveness in representing three distinct textures: combs with 1 mm and 2 mm tooth spacing and 180-grit sandpaper. Participants achieved texture identification rates of 80%–90%, with the fusion mode providing the most realistic feedback across all textures. Audio features excelled in representing fine textures, while accelerometer features captured coarser patterns more effectively. Although dedicated feature pairs tailored to individual textures offered marginally improved realism, common feature pairs proved sufficient for most applications, balancing simplicity and performance. The findings highlight the potential of combining audio and vibrational data for multimodal texture representation, while also identifying areas for improvement, such as addressing minor looping artifacts and scaling the feature mapping process. This work provides insights into achieving perceptually meaningful and immersive texture experiences, with applications in virtual reality, telepresence and tactile simulation.Η αίσθηση της αφής αποτελεί θεμελιώδη πτυχή της ανθρώπινης αλληλεπίδρασης με το περιβάλλον, παρέχοντας λεπτομερείς πληροφορίες για την υφή και τις ιδιότητες των υλικών. Καθώς τα εικονικά περιβάλλοντα στοχεύουν ολοένα και περισσότερο στην αναπαραγωγή εμπειριών του πραγματικού κόσμου, τα συστήματα απτικής ανάδρασης παίζουν καθοριστικό ρόλο στην ενίσχυση της εμβύθισης. Ωστόσο, η ρεαλιστική αναπαράσταση των υφών αποτελεί μια σημαντική πρόκληση, λόγω της πολυπλοκότητας της απτικής αντίληψης και της πολυδιάστατης φύσης των υφών. Η παρούσα διπλωματική εργασία επικεντρώνεται στην ανάπτυξη ενός ασύρματου συστήματος ικανού να καταγράφει, να επεξεργάζεται και να αναπαριστα υφές του πραγματικού κόσμου, προσομοιώνοντάς τις με ανάδραση μέσω δονήσεων. Το σύστημα χρησιμοποιεί δύο αισθητήρες, συνδυάζοντας ένα MEMS μικρόφωνο και ένα επιταχυνσιόμετρο τριών αξόνων για την καταγραφή συγχρονισμένων δεδομένων ήχου και δονήσεων κατά τη διάρκεια αλληλεπιδράσεων χρηστών με υφές μέσω άμεσης επαφής με το δάχτυλο. Τεχνικές προεπεξεργασίας δεδομένων, όπως το φιλτράρισμα και η μείωση θορύβου, απομονώνουν τα σημαντικά στοιχεία των σημάτων, ενώ μέσω προσαρμοστικής ανίχνευσης κορυφών εντοπίζονται σταθερές περιοχές αλληλεπίδρασης. Από τα επεξεργασμένα σήματα εξάγονται χαρακτηριστικά, τα οποία αντιστοιχίζονται σε συχνότητα και πλάτος δόνησης, ενεργοποιώντας έναν Γραμμικό Δονητή Συντονισμού (LRA) και δημιουργώντας ρεαλιστικές αναπαραστάσεις υφών. Το σύστημα υποστηρίζει λειτουργίες ανάδρασης βασισμένες αποκλειστικά στον ήχο, αποκλειστικά στο επιταχυνσιόμετρο ή στον συνδυασμό των δύο, καθώς και δυναμική προσαρμογή της ανάδρασης με βάση την ταχύτητα του χεριού, ενισχύοντας το ρεαλισμό. Μια αξιολόγηση χρηστών σε ένα εξατομικευμένο εικονικό περιβάλλον που αναπτύχθηκε με τη χρήση της πλατφόρμας Unity, με ενσωμάτωση του Leap Motion για την ανίχνευση και παρακολούθηση της κίνησης του χεριού, ανέδειξε την αποτελεσματικότητα του συστήματος στην αναπαράσταση τριών υφών: χτενών με απόσταση δοντιών 1 mm και 2 mm και γυαλόχαρτου 180 grit. Οι συμμετέχοντες πέτυχαν ποσοστά αναγνώρισης υφών της τάξης του 80%–90%, με τη λειτουργία συνδυασμού να προσφέρει την πιο ρεαλιστική ανάδραση για όλες τις υφές. Τα χαρακτηριστικά του ήχου αποδείχθηκαν πιο αποτελεσματικά στην αναπαράσταση υφών με μικρές λεπτομέρειες, όπως το γυαλόχαρτο, ενώ τα χαρακτηριστικά του επιταχυνσιόμετρου αποτύπωσαν με μεγαλύτερη ακρίβεια τις τραχύτερες επιφάνειες. Παρόλο που τα εξειδικευμένα ζεύγη χαρακτηριστικών, προσαρμοσμένα σε μεμονωμένες υφές, προσέφεραν μια μικρή βελτίωση στον ρεαλισμό, τα κοινά ζεύγη χαρακτηριστικών αποδείχθηκαν επαρκή για τις περισσότερες εφαρμογές, εξασφαλίζοντας μια καλή ισορροπία μεταξύ απλότητας και απόδοσης. Τα ευρήματα αναδεικνύουν την προοπτική του συνδυασμού δεδομένων ήχου και δονήσεων για πολυτροπική αναπαράσταση υφών, ενώ εντοπίζουν σημεία προς βελτίωση, όπως η αντιμετώπιση μικρών επαναληπτικών ανωμαλιών και η ανάπτυξη της διαδικασίας αντιστοίχισης των χαρακτηριστικών. Η εργασία αυτή παρέχει κατευθύνσεις για την επίτευξη ρεαλιστικών εμπειριών υφής, με εφαρμογές στην εικονική πραγματικότητα, την τηλεπαρουσία και την απτική προσομοίωση.http://creativecommons.org/licenses/by-nc-sa/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνMinadaki_Anna_Dip_2025.pdfChania [Greece]Library of TUC2025-01-30application/pdf19.2 MBfree Minadaki Anna Μηναδακη Αννα Mania Aikaterini Μανια Αικατερινη Zervakis Michail Ζερβακης Μιχαηλ Lagoudakis Michail Λαγουδακης Μιχαηλ Πολυτεχνείο Κρήτης Technical University of Crete Signal processing Texture representation Audio to texture Multisensory Embedded systems Texture rendering Vibrotactile feedback Virtual reality Haptics