Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Wireless embedded system on a glove for hand motion capture and tactile feedback in 3D environments

Effraimidis Michail

Simple record


URIhttp://purl.tuc.gr/dl/dias/B3DAEBC7-20A3-4C8B-9C94-CC75BF87580F-
Identifierhttps://doi.org/10.26233/heallink.tuc.84022-
Languageen-
Extent91 pagesen
TitleWireless embedded system on a glove for hand motion capture and tactile feedback in 3D environmentsen
TitleΑσύρματο ενσωματωμένο σύστημα σε γάντι για καταγραφή κίνησης χεριού και αίσθηση αφής σε τρισδιάστατα περιβάλλοντα el
CreatorEffraimidis Michailen
CreatorΕυφραιμιδης Μιχαηλel
Contributor [Thesis Supervisor]Mania Aikaterinien
Contributor [Thesis Supervisor]Μανια Αικατερινηel
Contributor [Committee Member]Kalaitzakis Konstantinosen
Contributor [Committee Member]Καλαϊτζακης Κωνσταντινοςel
Contributor [Committee Member]Deligiannakis Antoniosen
Contributor [Committee Member]Δεληγιαννακης Αντωνιοςel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryIn the last couple decades the rise of haptic technologies has brought new possibilities in the area of remote interaction with virtual objects. Haptic technologies are dominant in mobile technologies including phones, game controllers and telecommunications. Virtual reality technologies are becoming progressively cheaper allowing emergent haptic technologies novel ideas to act as a bridge between human machine interactions. However, wearable haptics compatible with virtual reality applications are currently achieved using wired systems which heavily restrict user movement. This thesis tackles this issue by creating a wireless embedded system on a glove with hand motion capture providing tactile feedback in a 3D environment. For this purpose, the embedded implementation has multiple components attached to it. First, a Raspberry Pi was attached to the glove to control multiple modules and communicate with the computer via Wi-Fi. Then, five flex sensors were attached on top of each finger of the glove to detect the rotation of the fingers. Furthermore, a base located on top of the hand had a 3D printed triangular base attached holding three infrared LEDs. A USB camera with an infrared pass filter were used to detect the position of the infrared LEDs providing a 3D space hand tracking capability. A gyroscope-accelerometer was also placed near the printed base to detect the pitch and roll rotations of the hand. A vibration motor was attached on the back of each finger to provide a tactile sensation for a total of five points of haptic stimulation. Data gathered from all those components was then used to create a digital representation of the user’s hand rendered in a Unity 3D demo application which moves according to the user’s hand movements. This digital representation can interact with other digital objects present in this application’s level which upon collision provide tactile feedback in the form of vibration via the vibration motors. This implementation successfully tested scalable and independent vibration intensity on all five motors using pulse width modulation and dual motor drivers. It also provided an adequate hand tracking system by using infrared tracking technology and a gyroscope-accelerometer without the need of a readily available commercial solution. This thesis also analyzes the limitations of this wireless implementation and suggests improvements for future solutions.en
Content SummaryΤις τελευταίες δύο δεκαετίες, η άνοδος των απτικών τεχνολογιών ανέδειξε νέες δυνατότητες στην περιοχή απομακρυσμένης αλληλεπίδρασης με ψηφιακά αντικείμενα. Με τον όρο απτική τεχνολογία, γνωστή και ως κιναισθητική επικοινωνία ή τρισδιάστατη αφή, αναφερόμαστε σε οποιαδήποτε τεχνολογία η οποία μπορεί να δημιουργήσει μία εμπειρία αφής εφαρμόζοντας δυνάμεις, δονήσεις ή κινήσεις στον χρήστη. Οι τεχνολογίας εικονικής πραγματικότητας γίνονται σταδιακά φθηνότερες επιτρέποντας σε αναδυούμενες απτικές τεχνολογίες πρωτοπόρες ιδέες για να ενεργήσουν σαν γέφυρα μεταξύ αλληλεπιδράσεων ανθρώπων μηχανής. Παρόλ αυτά, φορετά απτικά συμβατά με εφαρμογές εικονικής πραγματικότητας υλοποιούνται με χρήση ενσύρματων συστημάτων τα οποία περιορίζουν αρκετά τις κινήσεις του χρήστη. Η διπλωματική αυτή αντιμετωπίζει αυτό το ζήτημα δημιουργώντας ένα ασύρματο ενσωματωμένο σύστημα σε γάντι για καταγραφή κίνησης χεριού και αίσθηση αφής σε τρισδιάστατα περιβάλλοντα. Για αυτό το σκοπό, αυτή η ενσωματωμένη υλοποίηση έχει πολλαπλά έξαρτήματα συνδεδεμένα πάνω της. Αρχικά, ένα Raspberry Pi συνδέθηκε στο γάντι το οποίο ελέγχει πολλαπλά εξαρτήματα και επικοινωνεί με τον υπολογιστή μέσω δικτύου Wi-Fi. Έπειτα, πέντε εύκαμπτοι αισθητήρες τοποθετήθηκαν πάνω από κάθε δάχτυλο του γαντιού για να εντοπίζουν την περιστροφή των δαχτύλων. Επιπλέον, μία βάση που βρίσκεται στο πάνω μέρος του χεριού έχει κολλημένη μία τρισδιάστατα εκτυπωμένη τριγωνική βάση που περιέχει τρία υπέρυθρα LED. Μία USB κάμερα με φίλτρο υπέρυθρης διέλευσης χρησιμοποιήθηκαν για να εντοπίζουν την θέση των υπέρυθρων LED παρέχοντας δυνατότητες τρισδιάστατης καταγραφής κίνησης του χεριού. Επίσης, ένα γυροσκόπιο-επιταχυνσιόμετρο τοποθετήθηκε πάνω από την εκτυπωμένη βάση με σκοπό τον εντοπισμό pitch και roll περιστροφών του χεριού. Ένα μοτέρ δόνησης τοποθετήθηκε πίσω από κάθε δάχτυλο προσδίδοντας μία αίσθηση αφής σε συνολικά πέντε σημεία απτικής διέγερσης. Δεδομένα που συλλέχτηκαν από αυτά τα εξαρτήματα χρησιμοποιήθηκαν για να δημιουργήσουν μία ψηφιακή αναπαράσταση του χεριού του χρήστη σχεδιασμένο σε μία demo εφαρμογή στο πρόγραμμα Unity 3D το οποίο κινείται σύμφωνα με τις κινήσεις του χεριού του χρήστη. Αυτή η ψηφιακή αναπαράσταση μπορεί να αλληλεπιδράσει με άλλα ψηφιακά αντικείμενα που βρίσκονται στο επίπεδο της εφαρμογής τα οποία όταν έρθουν σε μεταξύ τους σύγκρουση προσδίδουν μία αίσθηση αφής με μορφή δονήσεων μέσω των μοτέρ δόνησης. Αυτή η υλοποίηση δοκίμασε με επιτυχία κλιμακωτές και ανεξάρτητες μεταξύ τους εντάσεις δόνησης και στα πέντε μοτέρ με χρήση διαμόρφωση πλάτος παλμού και οδηγών διπλών μοτέρ. Επίσης παρέχεται ένα ικανοποιητικό σύστημα καταγραφή κίνησης χεριού χρησιμοποιώντας τεχνολογία υπέρυθρης καταγραφής και χρήση γυροσκοπίου-επιταχυνσιομέτρου χωρίς να χρησιμοποιείται μία έτοιμη εμπορική υλοποίηση. Επίσης αυτή η διπλωματική αναλύει τους περιορισμούς αυτής της ασύρματης υλοποίησης και προτείνει βελτιώσεις για μελλοντικές λύσεις.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by-nc-nd/4.0/en
Date of Item2019-12-09-
Date of Publication2019-
SubjectInfrareden
SubjectUnity 3Den
SubjectRaspberry Pien
SubjectHaptic gloveen
SubjectHand motion captureen
SubjectEmbeddeden
Bibliographic CitationΜιχαήλ Ευφραιμίδης, "Ασύρματο ενσωματωμένο σύστημα σε γάντι για καταγραφή κίνησης χεριού και αίσθηση αφής σε τρισδιάστατα περιβάλλοντα ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2019el
Bibliographic CitationMichail Effraimidis, "Wireless embedded system on a glove for hand motion capture and tactile feedback in 3D environments", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2019en

Available Files

Services

Statistics