Το έργο με τίτλο Διεπαφή εγκεφάλου με υπολογιστή για κίνηση σε παιχνίδι εικονικής πραγματικότητας βασισμένο σε σήματα εγκεφαλογραφήματος (EEG) από τον/τους δημιουργό/ούς Ramiotis Georgios διατίθεται με την άδεια Creative Commons Αναφορά Δημιουργού 4.0 Διεθνές
Βιβλιογραφική Αναφορά
Γεώργιος Ραμιώτης, "Διεπαφή εγκεφάλου με υπολογιστή για κίνηση σε παιχνίδι εικονικής πραγματικότητας βασισμένο σε σήματα εγκεφαλογραφήματος (EEG)", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024
https://doi.org/10.26233/heallink.tuc.99433
Οι Διεπαφές Εγκεφάλου με Υπολογιστή είναι συστήματα που στοχεύουν την σύνδεση του ανθρώπινου εγκεφάλου με υπολογιστή για τον έλεγχο μιας εξωτερικής εφαρμογής. Οι διεπαφές εγκεφάλου υπολογιστή βασίζονται σε εξωτερικές συσκευές για την καταγραφή των βιοσημάτων ενός χρήστη, όπως τα σήματα εγκεφαλογραφήματος (EEG). Το παράδειγμα Κινητικής Αναπαράστασης είναι μια νοητική διεργασία όπου ο χρήστης προσομοιώνει μια δοθείσα κίνηση για την παραγωγή μοναδικών μοτίβων σημάτων EEG. Τα μοτίβα αυτά μπορούν να αναλυθούν και να μεταφραστούν σε εντολές για την εξωτερική εφαρμογή. Αυτή η αναδυόμενη τεχνολογία παρουσιάζει μια επεκτεινόμενη χρήση στην ιατρική ανάρρωση, στην νευροανάδραση, στον έλεγχο εξωσκελετού και πρόσφατα στα νευροπαιχνίδια.Αυτή η διπλωματική εστιάζει στην χρήση μιας Διεπαφής Εγκεφάλου με Υπολογιστή με το παράδειγμα Κινητικής Αναπαράστασης βασισμένο σε σήματα εγκεφαλογραφήματος σε περιβάλλον εικονικής πραγματικότητας για νευροπαιχνίδι. Υπάρχουν εργαλεία λογισμικού, όπως το OpenVibe, που προσφέρουν μια ευθύς μεθοδολογία για την ανάπτυξη διεπαφών εγκεφάλου υπολογιστή βασισμένο σε EEG σήματα. Ωστόσο, εστιάζουν στην χρήση παραδοσιακών αλγορίθμων μηχανικής μάθησης για την κατηγοριοποίηση του σήματος και έτσι, συχνά παρουσιάζουν μειωμένη απόδοση που είναι κρίσιμη για εγκεφαλικά ελεγχόμενα παιχνίδια που βασίζονται στην ακρίβεια. Για αυτόν τον λόγο, έχουμε αναπτύξει μια διεπαφή εγκεφάλου υπολογιστή που ελέγχει κίνηση σε ένα παιχνίδι λαβυρίνθου εικονικής πραγματικότητας. Η διεπαφή εγκεφάλου υπολογιστή βασίζεται στην πλατφόρμα OpenVibe για την επεξεργασία του EEG σήματος και την παραγωγή μοναδικών EEG χαρακτηριστικών που θα χρησιμοποιηθούν για κατηγοριοποίηση. Για την βελτίωση της ακρίβειας της διεπαφής εγκεφάλου υπολογιστή, αναπτύξαμε ένα συνελικτικό νευρωνικό δίκτυο που αντικαθιστά το σύστημα κατηγοριοποίησης του OpenVibe. Για την περαιτέρω ενίσχυση της απόδοσης του νευρωνικού δικτύου μας, σχεδιάσαμε ένα Wasserstein παραγωγικό ανταγωνιστικό δίκτυο που θα παράγει τεχνητά EEG χαρακτηριστικά για την εκπαίδευση του συνελικτικού δικτύου. Έπειτα, τα κατηγοριοποιημένα EEG χαρακτηριστικά μεταφράζονται σε εντολές για το παιχνίδι λαβυρίνθου εικονικής πραγματικότητας. Επίσης, έχουμε σχεδιάσει ένα σύστημα βασισμένο στην διεπαφή εγκεφάλου υπολογιστή που επιτρέπει την εγκεφαλικά ελεγχόμενη αλληλεπίδραση με αντικείμενα του παιχνιδιού και μενού διεπαφής χρήστη. Εξετάσαμε την απόδοση της υλοποιημένης διεπαφής εγκεφάλου υπολογιστή, συγκρίνοντας την ακρίβεια των νευρωνικών δικτύων μας με αυτήν που προσφέρουν οι αλγόριθμοι κατηγοριοποίησης του OpenVibe. Επιπλέον, καταγράψαμε την απόδοση του συστήματος με ποικίλο αριθμό διαθέσιμων ενεργειών κινητικής αναπαράστασης. Τα αποτελέσματα παρουσιάζουν αύξηση στην ακρίβεια της διεπαφής εγκεφάλου υπολογιστή με την χρήση ενός συστήματος κατηγοριοποίησης βασισμένο στην βαθιά μάθηση σε σύγκριση με το OpenVibe.