Brain computer interface driving movement in a virtual reality game based on EEG signals Brain computer interface driving movement in a virtual reality game based on EEG signals Διεπαφή εγκεφάλου με υπολογιστή για κίνηση σε παιχνίδι εικονικής πραγματικότητας βασισμένο σε σήματα εγκεφαλογραφήματος (EEG) Διπλωματική Εργασία Diploma Work 2024-04-102024enBrain Computer Interfaces (BCIs) are systems that aim to connect the human brain with a computer to control an external application. BCIs rely on external devices that record a user’s bio-signals such as EEG signals. The Motor Imagery paradigm is a mental process where the user simulates a given motor action that can generate unique EEG signal patterns. These patterns can be analyzed and translated into commands for the external application. This emerging technology has seen an expanding use in medical rehabilitation, neurofeedback, control of an exoskeleton and quite recently neurogaming. This thesis focuses on the use of a Brain Computer Interface based on EEG signals with the Motor Imagery paradigm in a virtual reality environment for neurogaming. There are existing software tools such as OpenVibe that offer a straight forward methodology of developing BCIs based on EEG signals. However, they focus on traditional machine learning algorithms to classify the EEG signal and, thus, often lack in performance which is crucial for brain-controlled games that rely on accuracy. For this reason, we have developed a BCI that controls movement in a virtual reality maze game. The BCI relies on the OpenVibe platform to process the EEG signal and generate unique features for classification. To improve the accuracy of the BCI, we developed a Convolutional Neural Network (CNN) to replace the classification system of OpenVibe. To further enhance the performance of our CNN we designed a Wasserstein Generative Adversarial Network to generate artificial EEG features to be used for training. The classified EEG features are then translated into commands for our VR maze game. We have also developed a BCI-based system that enables brain-controlled interaction with in-game props and User Interface menus. We put our BCI to the test by comparing the performance and accuracy of our neural networks offer, to that of OpenVibe’s classification algorithms. We also measure the performance of the system with a varied number of available motor imagery actions. The results have shown that a Deep learning-based classification system improves the accuracy of the BCI compared to OpenVibe.Οι Διεπαφές Εγκεφάλου με Υπολογιστή είναι συστήματα που στοχεύουν την σύνδεση του ανθρώπινου εγκεφάλου με υπολογιστή για τον έλεγχο μιας εξωτερικής εφαρμογής. Οι διεπαφές εγκεφάλου υπολογιστή βασίζονται σε εξωτερικές συσκευές για την καταγραφή των βιοσημάτων ενός χρήστη, όπως τα σήματα εγκεφαλογραφήματος (EEG). Το παράδειγμα Κινητικής Αναπαράστασης είναι μια νοητική διεργασία όπου ο χρήστης προσομοιώνει μια δοθείσα κίνηση για την παραγωγή μοναδικών μοτίβων σημάτων EEG. Τα μοτίβα αυτά μπορούν να αναλυθούν και να μεταφραστούν σε εντολές για την εξωτερική εφαρμογή. Αυτή η αναδυόμενη τεχνολογία παρουσιάζει μια επεκτεινόμενη χρήση στην ιατρική ανάρρωση, στην νευροανάδραση, στον έλεγχο εξωσκελετού και πρόσφατα στα νευροπαιχνίδια. Αυτή η διπλωματική εστιάζει στην χρήση μιας Διεπαφής Εγκεφάλου με Υπολογιστή με το παράδειγμα Κινητικής Αναπαράστασης βασισμένο σε σήματα εγκεφαλογραφήματος σε περιβάλλον εικονικής πραγματικότητας για νευροπαιχνίδι. Υπάρχουν εργαλεία λογισμικού, όπως το OpenVibe, που προσφέρουν μια ευθύς μεθοδολογία για την ανάπτυξη διεπαφών εγκεφάλου υπολογιστή βασισμένο σε EEG σήματα. Ωστόσο, εστιάζουν στην χρήση παραδοσιακών αλγορίθμων μηχανικής μάθησης για την κατηγοριοποίηση του σήματος και έτσι, συχνά παρουσιάζουν μειωμένη απόδοση που είναι κρίσιμη για εγκεφαλικά ελεγχόμενα παιχνίδια που βασίζονται στην ακρίβεια. Για αυτόν τον λόγο, έχουμε αναπτύξει μια διεπαφή εγκεφάλου υπολογιστή που ελέγχει κίνηση σε ένα παιχνίδι λαβυρίνθου εικονικής πραγματικότητας. Η διεπαφή εγκεφάλου υπολογιστή βασίζεται στην πλατφόρμα OpenVibe για την επεξεργασία του EEG σήματος και την παραγωγή μοναδικών EEG χαρακτηριστικών που θα χρησιμοποιηθούν για κατηγοριοποίηση. Για την βελτίωση της ακρίβειας της διεπαφής εγκεφάλου υπολογιστή, αναπτύξαμε ένα συνελικτικό νευρωνικό δίκτυο που αντικαθιστά το σύστημα κατηγοριοποίησης του OpenVibe. Για την περαιτέρω ενίσχυση της απόδοσης του νευρωνικού δικτύου μας, σχεδιάσαμε ένα Wasserstein παραγωγικό ανταγωνιστικό δίκτυο που θα παράγει τεχνητά EEG χαρακτηριστικά για την εκπαίδευση του συνελικτικού δικτύου. Έπειτα, τα κατηγοριοποιημένα EEG χαρακτηριστικά μεταφράζονται σε εντολές για το παιχνίδι λαβυρίνθου εικονικής πραγματικότητας. Επίσης, έχουμε σχεδιάσει ένα σύστημα βασισμένο στην διεπαφή εγκεφάλου υπολογιστή που επιτρέπει την εγκεφαλικά ελεγχόμενη αλληλεπίδραση με αντικείμενα του παιχνιδιού και μενού διεπαφής χρήστη. Εξετάσαμε την απόδοση της υλοποιημένης διεπαφής εγκεφάλου υπολογιστή, συγκρίνοντας την ακρίβεια των νευρωνικών δικτύων μας με αυτήν που προσφέρουν οι αλγόριθμοι κατηγοριοποίησης του OpenVibe. Επιπλέον, καταγράψαμε την απόδοση του συστήματος με ποικίλο αριθμό διαθέσιμων ενεργειών κινητικής αναπαράστασης. Τα αποτελέσματα παρουσιάζουν αύξηση στην ακρίβεια της διεπαφής εγκεφάλου υπολογιστή με την χρήση ενός συστήματος κατηγοριοποίησης βασισμένο στην βαθιά μάθηση σε σύγκριση με το OpenVibe.http://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνRamiotis_Georgios_Dip_2024.pdfChania [Greece]Library of TUC2024-04-10application/pdf20.2 MBfree Ramiotis Georgios Ραμιωτης Γεωργιος Mania Aikaterini Μανια Αικατερινη Karystinos Georgios Καρυστινος Γεωργιος Lagoudakis Michail Λαγουδακης Μιχαηλ Πολυτεχνείο Κρήτης Technical University of Crete Deep learning EEG signals Σήματα εγκεφαλογραφήματος Brain computer interfaces Διεπαφές εγκεφάλου υπολογιστή