Το έργο με τίτλο Επιλεκτική αναγνώριση και επεξεργασία ίχνους ανωμαλιών με επεξεργασία εικόνας και τεχνητή μάθηση, από δεδομένα ενδοσκοπικής κάψουλας από τον/τους δημιουργό/ούς Barpagiannis Christos διατίθεται με την άδεια Creative Commons Αναφορά Δημιουργού 4.0 Διεθνές
Βιβλιογραφική Αναφορά
Χρήστος Μπαρπαγιάννης, "Επιλεκτική αναγνώριση και επεξεργασία ίχνους ανωμαλιών με επεξεργασία εικόνας και τεχνητή μάθηση, από δεδομένα ενδοσκοπικής κάψουλας", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2019
https://doi.org/10.26233/heallink.tuc.84134
Σήμερα, η ενδοσκόπηση του λεπτού εντέρου με τη χρήση ενδοσκοπικής κάψουλας (CE), αποτελεί το πιο αξιόπιστο μέσον στη διάγνωση ασθενών που πάσχουν από αιμορραγία λεπτού εντέρου (Small bowel bleeding -SBB). Ο ασθενής καταπίνει την ειδικά σχεδιασμένη ηλεκτρονική κάψουλα, η οποία κινείται μέσω της γαστρεντερικής οδού (GI) φωτογραφίζοντας το περιβάλλον της. Ο χρόνος που χρειάζεται η κάψουλα για να διανύσει το λεπτό έντερο κυμαίνεται, από μια έως πέντε ώρες, ανάλογα τον ασθενή. Οι φωτογραφίες μεταφέρονται με τη βοήθεια λογισμικού και υπό μορφή βίντεο σε Η/Υ για την ανάγνωσή τους από τον ειδικευμένο ιατρό, προς αρωγή της διάγνωσης. Η μείωση του χρόνου ανάγνωσης του βίντεο κατά τη διαγνωστική φάση επιτυγχάνεται αυτόματα με την χρήση αλγορίθμων που βασίζονται κυρίως στην απαλοιφή όμοιων εικόνων, καθώς και εικόνων που απεικονίζουν με σιγουριά υγιείς ιστούς. Οι αλγόριθμοι Μηχανικής Μάθησης και ιδιαίτερα των Νευρωνικών Δικτύων μπορεί να αποτελέσουν σημαντικότατο υποστηρικτικό ιατρικό εργαλείο αυτόματης ιατρικής διάγνωσης. Στην παρούσα διπλωματική αναπτύξαμε τρία διαφορετικά Νευρωνικά μοντέλα Deep Learning Convolutional NN, τα οποία πετυχαίνουν αυτόματη διάγνωση αγγειεκτασίας και αιμορραγίας από δεδομένα εικόνων CE και τις ταξινομούν σε δύο κλάσεις, υγιείς και μη υγιείς. Τα τρία διαφορετικά μοντέλα CNN περιέχουν επίπεδα Conv2D, Max Pooling. Όλα τα μοντέλα στο τέλος έχουν τον classifier ο οποίος αποτελείται από flatten layer και fully connected layers. Στο τελευταίο fully connected layer χρησιμοποιήσαμε για activation την sigmoid function σε αντίθεση με όλα τα υπόλοιπα επίπεδα που χρησιμοποιήσαμε την συνάρτηση ReLU. Σε αυτά τα τρία μοντέλα έγινε σταδιακά εφαρμογή συνδυασμού διαφόρων τεχνικών προκειμένου να αξιολογήσουμε την αποτελεσματικότητά τους στην βελτίωση των CNN μοντέλων μας. Εφαρμόσαμε μεθόδους όπως την Augmentation που αυξάνει τα δεδομένα με εικόνες που παράγει από αυτές του σετ με το να τα τις περιστρέφει και να τις μετατοπίζει, και μεθόδους που αλλάζουν τη δομή των μοντέλων. Εφαρμόσαμε την Dropout που αφαιρεί προσωρινά μονάδες του Νευρωνικού μοντέλου μαζί με τις διασυνδέσεις τους και την Transfer learning χρησιμοποιώντας τα ήδη εκπαιδευμένα μοντέλα VGGNet σε δύο εκδοχές VGG16 και VGG19 και το ResNet. Τα οποία έχουν εκπαιδευτεί σε μεγάλο αριθμό διαφορετικής φύσης δεδομένων. Προκειμένου να εξοικονομηθεί υπολογιστικός χρόνος δοκιμάστηκαν και διαφορετικές τεχνικές τροφοδότησης των δεδομένων στα CNN μοντέλα. Στην παρούσα Διπλωματική εργασία χρησιμοποιούνται τα δεδομένα προηγούμενης Διπλωματικής εργασίας στην Σχολή ΗΜΜΥ του ΠΚ, (κ. Α. Πολυδώρου) που προέκυψαν από 171 βίντεο CE διαφορετικών ασθενών από πέντε ελληνικά νοσοκομεία. Σε συνεργασία με γιατρό χειρουργό γαστρεντερολόγο έγινε επιλογή συνολικά 3800 εικόνων από διαφορετικής μορφής αμαγγειοεκτασίες και διαφορετικής έκτασης αιμορραγιών, από διαφορετικά σημεία του GΙ, οι οποίες περιλαμβάνουν κυρίως δύσκολες περιπτώσεις διάγνωσης αλλοιώσεων. Δεν συμπεριλήφθηκαν περισσότερες από μια εικόνες από κάθε αλλοίωση. Μετά από διαδοχικές δοκιμές διαφορετικού πλήθους και συνδυασμού των εικόνων, τα καλύτερα αποτελέσματα εκπαίδευσης έγιναν χρησιμοποιώντας ένα ισορροπημένο σετ εκπαίδευσης ελάχιστου αριθμού 1000 εικόνων, αποτελούμενου από 500 υγιείς και 500 με αιμορραγία ή αιμαγγειοεκτασίες. Ο πειραματισμός αυτόματης διάγνωσης έγινε σε επιλεγμένες εικόνες από 33 βίντεο που δεν χρησιμοποιήθηκαν στην φάση της εκπαίδευσης. Αυτό ήταν ένα σετ δοκιμής 100 εικόνων, από 50 υγιείς και 50 με αιμορραγία ή αιμαγγειοεκτασίες. Τα δεδομένα μας αφορούν τιμές έντασης και στα τρία κανάλια του χρωματικού μοντέλου RGB της κάθε εικόνας. Οι συνολικές εκδοχές των τριών CNN μοντέλων μας ήταν 22. Αυτές οι εκδοχές μοντέλων συγκρίθηκαν με την μέτρηση μεταξύ άλλων και της ευαισθησίας και της ακρίβειας τους. Διαπιστώθηκε ότι στην περίπτωσή μας δεν βοήθησε η τεχνική Transfer Learning χρησιμοποιώντας τα VGGNet , ResNet, ενώ η Dropout και Augmentation βοήθησαν αρκετά στην απόδοση των CNN μοντέλων μας. Η καλύτερη απόδοση αυτόματης διάγνωσης μοντέλου μας κατά τον έλεγχο του σε συλλογή 100 δύσκολα ανιχνεύσιμων εικόνων έδωσε Sensitivity 90%, Accuracy 91%, Specificity 92%, Precision 91.8%, FPR 8%, FNR 10%. Σε σύγκριση με άλλες ερευνητικές ομάδες που ανάπτυξαν CNN για το ίδιο πρόβλημα, έχουν ανακοινωθεί και καλύτερα αποτελέσματα χωρίς όμως αυτό να επιτρέπει την σύγκριση των αλγορίθμων, λόγω του ελέγχου τους σε διαφορετική συλλογή δεδομένων. Σε σύγκριση με την μέθοδο μέτρησης χρώματος HSV που αναπτύχθηκε στην Διπλωματική εργασία του κ. Α. Πολυδώρου και δοκιμάστηκε στα ίδια δεδομένα, τα αποτελέσματα της μεθόδου μέτρησης χρώματος ήταν καλύτερα από αυτά της μεθόδου CNN (Sensitivity 99%, Accuracy