Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Ανίχνευση ψευδαισθήσεων σε ανακατασκευή εικόνας

Zafeirakis Konstantinos

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/ADC011A6-AB63-4161-9C5B-F870209E07D3-
Αναγνωριστικόhttps://doi.org/10.26233/heallink.tuc.100492-
Γλώσσαen-
Μέγεθος267.5 megabytesen
Μέγεθος101 pagesen
ΤίτλοςHallucination detection in image inpaintingen
Τίτλος Ανίχνευση ψευδαισθήσεων σε ανακατασκευή εικόνας el
ΔημιουργόςZafeirakis Konstantinosen
ΔημιουργόςΖαφειρακης Κωνσταντινοςel
Συντελεστής [Επιβλέπων Καθηγητής]Zervakis Michailen
Συντελεστής [Επιβλέπων Καθηγητής]Ζερβακης Μιχαηλel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Spyropoulos Thrasyvoulosen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Σπυροπουλος Θρασυβουλοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Tsagkatakis, Grigoriosen
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠερίληψηThis thesis addresses the critical issue of hallucinations in deep learning-based image inpainting within remote sensing applications. Remote sensing images are often degraded due to sensor malfunctions or adverse atmospheric conditions. As such, they require inpainting to restore missing information accurately. This restoration is vital for enabling downstream tasks such as classification, detection, and segmentation. Despite the advancements, deep learning models for inpainting face multiple challenges including hallucinations, where the model incorrectly introduces non-existent elements in the image. This study introduces a novel framework for detecting hallucinations using an image inpainting generator coupled with a two-class discriminator and a class activation mapping (Grad-CAM) model. The experimental setup involves diverse masking techniques and analyzes the inpainting results across different image classes. Our findings reveal significant impacts of mask type and size on hallucination metrics, with rectangular masks generally yielding better results than irregular and random masks. Additionally, each class-specific generator exhibited unique inpainting behaviors, influenced by mask size. The study identifies the in-distribution Dice metric and out-of-distribution prediction value as effective measures for hallucination detection, with the FID metric proving optimal for reconstruction quality.en
ΠερίληψηΑυτό το άρθρο αντιμετωπίζει το κρίσιμο ζήτημα των παραισθήσεων στην αναπλήρωση εικόνων βασισμένη στη βαθιά μάθηση εντός εφαρμογών τηλεπισκόπησης. Οι εικόνες τηλεπισκόπησης, οι οποίες συχνά υποβαθμίζονται λόγω δυσλειτουργιών των αισθητήρων ή δυσμενών ατμοσφαιρικών συνθηκών, απαιτούν αναπλήρωση για να αποκατασταθεί με ακρίβεια η χαμένη πληροφορία. Αυτή η αποκατάσταση είναι ζωτικής σημασίας για την ενίσχυση επακόλουθων εργασιών όπως η ταξινόμηση, η ανίχνευση και η τμηματοποίηση. Παρά τις προόδους, τα μοντέλα βαθιάς μάθησης για την αναπλήρωση αντιμετωπίζουν προκλήσεις, ιδιαίτερα τις παραισθήσεις, όπου το μοντέλο ταξινομεί εσφαλμένα αντικείμενα μέσα στην εικόνα. Αυτή η μελέτη εισάγει ένα νέο πλαίσιο για την ανίχνευση παραισθήσεων χρησιμοποιώντας μια γεννήτρια αναπλήρωσης εικόνας σε συνδυασμό με ένα ταξινομητή δύο κλάσεων και ένα μοντέλο Grad-CAM. Το πειραματικό σύστημα περιλαμβάνει διάφορες τεχνικές εφαρμογής μασκών και γίνεται αναλύση για τα αποτελέσματα αναπλήρωσης σε διαφορετικές κατηγορίες εικόνων. Τα ευρήματά μας αποκαλύπτουν σημαντικές επιπτώσεις του τύπου και του μεγέθους της μάσκας στις μετρήσεις παραισθήσεων, με τις ορθογώνιες μάσκες να αποδίδουν γενικά καλύτερα αποτελέσματα από τις ακανόνιστες και τυχαίες μάσκες. Επιπλέον, κάθε γεννήτρια ειδική ως προς μια κατηγορία επέδειξε μοναδικές συμπεριφορές αναπλήρωσης, επηρεασμένες από το μέγεθος της μάσκας. Η μελέτη εντοπίζει τη μετρική Dice εντός κατανομής και την τιμή πρόβλεψης εκτός κατανομής ως αποτελεσματικά μέτρα για την ανίχνευση παραισθήσεων, με τη μετρική FID να αποδεικνύεται βέλτιστη για την ποιότητα ανακατασκευής.el
ΤύποςΔιπλωματική Εργασίαel
ΤύποςDiploma Worken
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by-nc/4.0/en
Ημερομηνία2024-07-25-
Ημερομηνία Δημοσίευσης2024-
Θεματική ΚατηγορίαImage inpaintingen
Θεματική ΚατηγορίαHallucination detectionen
Βιβλιογραφική ΑναφοράKonstantinos Zafeirakis, "Hallucination detection in image inpainting", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024en
Βιβλιογραφική ΑναφοράΚωνσταντίνος Ζαφειράκης, " Ανίχνευση ψευδαισθήσεων σε ανακατασκευή εικόνας ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά