Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Hallucination detection in image inpainting

Zafeirakis Konstantinos

Simple record


URIhttp://purl.tuc.gr/dl/dias/ADC011A6-AB63-4161-9C5B-F870209E07D3-
Identifierhttps://doi.org/10.26233/heallink.tuc.100492-
Languageen-
Extent267.5 megabytesen
Extent101 pagesen
TitleHallucination detection in image inpaintingen
Title Ανίχνευση ψευδαισθήσεων σε ανακατασκευή εικόνας el
CreatorZafeirakis Konstantinosen
CreatorΖαφειρακης Κωνσταντινοςel
Contributor [Thesis Supervisor]Zervakis Michailen
Contributor [Thesis Supervisor]Ζερβακης Μιχαηλel
Contributor [Committee Member]Spyropoulos Thrasyvoulosen
Contributor [Committee Member]Σπυροπουλος Θρασυβουλοςel
Contributor [Committee Member]Tsagkatakis, Grigoriosen
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryThis thesis addresses the critical issue of hallucinations in deep learning-based image inpainting within remote sensing applications. Remote sensing images are often degraded due to sensor malfunctions or adverse atmospheric conditions. As such, they require inpainting to restore missing information accurately. This restoration is vital for enabling downstream tasks such as classification, detection, and segmentation. Despite the advancements, deep learning models for inpainting face multiple challenges including hallucinations, where the model incorrectly introduces non-existent elements in the image. This study introduces a novel framework for detecting hallucinations using an image inpainting generator coupled with a two-class discriminator and a class activation mapping (Grad-CAM) model. The experimental setup involves diverse masking techniques and analyzes the inpainting results across different image classes. Our findings reveal significant impacts of mask type and size on hallucination metrics, with rectangular masks generally yielding better results than irregular and random masks. Additionally, each class-specific generator exhibited unique inpainting behaviors, influenced by mask size. The study identifies the in-distribution Dice metric and out-of-distribution prediction value as effective measures for hallucination detection, with the FID metric proving optimal for reconstruction quality.en
Content SummaryΑυτό το άρθρο αντιμετωπίζει το κρίσιμο ζήτημα των παραισθήσεων στην αναπλήρωση εικόνων βασισμένη στη βαθιά μάθηση εντός εφαρμογών τηλεπισκόπησης. Οι εικόνες τηλεπισκόπησης, οι οποίες συχνά υποβαθμίζονται λόγω δυσλειτουργιών των αισθητήρων ή δυσμενών ατμοσφαιρικών συνθηκών, απαιτούν αναπλήρωση για να αποκατασταθεί με ακρίβεια η χαμένη πληροφορία. Αυτή η αποκατάσταση είναι ζωτικής σημασίας για την ενίσχυση επακόλουθων εργασιών όπως η ταξινόμηση, η ανίχνευση και η τμηματοποίηση. Παρά τις προόδους, τα μοντέλα βαθιάς μάθησης για την αναπλήρωση αντιμετωπίζουν προκλήσεις, ιδιαίτερα τις παραισθήσεις, όπου το μοντέλο ταξινομεί εσφαλμένα αντικείμενα μέσα στην εικόνα. Αυτή η μελέτη εισάγει ένα νέο πλαίσιο για την ανίχνευση παραισθήσεων χρησιμοποιώντας μια γεννήτρια αναπλήρωσης εικόνας σε συνδυασμό με ένα ταξινομητή δύο κλάσεων και ένα μοντέλο Grad-CAM. Το πειραματικό σύστημα περιλαμβάνει διάφορες τεχνικές εφαρμογής μασκών και γίνεται αναλύση για τα αποτελέσματα αναπλήρωσης σε διαφορετικές κατηγορίες εικόνων. Τα ευρήματά μας αποκαλύπτουν σημαντικές επιπτώσεις του τύπου και του μεγέθους της μάσκας στις μετρήσεις παραισθήσεων, με τις ορθογώνιες μάσκες να αποδίδουν γενικά καλύτερα αποτελέσματα από τις ακανόνιστες και τυχαίες μάσκες. Επιπλέον, κάθε γεννήτρια ειδική ως προς μια κατηγορία επέδειξε μοναδικές συμπεριφορές αναπλήρωσης, επηρεασμένες από το μέγεθος της μάσκας. Η μελέτη εντοπίζει τη μετρική Dice εντός κατανομής και την τιμή πρόβλεψης εκτός κατανομής ως αποτελεσματικά μέτρα για την ανίχνευση παραισθήσεων, με τη μετρική FID να αποδεικνύεται βέλτιστη για την ποιότητα ανακατασκευής.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by-nc/4.0/en
Date of Item2024-07-25-
Date of Publication2024-
SubjectImage inpaintingen
SubjectHallucination detectionen
Bibliographic CitationKonstantinos Zafeirakis, "Hallucination detection in image inpainting", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024en
Bibliographic CitationΚωνσταντίνος Ζαφειράκης, " Ανίχνευση ψευδαισθήσεων σε ανακατασκευή εικόνας ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024el

Available Files

Services

Statistics