Automated mosaic tesserae segmentation using artificial intelligence techniquesAutomated mosaic tesserae segmentation using artificial intelligence techniquesΑυτοματοποιημένη κατάτμηση ψηφίδων μωσαϊκού με χρήση τεχνικών τεχνητής νοημοσύνης Διπλωματική Εργασία Diploma Work 2025-09-302025enArt is widely recognized as a reflection of civilization and mosaics represent an important part of cultural heritage. Mosaics are an old art form where a surface is decorated by attaching small pieces of material, called tesserae, to a base with adhesive. Due to their age and fragility, they are prone to damage, highlighting the need for digital preservation. This thesis addresses the problem of digitalizing mosaics by segmenting the tesserae, producing a binary image in which they are clearly separated from the background. This task falls under the field of Image Segmentation, one of the primary tasks in Computer Vision. We aim to create a method that achieves it automatically and with high accuracy. Although classical approaches on Image Segmentation yield decent results, we employ Deep Learning models and, more specifically, our work utilizes the latest Segment Anything Model 2 (SAM 2) by META AI, a foundation model that outperforms most conventional segmentation models. Our work involves manually annotating a set of mosaic images to create a dataset which we utilize both to fine-tune the model and to eventually evaluate its performance. The quantitative results, including the evaluation metrics, show a significant improvement compared to the baseline SAM 2 model. The baseline SAM 2 model - evaluated on the large checkpoint - yields 89.00% IoU and 92.12% Recall, while our model achieves 91.02% IoU and 95.89% Recall on the same dataset. Furthermore, we show that our approach can yield even more impressive results if trained without computational and time limitations. This task belongs to the field of Computer Vision problems, hence the qualitative results, such as visual comparative representations, are equally important. These visualizations further confirm that the fine-tuned model we employ brings us closer to an effective solution to this problem. Keywords: Mosaics, Deep Learning, Computer Vision, Image Segmentation, SAM 2, Transfer Learning, Digital PreservationΗ τέχνη αναγνωρίζεται ευρέως ως αντανάκλαση του πολιτισμού και τα ψηφιδωτά αντιπροσωπεύουν ένα σημαντικό κομμάτι της πολιτιστικής κληρονομιάς. Τα ψηφιδωτά είναι μια παλιά μορφή τέχνης όπου μια επιφάνεια διακοσμείται με την τοποθέτηση μικρών κομματιών υλικού, που ονομάζονται ψηφίδες, σε μια βάση με κόλλα. Λόγω της ηλικίας και της ευθραυστότητάς τους, είναι επιρρεπή σε φθορά, κάτι που αναδεικνύει την ανάγκη για την ψηφιακή τους διατήρηση. Αυτή η εργασία αντιμετωπίζει το πρόβλημα της ψηφιοποίησης των ψηφιδωτών μέσω της κατάτμησης των ψηφίδων, παράγοντας μια δυαδική εικόνα στην οποία αυτές διαχωρίζονται καθαρά από το φόντο. Αυτή η εργασία εμπίπτει στον τομέα της Κατάτμησης Εικόνας, ένα από τα κυριότερα προβλήματα της Μηχανικής Όρασης. Στοχεύουμε στη δημιουργία μιας μεθόδου που το επιτυγχάνει αυτόματα και με υψηλή ακρίβεια. Παρόλο που οι κλασσικές προσεγγίσεις στην Κατάτμηση Εικόνας παρουσιάζουν ικανοποιητικά αποτελέσματα, εμείς χρησιμοποιούμε μοντέλα Βαθιάς Μάθησης και, πιο συγκεκριμένα, η εργασία μας αξιοποιεί το πιο πρόσφατο μοντέλο Segment Anything Model 2 (SAM 2) της META AI, ένα θεμελιώδες μοντέλο που ξεπερνά τα περισσότερα κλασσικά μοντέλα κατάτμησης εικόνας. Η εργασία μας περιλαμβάνει χειροκίνητο annotation ενός συνόλου εικόνων ψηφιδωτών για τη δημιουργία ενός σετ δεδομένων, το οποίο χρησιμοποιούμε για τη βελτιστοποίηση του μοντέλου και την αξιολόγηση της απόδοσής του. Τα ποσοτικά αποτελέσματα, συμπεριλαμβανομένων των μετρικών αξιολόγησης, δείχνουν σημαντική βελτίωση σε σύγκριση με το αρχικό μοντέλο SAM 2. Το αρχικό μοντέλο SAM 2 - αξιολογημένο στο large checkpoint - αποδίδει 89.00% IoU και 92.12% Recall, ενώ το δικό μας μοντέλο πετυχαίνει 91.02% IoU και 95.89% Recall στο ίδιο σετ δεδομένων. Επιπλέον, δείχνουμε ότι η προσέγγισή μας μπορεί να αποδώσει ακόμη πιο αξιοσημείωτα αποτελέσματα εάν εκπαιδευτεί χωρίς περιορισμούς υπολογιστικής ισχύος και χρόνου. Το παρόν πρόβλημα ανήκει στον τομέα των προβλημάτων Μηχανικής Όρασης, επομένως τα ποιοτικά αποτελέσματα, όπως οπτικές συγκριτικές απεικονίσεις, είναι εξίσου σημαντικά. Αυτές οι απεικονίσεις επιβεβαιώνουν ότι το μοντέλο που χρησιμοποιούμε μετά τη βελτιστοποίηση μας φέρνει πιο κοντά σε μια αποτελεσματική λύση για αυτό το πρόβλημα. Λέξεις-Κλειδιά: Ψηφιδωτά, Βαθιά Μάθηση, Μηχανική Όραση, Κατάτμηση Εικόνας, SAM 2, Μεταφορά Μάθησης, Ψηφιακή Διατήρησηhttp://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνKapelonis_Charilaos_Dip_2025.pdfChania [Greece]Library of TUC2025-09-30application/pdf34.4 MBfree Kapelonis Charilaos Καπελωνης Χαριλαος Zervakis Michail Ζερβακης Μιχαηλ Antoniadis Aristomenis Αντωνιαδης Αριστομενης Lagoudakis Michail Λαγουδακης Μιχαηλ Πολυτεχνείο Κρήτης Technical University of Crete Mosaics Cultural heritage Machine learning Image segmentation