White-Basilisk: A hybrid model for code vulnerability detectionWhite-Basilisk: A hybrid model for code vulnerability detectionWhite-Basilisk: Ένα υβριδικό μοντέλο για την ανίχνευση ευπαθειών κώδικα Μεταπτυχιακή Διατριβή Master Thesis 2025-09-052025enThe proliferation of software vulnerabilities presents a significant challenge to cybersecurity, necessitating more effective detection methodologies. We introduce White-Basilisk, a novel approach to vulnerability detection that demonstrates superior performance while challenging prevailing assumptions in AI model scaling. Utilizing an innovative architecture that integrates Mamba layers, linear self-attention, and a Mixture of Experts framework, White-Basilisk achieves state-of-the-art results in vulnerability detection tasks with a parameter count of only 200M. The model's capacity to process sequences of unprecedented length enables comprehensive analysis of extensive codebases in a single pass, surpassing the context limitations of current Large Language Models (LLMs). White-Basilisk exhibits robust performance on imbalanced, real-world datasets, while maintaining computational efficiency that facilitates deployment across diverse organizational scales. This research not only establishes new benchmarks in code security but also provides empirical evidence that compact, efficiently designed models can outperform larger counterparts in specialized tasks, potentially redefining optimization strategies in AI development for domain-specific applications.Η διάδοση των ευπαθειών λογισμικού αποτελεί σημαντική πρόκληση για την κυβερνοασφάλεια, καθιστώντας αναγκαία την ανάπτυξη αποτελεσματικότερων μεθοδολογιών ανίχνευσης. Παρουσιάζουμε το White-Basilisk, μια καινοτόμο προσέγγιση στην ανίχνευση ευπαθειών που επιδεικνύει ανώτερη απόδοση, αμφισβητώντας παράλληλα τις επικρατούσες υποθέσεις στην κλιμάκωση μοντέλων AI. Χρησιμοποιώντας μια καινοτόμο αρχιτεκτονική που ενσωματώνει Mamba layers, linear self-attention, και ένα πλαίσιο Mixture of Experts, το White-Basilisk επιτυγχάνει κορυφαία αποτελέσματα σε εργασίες ανίχνευσης ευπαθειών με μόλις 200M παραμέτρους. Η ικανότητα του μοντέλου να επεξεργάζεται ακολουθίες πρωτοφανούς μήκους επιτρέπει την ολοκληρωμένη ανάλυση εκτεταμένων βάσεων κώδικα σε ένα πέρασμα, ξεπερνώντας τους περιορισμούς πλαισίου των τρεχόντων Large Language Models (LLMs). Το White-Basilisk επιδεικνύει ισχυρή απόδοση σε μη ισορροπημένα σύνολα δεδομένων του πραγματικού κόσμου, διατηρώντας παράλληλα υπολογιστική αποδοτικότητα που διευκολύνει την ανάπτυξη σε διάφορες οργανωτικές κλίμακες. Αυτή η έρευνα όχι μόνο θέτει νέα σημεία αναφοράς στην ασφάλεια κώδικα, αλλά παρέχει επίσης εμπειρικά στοιχεία ότι τα συμπαγή, αποδοτικά σχεδιασμένα μοντέλα μπορούν να ξεπεράσουν μεγαλύτερα αντίστοιχά τους σε εξειδικευμένες εργασίες, επαναπροσδιορίζοντας πιθανώς τις στρατηγικές βελτιστοποίησης στην ανάπτυξη AI για εφαρμογές συγκεκριμένου τομέα.Μεταπτυχιακή Διατριβή που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολ. Κρήτης για την πλήρωση προϋποθέσεων λήψης του Μεταπτυχιακού Διπλώματος Ειδίκευσης.http://creativecommons.org/licenses/by-nc-sa/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνLamprou_Ioannis_MSc_2025.pdfChania [Greece]Library of TUC2025-09-05application/pdf528.3 kBfree Lamprou Ioannis Λαμπρου Ιωαννης Ioannidis Sotirios Ιωαννιδης Σωτηριος Dollas Apostolos Δολλας Αποστολος Chalkiadakis Georgios Χαλκιαδακης Γεωργιος Πολυτεχνείο Κρήτης Technical University of Crete Τεχνητή Νοημοσύνη Artificial Intelligence Cybersecurity Κυβερνοασφάλεια Code vulnerability detection Ανίχνευση ευπαθειών κώδικα Large Language Models (LLMs)