Machine learning model hyperparameter fine-tuning in a Federated Learning environmentMachine learning model hyperparameter fine-tuning in a Federated Learning environmentΒελτιστοποίηση υπερπαραμέτρων μοντέλων μηχανικής μάθησης σε περιβάλλον Federated Learning Διπλωματική Εργασία Diploma Work 2025-06-272025enFederated Learning (FL) has emerged as a paradigm for training machine learning models on decentralized data while preserving privacy. Despite its advantages, the process of hyperparameter fine-tuning remains a critical challenge within FL settings, primarily due to data heterogeneity, communication constraints, and the need for secure collaboration. The present diploma addresses the problem of efficient and privacy-preserving hyperparameter fine-tuning in FL environments by providing a framework that utilizes federated hyperparameter fine-tuning. Here, clients collaboratively explore hyperparameter configurations using local data. Then, after the best hyperparameters are found from the predefined hyperparameter space, a series of secure aggregation rounds takes place at the server. Our system leverages stratified k-fold cross-validation on clients to evaluate hyperparameter combinations locally, encrypted communication to protect model updates, and weighted aggregation to harmonize global model performance. Various classifiers are supported, such as Stochastic Gradient Descent and Gaussian Naive Bayes, providing extended implementation capabilities. Additionally, to ensure data privacy, our framework provides symmetric and asymmetric encryption for the client-server communication. Experimental results demonstrate the efficacy of the approach in achieving similar F1 scores to the implemented non-federated approach while maintaining scalability and security. This work contributes a practical methodology for hyperparameter fine-tuning in FL, balancing performance and privacy.Το Federated Learning (FL) έχει αναδειχθεί ως μια μέθοδος εκπαίδευσης Machine Learning (ML) μοντέλων σε αποκεντρωμένα δεδομένα, που διατηρεί την ιδιωτικότητα και την ασφάλεια. Ωστόσο, παρά τα πλεονεκτήματά του, το hyperparameter fine-tuning παραμένει μια κρίσιμη πρόκληση σε περιβάλλοντα FL λόγω της ετερογένειας των δεδομένων, των περιορισμών επικοινωνίας και της ανάγκης για ασφαλή συνεργασία. Σε αυτή τη διπλωματική εργασία θα αντιμετωπιστεί το πρόβλημα του αποδοτικού και ασφαλούς hyperparameter fine-tuning σε περιβάλλον FL. Προτείνεται ένα framework στο οποίο οι clients συνεργάζονται για να εξερευνήσουν συνδυασμούς υπερπαραμέτρων χρησιμοποιώντας τα τοπικά τους δεδομένα. Στη συνέχεια, αφού βρεθούν οι βέλτιστες υπερπαράμετροι, πραγματοποιείται μια σειρά από secure aggregation γύρους στο server. Οι clients αξιοποιούν το stratified k-fold cross validation για την τοπική αξιολόγηση των συνδυασμών υπερπαραμέτρων, την κρυπτογραφημένη επικοινωνία για την προστασία των updates του μοντέλου και το weighted aggregation για την δημιουργία του global model. Το υλοποιημένο framework υποστηρίζει διάφορους classifiers όπως Support Vector Machines και Gaussian Naive Bayes, προσφέροντας εκτεταμένες δυνατότητες. Επιπλέον, για να διασφαλιστεί η ιδιωτικότητα των δεδομένων, παρέχεται symmetric και asymmetric encryption στην επικοινωνία μεταξύ clients και server. Τα πειραματικά αποτελέσματα αποδεικνύουν την αποτελεσματικότητα αυτής της προσέγγισης στην επίτευξη παρόμοιων F1 scores με μια μη federated προσέγγιση, διατηρώντας παράλληλα την επεκτασιμότητα και την ασφάλεια. Η παρούσα εργασία συνεισφέρει μια πρακτική μεθοδολογία για το hyperparameter fine-tuning στο FL, εξισορροπώντας την απόδοση και την ιδιωτικότητα.Thesis submitted by Georgios Valavanis in fulfillment of the requirements for the Diploma of Electrical and Computer Engineeringhttp://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνValavanis_Georgios_Dip_2025.pdfChania [Greece]Library of TUC2025-06-27application/pdf819.5 kBfree Valavanis Georgios Βαλαβανης Γεωργιος Ioannidis Sotirios Ιωαννιδης Σωτηριος Lagoudakis Michail Λαγουδακης Μιχαηλ Spyropoulos Thrasyvoulos Σπυροπουλος Θρασυβουλος Πολυτεχνείο Κρήτης Technical University of Crete Machine learning Hyperparameter Fine-Tuning in Federated Learning Hyperparameter Fine-Tuning Federated Learning