Distributed real-time network intrusion detection system on apache sparkDistributed real-time network intrusion detection system on apache sparkΚατανεμημένο σύστημα ανίχνευσης εισβολών δικτύου σε πραγματικό χρόνο στo Apache Spark Διπλωματική Εργασία Diploma Work 2021-10-112021enIn recent years, the rapid increase of internet based services raises signif- icant information security concerns. A large amount of network traffic data is generated on a daily basis with high speed while security threats become increasingly more complex. Fast and efficient detection of in- trusive activities in such conditions is a challenging task. In order to address this issue, we propose a distributed intrusion detection system that utilizes machine learning classifiers to identify malicious network activity in real-time. Specifically, we use the Chi-Squared algorithm to select important features, based on which we build Decision Tree, Ran- dom Forest, and Extreme Gradient Boosting classification models on Apache Spark Big Data platform. The proposed system supports scala- bility in all of its different layers and provides a user-friendly graphical interface to visualize network activity. Experimental results against the NSL-KDD dataset demonstrate that the system can perform bi- nary classification with an area under ROC curve of 97% using the Random Forest machine learning model.Τα τελευταία χρόνια, η ταχεία αύξηση των υπηρεσιών που βασίζονται στο διαδίκτυο επιφέρει σημαντικές ανησυχίες για την ασφάλεια των πληροφοριών. Μεγάλες ποσότητες δεδομένων κίνησης στο δίκτυο δημιουργούνται σε καθημερινή βαση με υψηλή ταχύτητα ενώ παράλληλα οι απειλές για την ασφάλεια των πληροφοριών γίνονται όλο και πιο περίπλοκες. Ο γρήγορος και αποτελεσματικός εντοπισμός παρεμβατικών δραστηριοτήτων υπό αυτές τις συνθήκες είναι ένα δύσκολο έργο. Για την αντιμετώπιση αυτού του ζητήματος, προτείνουμε ένα κατανεμημένο σύστημα ανίχνευσης εισβολών που χρησιμοποιεί ταξινομητές μηχανικής μάθησης για να αναγνώρισει κακόβουλες δραστηριότητες στο δίκτυο σε πραγμαγματικό χρόνο. Συγκεκριμένα, χρησιμοποιούμε τον αλγόριθμο Chi-Squared για να επιλέξουμε σημαντικά χαρακτηριστικά των δεδομένων εισόδου, βάσει των οποίων εκπαιδεύουμε μοντέλα ταξινόμησης Decision Tree, Random Forest και Extreme Gradient Boosting στην πλατφόρμα επεξεργασίας μεγάλων δεδομένων Apache Spark. Το ανεπτυγμένο σύστημα υποστηρίζει ικανότητα επεκτασιμότητας σε όλα τα μέρη του και παρέχει μία φιλική προς το χρήστη γραφική διεπαφή που απεικονίζει τη δραστηριότητα του δικτύου. Πειραματικά αποτελέσματα απέναντι στο σύνολο δεδομένων NSL-KDD αποδεικνύουν ότι το σύστημα μπορεί να εκτελέσει δυαδική ταξινόμηση με περιοχή κάτω από την καμπύλη ROC 97% χρησιμοποιώντας το μοντέλο μηχανικής μάθησης Random Forest.http://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνKalosynakis_Minas-Diomfeas_Dip_2021.pdfChania [Greece]Library of TUC2021-10-11application/pdf2.7 MBfree Kalosynakis Minas-Diomfeas Καλωσυνακης Μηνας-Διωμφεας Koutroulis Eftychios Κουτρουλης Ευτυχιος Dollas Apostolos Δολλας Αποστολος Ioannidis Sotirios Sotirios Πολυτεχνείο Κρήτης Technical University of Crete Network intrusion detection system