Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Distributed real-time network intrusion detection system on apache spark

Kalosynakis Minas-Diomfeas

Simple record


URIhttp://purl.tuc.gr/dl/dias/E8666D35-46BE-4E3D-8B7C-BE8D7D1CD6F8-
Identifierhttps://doi.org/10.26233/heallink.tuc.90442-
Languageen-
Extent72 σελίδεςel
Extent2.7 megabytesen
TitleDistributed real-time network intrusion detection system on apache sparken
TitleΚατανεμημένο σύστημα ανίχνευσης εισβολών δικτύου σε πραγματικό χρόνο στo Apache Sparkel
CreatorKalosynakis Minas-Diomfeasen
CreatorΚαλωσυνακης Μηνας-Διωμφεαςel
Contributor [Committee Member]Koutroulis Eftychiosen
Contributor [Committee Member]Κουτρουλης Ευτυχιοςel
Contributor [Committee Member]Dollas Apostolosen
Contributor [Committee Member]Δολλας Αποστολοςel
Contributor [Thesis Supervisor]Ioannidis Sotiriosen
Contributor [Thesis Supervisor]Sotiriosel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryIn recent years, the rapid increase of internet based services raises signif- icant information security concerns. A large amount of network traffic data is generated on a daily basis with high speed while security threats become increasingly more complex. Fast and efficient detection of in- trusive activities in such conditions is a challenging task. In order to address this issue, we propose a distributed intrusion detection system that utilizes machine learning classifiers to identify malicious network activity in real-time. Specifically, we use the Chi-Squared algorithm to select important features, based on which we build Decision Tree, Ran- dom Forest, and Extreme Gradient Boosting classification models on Apache Spark Big Data platform. The proposed system supports scala- bility in all of its different layers and provides a user-friendly graphical interface to visualize network activity. Experimental results against the NSL-KDD dataset demonstrate that the system can perform bi- nary classification with an area under ROC curve of 97% using the Random Forest machine learning model.en
Content SummaryΤα τελευταία χρόνια, η ταχεία αύξηση των υπηρεσιών που βασίζονται στο διαδίκτυο επιφέρει σημαντικές ανησυχίες για την ασφάλεια των πληροφοριών. Μεγάλες ποσότητες δεδομένων κίνησης στο δίκτυο δημιουργούνται σε καθημερινή βαση με υψηλή ταχύτητα ενώ παράλληλα οι απειλές για την ασφάλεια των πληροφοριών γίνονται όλο και πιο περίπλοκες. Ο γρήγορος και αποτελεσματικός εντοπισμός παρεμβατικών δραστηριοτήτων υπό αυτές τις συνθήκες είναι ένα δύσκολο έργο. Για την αντιμετώπιση αυτού του ζητήματος, προτείνουμε ένα κατανεμημένο σύστημα ανίχνευσης εισβολών που χρησιμοποιεί ταξινομητές μηχανικής μάθησης για να αναγνώρισει κακόβουλες δραστηριότητες στο δίκτυο σε πραγμαγματικό χρόνο. Συγκεκριμένα, χρησιμοποιούμε τον αλγόριθμο Chi-Squared για να επιλέξουμε σημαντικά χαρακτηριστικά των δεδομένων εισόδου, βάσει των οποίων εκπαιδεύουμε μοντέλα ταξινόμησης Decision Tree, Random Forest και Extreme Gradient Boosting στην πλατφόρμα επεξεργασίας μεγάλων δεδομένων Apache Spark. Το ανεπτυγμένο σύστημα υποστηρίζει ικανότητα επεκτασιμότητας σε όλα τα μέρη του και παρέχει μία φιλική προς το χρήστη γραφική διεπαφή που απεικονίζει τη δραστηριότητα του δικτύου. Πειραματικά αποτελέσματα απέναντι στο σύνολο δεδομένων NSL-KDD αποδεικνύουν ότι το σύστημα μπορεί να εκτελέσει δυαδική ταξινόμηση με περιοχή κάτω από την καμπύλη ROC 97% χρησιμοποιώντας το μοντέλο μηχανικής μάθησης Random Forest.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by/4.0/en
Date of Item2021-10-11-
Date of Publication2021-
SubjectNetwork intrusion detection systemel
Bibliographic CitationMinas-Diomfeas Kalosynakis, "Distributed real-time network intrusion detection system on apache spark", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021en
Bibliographic CitationΜηνάς-Διωμφέας Καλωσυνάκης, "Κατανεμημένο σύστημα ανίχνευσης εισβολών δικτύου σε πραγματικό χρόνο στo Apache Spark", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021el

Available Files

Services

Statistics