Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Ανίχνευση δεδομένων άτυπης συμπεριφοράς με το σύστημα Spark Streaming

Psarakis Kyriakos

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/02E820B1-D8E6-45DF-ACFA-7C37D76F29DA-
Αναγνωριστικόhttps://doi.org/10.26233/heallink.tuc.70468-
Γλώσσαen-
Μέγεθος50 pagesen
ΤίτλοςOutlier detection using Spark Streamingen
ΤίτλοςΑνίχνευση δεδομένων άτυπης συμπεριφοράς με το σύστημα Spark Streamingel
ΔημιουργόςPsarakis Kyriakosen
ΔημιουργόςΨαρακης Κυριακοςel
Συντελεστής [Επιβλέπων Καθηγητής]Deligiannakis Antoniosen
Συντελεστής [Επιβλέπων Καθηγητής]Δεληγιαννακης Αντωνιοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Garofalakis Minosen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Γαροφαλακης Μινωςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Lagoudakis Michaelen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Λαγουδακης Μιχαηλel
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠερίληψηData is continuously being generated from sources such as machines, network traffic, sensor networks, etc. Timely and accurate detection of outliers in massive data streams has important applications such as in preventing machine failures, intrusion detection, and financial fraud detection. In this thesis, we implement an outlier detection algorithm inside the Spark Streaming environment that, makes only one pass over the data while utilizing limited storage. We chose the Spark Streaming environment because it offers scalable, high-throughput, fault-tolerant stream processing of live data streams. The algorithm adapts ideas from matrix sketching to maintain a set of few orthogonal vectors that form a good approximate basis for all the observed data. Using this constructed orthogonal basis, outliers in new incoming data are detected based on a simple reconstruction error test. Additionally, we have implemented two methods for updating the orthogonal vectors one deterministic and one randomized to further speedup the algorithm with a small cost to accuracy.en
ΤύποςΔιπλωματική Εργασίαel
ΤύποςDiploma Worken
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by/4.0/en
Ημερομηνία2017-12-19-
Ημερομηνία Δημοσίευσης2017-
Θεματική ΚατηγορίαData streamsen
Θεματική ΚατηγορίαOutlier detectionen
Βιβλιογραφική ΑναφοράKyriakos Psarakis, "Outlier detection using Spark Streaming", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2017en
Βιβλιογραφική ΑναφοράΚυριάκος Ψαράκης, "Ανίχνευση δεδομένων άτυπης συμπεριφοράς με το σύστημα Spark Streaming", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2017el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά