Detection of disaster events via monitoring of social mediaDetection of disaster events via monitoring of social mediaΑνίχνευση καταστροφικών συμβάντων μέσω παρακολούθησης κοινωνικών δικτύων Διπλωματική Εργασία Diploma Work 2019-06-282019enIn our days, the use of social media platforms has gained a lot of popularity. A large number of messages are posted everyday on media, such as Twitter. These messages could possibly be used for monitoring real-world events. However, twitter streams contain a large number of meaningless messages and useless content, which may have a negative effect on the monitoring and successful event detection performance. Monitoring and analyzing this rich and continuous user-generated content can yield unprecedentedly valuable information, enabling users and organizations to acquire actionable knowledge. This thesis proposes techniques for natural disaster detection and report by monitoring social media streams. The main task is to use Twitter as a sensor and investigate the data it provides in order to detect and locate a dangerous natural disaster. The detection of such events is attempted by the employment of methods from Natural Language Processing, Machine/Deep Learning and an innovative hybrid combination of the best approaches among the various choices we analyzed (for text representation: Bag of Words, Global Vectors; for text classification: Naive Bayes, Logistic Regression, Random Forest, Decision Tree, Bagged Decision Tree, AdaBoost, Deep Neural Network, Long-Short Term Memory). Finally, our work proposes a spatio-temporal investigation as part of the whole pipelined system to report detected catastrophic events. As a result, the proposed system has been applied with success to Twitter data from 2012 and 2015. The data were referring to two different past disaster events (Nepal earthquake, Hurricane Patricia) and one event not related to disaster (USA presidential election 2012). This system managed to detect both the place and the time of each disaster and confirmed that there is no disaster in the case of the USA elections.Στις μέρες μας, η χρήση των μέσων κοινωνικής δικτύωσης έχει κερδίσει πολλή δημοτικότητα. Ένας μεγάλος αριθμός μηνυμάτων δημοσιεύονται καθημερινά σε κοινωνικά δίκτυα, όπως το Twitter. Αυτά τα μηνύματα θα μπορούσαν ενδεχομένως να χρησιμοποιηθούν για την παρακολούθηση πραγματικών γεγονότων. Ωστόσο, οι ροές του Twitter περιέχουν μεγάλο αριθμό ανούσιων μηνυμάτων και άχρηστο περιεχόμενο, γεγονός που μπορεί να έχει αρνητικές επιπτώσεις στην απόδοση της παρακολούθησης και της επιτυχούς ανίχνευσης γεγονότων. Η παρακολούθηση και η ανάλυση αυτού του πλούσιου και συνεχούς περιεχομένου που παράγουν οι χρήστες μπορεί να αποδώσει πρωτοφανώς πολύτιμες πληροφορίες, επιτρέποντας σε χρήστες και οργανισμούς να αποκτήσουν γνώσεις που μπορούν να συνδεθούν με δράσεις. Η παρούσα διπλωματική εργασία προτείνει τεχνικές για την ανίχνευση και καταγραφή φυσικών καταστροφών παρακολουθώντας ροές κοινωνικών μέσων δικτύωσης. Ο κύριος στόχος είναι να χρησιμοποιηθεί το Twitter ως αισθητήρας και να διερευνηθούν τα δεδομένα που παρέχει για να ανιχνευθεί και να εντοπιστεί μια επικίνδυνη φυσική καταστροφή. Η ανίχνευση τέτοιων συμβάντων επιχειρείται με την εφαρμογή μεθόδων από την Επεξεργασία Φυσικής Γλώσσας, τη Μηχανική/Βαθιά Μάθηση και έναν καινοτόμο υβριδικό συνδυασμό των καλύτερων προσεγγίσεων μεταξύ των διαφόρων επιλογών που αναλύσαμε (για την αναπαράσταση κειμένων: Bag of Words, Global Vectors - για την ταξινόμηση κειμένων: Naive Bayes, Logistic Regression, Random Forest, Decision Tree, Bagged Decision Tree, AdaBoost, Deep Neural Network, Long-Short Term Memory). Τέλος, η εργασία μας προτείνει μια χωροχρονική διερεύνηση ως μέρος της διαδικασίας διαδοχικής επεξεργασίας στο σύστημα για την αναφορά καταστροφικών γεγονότων που εντοπίζονται. Ως αποτέλεσμα, το προτεινόμενο σύστημα εφαρμόστηκε με επιτυχία σε δεδομένα του Twitter από το 2015 από δύο διαφορετικά γεγονότα καταστροφών του παρελθόντος (σεισμός του Νεπάλ, τυφώνας Patricia) και κατάφερε να ανιχνεύσει τόσο τον τόπο, όσο και τον χρόνο κάθε καταστροφής.​​​​​​​http://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνChasapas_Konstantinos_Dip_2019.pdfChania [Greece]Library of TUC2019-06-28application/pdf15.6 MBfree Chasapas Konstantinos Χασαπας Κωνσταντινος Lagoudakis Michail Λαγουδακης Μιχαηλ Chalkiadakis Georgios Χαλκιαδακης Γεωργιος Zervakis Michail Ζερβακης Μιχαηλ Πολυτεχνείο Κρήτης Technical University of Crete Event detection Natural language processing Machine Learning Deep Learning Event Prediction