Πρόβλεψη μετοχών στο Apache FlinkΠρόβλεψη μετοχών στο Apache FlinkStock forecasting using Apache Flink Διπλωματική Εργασία Diploma Work 2021-09-032021elΗ σύγχρονη εποχή χαρακτηρίζεται και ως εποχή των Μεγάλων Δεδομένων (Big Data), λόγω της πρωτοφανούς κλίμακας δεδομένων που παράγονται σε καθημερινή βάση και της ανάγκης ανάλυσης και εξαγωγής χρήσιμων αποτελεσμάτων σε μια πληθώρα διάφορων τομέων. Επιτακτική είναι η ανάγκη για την παρακολούθηση χιλιάδων ροών δεδομένων προκειμένου να ληφθούν αποφάσεις. Στον χρηματιστηριακό τομέα, ένας επενδυτής επιθυμεί να εντοπίσει τις εν δυνάμει ευκαιρίες, γεγονός που προσδίδει μεγάλη σημασία στην ενασχόληση με αυτό τον τομέα, καθώς η ορθή και αποδοτική επεξεργασία χρηματιστηριακών δεδομένων καθίσταται καθοριστική για την οικονομική ευημερία μιας χώρας. Στην περίπτωση του χρηματιστηριακού τομέα, οι ροές δεδομένων-μετοχές είναι συνεχείς και μακροσκελείς. Η παρούσα διπλωματική εργασία επεξεργάζεται κατανεμημένα και παράλληλα χιλιάδες χρηματιστηριακές μετοχές, μέσω της εύρεσης υψηλών συσχετίσεων που αφορούν σύνολα δύο μετοχών. Η διαδικασία αυτή πραγματοποιείται σε πραγματικό χρόνο και στοχεύει στην εύρεση μετοχών, των k πιο όμοιων, οι οποίες είναι ζωτικής σημασίας για την πρόβλεψη άλλων, οι οποίες δίδονται ως είσοδος, προκειμένου να προβλεφθούν. Αναπόφευκτη και ουσιαστική είναι η ανάγκη για την εκτέλεση της προσέγγισης σε εύλογα χρονικά πλαίσια, στα οποία αποδίδονται οι επιθυμητές απαντήσεις με την ταυτόχρονη αύξηση του πλήθους των δεδομένων στην είσοδο. Το ζητούμενο ικανοποιείται (α) με την υλοποίηση και τη διαχείριση μιας σύνοψης στο σύστημα Synopsis Data Engine (SDE) (β) την εφαρμογή του αλγορίθμου Discrete Fourier Transform (DFT) που αποσκοπεί στη μείωση του απαιτούμενου αριθμού υποψήφιων όμοιων μετοχών (γ) την εφαρμογή του Multiple Linear Regression (MLR) μοντέλου για την πρόβλεψη των μετοχών. Για την εξαγωγή της πειραματικής διαδικασίας, ο αλγόριθμος ελέγχεται τόσο τοπικά όσο και απομακρυσμένα, πετυχαίνοντας ικανοποιητικά αποτελέσματα. The modern age is also characterized as the age of Big Data, due to the unprecedented scale of data produced daily and the need to analyze and extract useful results in a variety of different fields. The need to monitor thousands of data streams in order to make decisions is imperative. In the stock market, an investor wants to identify potential opportunities, which is very important in dealing with this sector, as the correct and efficient processing of stock market data becomes crucial for a country’s economic prosperity. In the case of the stock market, the stock-data flows are continuous and long. This dissertation processes thousands of stock market shares distributed and simultaneously, by finding high correlations that concern sets of two shares. This process is done in realtime and aims to find shares of the k most similar, which are vital to the prediction of others, which are given as input, in order to be predicted. Inevitable and essential is the need to perform the approach in a reasonable time frame, to which the desired answers are attributed while increasing the amount of data at the input. The request is satisfied by (a) implementing and managing a synopsis in the system Synopsis Data Engine (SDE) (b) the application of the Discrete Fourier Transform (DFT), which aims to reduce the required number of candidate similar stocks (c) the application of the Multiple Linear Regression (MLR) model for stock forecasting. For the extraction of the experimental process, the algorithm is checked both locally and in a computing cluster, achieving satisfactory results.http://creativecommons.org/licenses/by/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνManara_Christina_Dip_2021.pdfChania [Greece]Library of TUC2021-09-03application/pdf1.9 MBfree Manara Christina Μαναρα Χριστινα Deligiannakis Antonios Δεληγιαννακης Αντωνιος Garofalakis Minos Γαροφαλακης Μινως Samoladas Vasilis Σαμολαδας Βασιλης Πολυτεχνείο Κρήτης Technical University of Crete Χρονοσειρές Ανάλυση δεδομένων Συσχέτιση Mετοχές Multiple Linear Regression (MLR) Discrete Fourier Transform (DFT) Σύνοψη