Αναζήτηση

Πλοήγηση

• Κοινότητες
• Συγγραφείς
• Έτος
• Τίτλοι
• Θέματα

Ο Χώρος μου

• Είσοδος

Παράλληλοι αλγόριθμοι σκίτσων στα συστήματα Spark, Storm, Akka και Kafka-Streams

Petheriotis Aggelos

Πλήρης Εγγραφή

---

Περίληψη

Η αποτελεσματική επεξεργασία σε ροές δεδομένων σε πραγματικό χρόνο είναι ιδιαίτερα σημαντική τις τελευταίες δεκαετίες λόγω του αυξανόμενου όγκου διαθέσιμων δεδομένων που αφορούν ποικίλες εφαρμογές της επιστήμης των υπολογιστών. Ειδικότερα, η εποπτεία ταχύτατα μεταβαλλόμενων ροών δεδομένων σε πραγματικό χρόνο έχει αναδειχθεί ως ένα σημαντικό ζήτημα στη διαχείριση δεδομένων. Οι τυπικοί αλγόριθμοι δεν είναι σε θέση να διαχειριστούν το φορτίο και το ρυθμό αυτών των ροών με αποτελεσματικό και οικονομικό τρόπο. Αντίθετα, δομές δεδομένων με μικρό κόστος σε μνήμη, επίσης γνωστές ως συνόψεις, είναι κατάλληλες για τέτοιου είδους εφαρμογές.Δεδομένου ότι μπορούμε να επεξεργαστούμε την ροή δεδομένων, μόνο μία φορά σε πραγματικό χρόνο, πρέπει να διασφαλίσουμε ότι τα υπολογιστικά συστήματα που χρησιμοποιούνται για την εκτέλεση των αντίστοιχων υπολογισμών, χρησιμοποιούνται στο μέγιστο. Αξιολογούμε τα εξής τέσσερα υπολογιστικά συστήματα, Storm, Spark, Akka και Kafka Streams. Αυτά τα συστήματα είναι ικανά να διεκπεραιώσουν υπολογισμούς σε πραγματικό χρόνο ενώ παράλληλα δίνουν την δυνατότητα για κατανεμημένους υπολογισμούς σε παραπάνω από ένα φυσικά μηχανήματα. Μεταξύ τους, έχουν εντελώς διαφορετικές αρχιτεκτονικές από τα συστήματα επεξεργασίας μαζικών δεδομένων (batch processing) που είχαν δημιουργηθεί τα προηγούμενα χρόνια. Επιπλέον, καθένα από τα τέσσερα συστήματα βασίζεται σε διαφορετικές σχεδιαστικές αρχές και μοτίβα που τελικά οδηγούν σε διαφορετικά τεχνικά χαρακτηριστικά τα οποία και αναλύονται σε αυτή τη διπλωματική εργασία .Αξιολογούμε την απόδοση των αλγορίθμων CMS, ECMS & AMS σε αυτά τα τέσσερα υπολογιστικά συστήματα, σε τοπολογία συμπλέγματος πολλαπλών κόμβων. Παρατηρούμε την απόδοση, τον αριθμό δηλαδή των επεξεργασμένων στοιχείων ανά δευτερόλεπτο ενώ ταυτόχρονα παρατηρούμε εάν πληρούνται οι εγγυήσεις σφάλματος όπως ορίζονται από την κάθε σύνοψη.

Διαθέσιμα αρχεία

Υπηρεσίες