Ιδρυματικό Αποθετήριο [SANDBOX]
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Μελέτη αλγορίθμων βαθμίδας και στοχαστικής βαθμίδας για το πρόβλημα της Logistic Regression

Limnaios Emmanouil

Πλήρης Εγγραφή


URI: http://purl.tuc.gr/dl/dias/945B72EC-BCF0-40B3-9E88-3CE687E418D9
Έτος 2023
Τύπος Διπλωματική Εργασία
Άδεια Χρήσης
Λεπτομέρειες
Βιβλιογραφική Αναφορά Εμμανουήλ Λημναίος, "Μελέτη αλγορίθμων βαθμίδας και στοχαστικής βαθμίδας για το πρόβλημα της Logistic Regression", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023 https://doi.org/10.26233/heallink.tuc.94861
Εμφανίζεται στις Συλλογές

Περίληψη

Σε αυτή τη διπλωματική εργασία μελετάμε την Λογιστική Παλινδρόμηση (ΛΠ) η οποία χρησιμοποιείται ευρέως ως μέθοδος ταξινόμησης. Ξεκινάμε παρουσιάζοντας την κανονικοποιημένη συνάρτηση κόστους της ΛΠ και υπολογίζουμε τη βαθμίδα και την Εσσιανή της. Είναι γνωστό ότι η ΛΠ είναι κυρτή συνάρτηση. Κύριος στόχος μας είναι να μελετήσουμε την απόδοση (ταχύτητα σύγκλισης και ακρίβεια λύσης) ντετερμινιστικών έναντι στοχαστικών αλγόριθμων, για την ελαχιστοποίηση της κανονικοποιημένης συνάρτησης κόστους της ΛΠ. Πρώτα, παρουσιάζουμε δύο παραλλαγές του ντετερμινιστικού αλγόριθμου Gradient Descent, μία με "αφελές" μέγεθος βήματος και μία με αναζήτηση γραμμής με οπισθοχώρηση. Έπειτα, προχωράμε στον (τύπου Nesterov) επιταχυνόμενο ντετερμινιστικό αλγόριθμο. Στη συνέχεια, παρουσιάζουμε παραλλαγές του αλγόριθμου Stochastic Gradient Descent με μέγεθος βήματος που υπολογίζεται με διάφορες μεθόδους. Για παράδειγμα, (1) αξιοποιώντας την ιδιότητα της ισχυρής κυρτότητας της κανονικοποιημένης ΛΠ, (2) αξιοποιώντας την αναζήτηση γραμμής κατά Armijo, χρησιμοποιώντας μόνο ένα υποσύνολο των δεδομένων που προσδιορίζεται από το μέγεθος παρτίδας, (3) χρησιμοποιώντας μια επί τούτου αναζήτηση γραμμής βασισμένη στη γωνία δύο διαδοχικών στοχαστικών βαθμίδων κ.λπ. Δοκιμάζουμε την απόδοση των διάφορων αλγόριθμων χρησιμοποιώντας συνθετικά δεδομένα (γραμμικά διαχωρίσιμα και γραμμικά μη διαχωρίσιμα). Παρατηρούμε ότι ορισμένες παραλλαγές στοχαστικών αλγόριθμων (ειδικά η παραλλαγή που εκμεταλλεύεται την ισχυρή κυρτότητα της κανονικοποιημένης ΛΠ) αποδίδει αρκετά καλά κατά τις πρώτες εποχές, ενώ οι επιταχυνόμενοι αλγόριθμοι γίνονται πιο ακριβείς μετά τις πρώτες εποχές. Γενικά, οι επιταχυνόμενοι στοχαστικοί αλγόριθμοι είναι γρήγοροι κατά τις πρώτες εποχές αλλά όχι πολύ ακριβείς. Έτσι, πιο εξελιγμένοι επιταχυνόμενοι στοχαστικοί αλγόριθμοι πρέπει να εξεταστούν.

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά