Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Deep reinforcement learning for overlapping coalition formation

Koresis Gerasimos

Simple record


URIhttp://purl.tuc.gr/dl/dias/E1A2B4AB-2F8D-4005-A019-7106B1183C2D-
Identifierhttps://doi.org/10.26233/heallink.tuc.98296-
Languageen-
Extent112 pagesen
Extent3.6 megabytesen
TitleDeep reinforcement learning for overlapping coalition formationen
TitleΒαθιά ενισχυτική μάθηση για σχηματισμό επικαλυπτόμενων συνασπισμώνel
CreatorKoresis Gerasimosen
CreatorΚορεσης Γερασιμοςel
Contributor [Thesis Supervisor]Chalkiadakis Georgiosen
Contributor [Thesis Supervisor]Χαλκιαδακης Γεωργιοςel
Contributor [Committee Member]Lagoudakis Michailen
Contributor [Committee Member]Λαγουδακης Μιχαηλel
Contributor [Committee Member]Samoladas Vasilisen
Contributor [Committee Member]Σαμολαδας Βασιληςel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryThis thesis delves into the dynamic landscape of Overlapping Coalition Formation (OCF), within multiagent systems, leveraging the power of Deep Reinforcement Learning (DRL), to navigate uncertainties inherent in cooperative interactions. The central inquiry revolves around addressing the uncertainty regarding the degrees of cooperation (DoC) among agent types, which arguably determine the effectiveness of coalitions formed by the agents. The study unfolds in multiple dimensions. First, an exploration of RL and DRL techniques is undertaken, emphasizing their application to the intricate challenges posed by OCF scenarios. The core of the investigation lies in deciphering the evolving dynamics of agent interactions, with a particular focus on the uncertain nature of cooperation values represented by the DoC. In response to this uncertainty, the study integrates Graph Neural Networks (GNN) into the DRL framework. In particular, our thesis details the synergistic integration of DRL (specifically, Deep Q-Networks - DQN) and GNNs (specifically, Graph Attention Networks - GAT), showcasing their collective capacity to adapt to the ever-changing uncertain cooperation landscape. Our experimental evaluation results underscore the efficacy of this hybrid approach in enhancing sequential coalition formation strategies under uncertainty. We explored several variants of our DRL+GNNs approach, with our simulation results suggesting the intertwining of DQN with GAT updates of the DoC at the change of the proposer to be the most beneficial one. Finally, our work in this thesis takes the initial steps to tackle the scalability challenges inherent in this multiagent domain, and lays the groundwork for future refinements and extensions.en
Content SummaryΗ παρούσα διπλωματική εμβαθύνει στο δυναμικό τοπίο του Σχηματισμού Επικαλυπτόμενων Συνασπισμών (OCF), αξιοποιώντας τη δύναμη του Deep Reinforcement Μάθηση (DRL), για την πλοήγηση στις αβεβαιότητες που είναι εγγενείς σε διαδοχικές συνεργατικές αλληλεπιδράσεις πολλαπλών παραγόντων. Η κεντρική έρευνα περιστρέφεται γύρω από την αντιμετώπιση της αβεβαιότητας σχετικά με τους βαθμούς συνεργασίας (DoC) μεταξύ των τύπων πρακτόρων, οι οποίοι θεωρούμε ότι καθορίζουν την αποτελεσματικότητα των συνασπισμών που σχηματίζονται από τους πράκτορες. Η μελέτη εκτυλίσσεται σε πολλαπλές διαστάσεις. Πρώτον, πραγματοποιείται μια εξερεύνηση των τεχνικών RL και DRL, δίνοντας έμφαση στην εφαρμογή τους στις περίπλοκες προκλήσεις που θέτουν τα σενάρια OCF. Ο πυρήνας της έρευνας βρίσκεται στην αντιμετώπιση της αβεβαιότητας σχετικά με την αξία της συνεργασίας για δημιουργία συνασπισμών, που αντικατοπτρίζεται από τους προαναφερθέντες DoC. Ως απάντηση, η μελέτη ενσωματώνει σε ένα πλαίσιο μάθησης και λήψης αποφάσεων που χρησιμοποιεί DRL, τα νευρωνικά δίκτυα σε γράφους (GNN). Ειδικότερα, η εργασία μας περιγράφει λεπτομερώς τη συνεργιστική ολοκλήρωση των DRL (συγκεκριμένα, Deep Q-Networks - DQN) και GNN (συγκεκριμένα, Graph Attention Networks - GAT), επιδεικνύοντας την ικανότητα του συνδυασμού τους να προσαρμόζεται στο διαρκώς μεταβαλλόμενο αβάβαιο τοπίο συνεργασίας. Τα αποτελέσματα της πειραματικής μας αξιολόγησης υπογραμμίζουν την αποτελεσματικότητα αυτής της υβριδικής προσέγγισης στη βελτίωση των ακολουθιακών αποφάσεων σχηματισμού συνασπισμού υπό αβεβαιότητα. Εξερευνήσαμε διάφορες παραλλαγές της DRL+GNN προσέγγισής μας, με τα αποτελέσματα της προσομοίωσής μας να υποδηλώνουν ως την πλέον επωφελή την αλληλοδιαπλοκή του DQN με ενημερώσεις GAT των DoC που λαμβάνουν χώρα κάθε φορά που αλλάζει ο προτείνων τον σχηματισμό. Τέλος, στην εργασία μας πραγματοποιούμε κάποια αρχικά βήματα για την αντιμετώπιση των εγγενών σε αυτό το πολυπρακτορικό πρόβλημα προκλήσεων επεκτασιμότητας, και θέτει τις βάσεις για μελλοντικές βελτιώσεις.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by-sa/4.0/en
Date of Item2023-12-12-
Date of Publication2023-
SubjectOverlapping coalition formationen
SubjectDeep reinforcement learningen
Bibliographic CitationGerasimos Koresis, "Deep reinforcement learning for overlapping coalition formation", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023en
Bibliographic CitationΓεράσιμος Κορέσης, "Βαθιά ενισχυτική μάθηση για σχηματισμό επικαλυπτόμενων συνασπισμών", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023el

Available Files

Services

Statistics