Institutional Repository [SANDBOX]
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Real-time planning and learning in the "Settlers of Catan" strategy game

Panousis Konstantinos

Simple record


URIhttp://purl.tuc.gr/dl/dias/47FFB724-C399-400A-9204-0466FD08FCB5-
Identifierhttps://doi.org/10.26233/heallink.tuc.18113-
Languageen-
Extent128 Σελίδεςel
TitleReal-time planning and learning in the "Settlers of Catan" strategy gameen
TitleΣχεδιασμός και μάθηση σε πραγματικό χρόνο για το παιχνίδι στρατηγικής "Άποικοι του Κατάν"el
CreatorPanousis Konstantinosen
CreatorΠανουσης Κωνσταντινος-Παναγιωτηςel
Contributor [Thesis Supervisor]Chalkiadakis Georgiosen
Contributor [Thesis Supervisor]Χαλκιαδακης Γεωργιοςel
Contributor [Committee Member]Lagoudakis Michaelen
Contributor [Committee Member]Λαγουδακης Μιχαηλel
Contributor [Committee Member]Deligiannakis Antoniosen
Contributor [Committee Member]Δεληγιαννακης Αντωνιοςel
PublisherTechnical University of Creteen
PublisherΠολυτεχνείο Κρήτηςel
Academic UnitTechnical University of Crete::School of Electronic and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρονικών Μηχανικών και Μηχανικών Υπολογιστώνel
DescriptionΔιπλωματική Εργασία που υποβήθηκε στη Σχολή ΗΜΜΥ για την ολοκλήρωση των προϋποθέσεων για τη λήψη του προπτυχιακού τίτλου σπουδών. el
Content SummaryΟ αλγόριθμος Monte Carlo Tree Search (MCTS) είναι μια γενική μέθοδος για την λήψη βέλτιστων αποφάσεων. Η μέθοδος αξιοποιεί τη λήψη (ουσιαστικά τυχαίων) δειγμάτων από τις πιθανές ενέργειες, και δημιουργεί ένα δέντρο αποφάσεων, μέσω του οποίου αναζητείται η βέλτιστη απόφαση. Μετά την επιτυχημένη εφαρμογή της μεθόδου, στο παιχνίδι -δύο παικτών και τέλειας πληροφορίας- Go, και τις προσδοκίες που δημιούργησε, η επαρκής κατανόηση των πλεονεκτημάτων και των αδυναμιών του αλγορίθμου είναι ένα ζητούμενο. Στην εργασία αυτή, εφαρμόζουμε τον αλγόριθμο MCTS, στο επιτραπέζιο παιχνίδι στρατηγικής Άποικοι του Κατάν, ένα παιχνίδι πολλών παικτών,μη-ντετερμινιστικό και μερικώς παρατηρήσιμο. Αναπτύσσουμε και αξιολογούμε τρεις διαφορετικές παραλλαγές στο κομμάτι της δημιουργίας του δέντρου του αλγορίθμου: συγκεκριμένα τη μέθοδο UCT, τη μέθοδο Bayesian UCT και τη μέθοδο Value of Perfect Information (VPI). Οι αλγόριθμοι αυτοί κατ'ουσίαν επιχειρούν να ισορροπήσουν το δίλημμα μεταξύ εξερεύνησης (exploration) και εκμετάλλευσης(exploitation) στο συγκεκριμένο τομέα. Επιπρόσθετα, δημιουργήσαμε διάφορες ευριστικές στρατηγικές για να μπορεί ο πράκτορας μας να ανταπεξέλθει σε συγκεκριμένες καταστάσεις που μπορούν να εμφανιστούν και οι οποίες απορρέουν από τους κανόνες του παιχνιδιού· σε αντίθεση με τους περισσότερους αυτοματοποιημένους παίκτες για τους Αποίκους του Κατάν, η υλοποίηση μας προσφέρει ένα (έστω απλό) σχέδιο διαπραγμάτευσης για να έχει ο πράκτορας μας τη δυνατότητα να ανταλλάσει πόρους με άλλους παίκτες. Αξίζει να σημειωθεί ότι είναι η πρώτη φορά που η μέθοδος Bayesian UCT χρησιμοποιείται στον αλγόριθμο MCTS στο παιχνίδι Άποικοι του Κατάν και είναι επίσης η πρώτη φορά που η μέθοδος VPI χρησιμοποείται σε σύζευξη με τον αλγόριθμο MCTS γενικότερα. Δοκιμάζουμε και αξιολογούμε τους πρακτόρες μας με βάση την αποτελεσματικότητα τους σε μεταξύ τους αναμετρήσεις, αλλά και σε αναμετρήσεις τους ενάντια σε υπαρκτές υλοποιήσεις άλλων αυτόνομων πρακτόρων, συμπεριλαμβανομένης και της ισχυρότερης υπάρχουσας ευρετικής υλοποίησης αυτόνομου πράκτορα. Τα αποτελέσματα μας είναι ενθαρρυντικά, και υποδηλώνουν ότι ο αλγόριθμος MCTS μπορεί να επωφεληθεί από τις παραλλαγές που υλοποιήσαμε. Ειδικά ο πράκτορας που χρησιμοποιεί την μέθοδο VPI, εμφανίζεται να είναι αρκετά ανταγωνιστικός, και η απόδοση του μπορεί να συγκριθεί με την απόδοση άλλων υπαρκτών αυτόνομων παικτών του παιχνιδιού Άποικοι του Κατάν, παρόλο που οι υπολογιστικοί πόροι που αξιοποιεί ήταν ιδιαίτερα περιορισμένοι σε σχέση με αυτούς που αξιοποιούν οι αντίπαλοι του. el
Content SummaryMonte Carlo Tree Search (MCTS) is a generic method for optimal decision making in a given domain. The technique operates by searching a decision tree that is progressively built via the -essentially random- sampling of potential action sequences. After its successful application in the two-player, perfect information game of Go, researchers are trying to obtain a better understanding of the MCTS strengths and weaknesses. In this thesis, we apply MCTS in the Settlers of Catan (SoC) strategy game, which is a non-deterministic, partially observable, multi-player strategic board game. We develop and evaluate three different enhancements in the tree policy of the main MCTS algorithm: namely, UCT, Bayesian UCT and Value of Perfect Information (VPI). These refined methods essentially constitute attempts to balance the exploration-exploitation dilemma in this domain. In addition, we created various heuristic strategies to cope with specific situations that may arise in the game; and, unlike most SoC automated players, our implementation also provides a simple negotiation scheme that gives our agent the ability to trade with other players. We note that this is possibly the first time that the MCTS algorithm is employed within a highly complex multi-agent environment. Moreover, this is the first time that the Bayesian UCT MCTS variant is used in the Settlers of Catan domain, and the first time that VPI is employed in conjunction with MCTS in general. We pit our agents against each other, and against existing AI implementations, including the strongest existing heuristic-based SoC automated player. Our results are very encouraging, and suggest that MCTS can benefit from the various tree policy enhancements implemented. The VPI agent, in particular, appears to be quite competitive, achieving performance that is comparable to that of existing SoC AI players, even when operating within a computational budget that was actually significantly more restricted than theirs. en
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by-nc/4.0/en
Date of Item2014-06-20-
Date of Publication2014-
SubjectMulti-Agent Learningen
SubjectLearningen
SubjectMonte Carlo Tree Searchen
SubjectAI (Artificial intelligence)en
SubjectArtificial thinkingen
SubjectElectronic brainsen
SubjectIntellectronicsen
SubjectIntelligence, Artificialen
SubjectIntelligent machinesen
SubjectMachine intelligenceen
SubjectThinking, Artificialen
Subjectartificial intelligenceen
Subjectai artificial intelligenceen
Subjectartificial thinkingen
Subjectelectronic brainsen
Subjectintellectronicsen
Subjectintelligence artificialen
Subjectintelligent machinesen
Subjectmachine intelligenceen
Subjectthinking artificialen
Bibliographic CitationKonstantinos Panousis, "Real-time planning and learning in the "Settlers of Catan" strategy game", Diploma Work, School of Electronic and Computer Engineering, Technical University of Crete, Chania, Greece, 2014en
Bibliographic CitationΚωνσταντίνος-Παναγιώτης Πανούσης, "Σχεδιασμός και μάθηση σε πραγματικό χρόνο για το παιχνίδι στρατηγικής "Άποικοι του Κατάν"", Διπλωματική Εργασία, Σχολή Ηλεκτρονικών Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2014el

Available Files

Services

Statistics