ASP-Based Abstractions for Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit dem modellfreien, bestärkenden Lernen in relationalen Markov-Entscheidungsproblemen (RMDPs), die Zustände und Aktionen durch logische, atomare Formeln repräsentieren. Ein fundamentales Hindernis für viele interessante Anwendungsdomänen in diesem Bereich ist eine kombinatorische Explosion derer Zustands-Aktions-Räume, wodurch wertbasierte, tabulare Lernalgorithmen wie “Q-learning” schnell unbrauchbar werden. Praktikable Algorithmen überwinden dieses Hindernis, indem sie tabulare Lernalgorithmen mit Funktionsapproximationstechniken erweitern. Dies erlaubt die Darstellung von sowohl kompakten, als auch generalisierbaren Repräsentationen für Nutzenfunktionen und Strategien. Vorgeschlagene Techniken reichen von hochentwickelten, wie “Relational Reinforcement Learning”, “Deep Relational Reinforcement Learning” und “Neuro-Symbolic Reinforcement Learning”, zu konzeptuell einfacheren, aber immer noch relevanten Techniken, wie Zustands- und Zustands-Aktions-Paar-Abstraktionen. Solche Abstraktionen wurden bereits in Kombination mit einer Vielfalt an Wissensrepräsentationsformalismen untersucht. Allerdings ist das logische Programmieren mit Antwortmengen, das “Answer Set Programming” (ASP), nur spärlich im diesem Rahmen untersucht, obwohl es, dank seine Deklarativität und seiner Fähigkeit zur nichtmonotonen Inferenz, ein interessanter Kandidat für diese Anwendung ist. Um diese Forschungslücke zu füllen, untersucht diese Arbeit die Anwendung von ASP zur Repräsentation von Zustands- und Zustands-Aktions-Paar-Abstraktionen für RMDPs. Es wird eine generelle Methode konzeptualisiert, um Abstraktionen in ASP zu kodieren, und ein Prototyp derselben implementiert. Basierend darauf werden Abstraktionen in zwei konkreten Anwendungsdomänen modelliert und getestet, nämlich für Stapelaufgaben in Blockwelten und für Navigationsaufgaben in “Minigrid“-Umgebungen. Empirische Analysen zeigen, dass es, unter der Nutzung von “Q-learning” und mithilfe der Abstraktionen, möglich ist, Strategien mit akzeptabler Qualität stabil und reproduzierbar zu lernen, und zwar mit weniger Interaktionen als nötig sind, um vergleichbare Strategien ohne die Abstraktionen zu lernen. Diese Resultate sind im Einklang mit der betrachteten Abstraktions-Theorie und einer großen Menge an vorangegangenen empirischen Untersuchungen. Allerdings sind zusätzliche Studien nötig um die Brauchbarkeit unseres Zuganges in praktischen Anwendungen zu prüfen. Nach Wissen des Authors ist die vorliegende Arbeit die erste, die sich im vorgestellten Rahmen mit der Anwendung von ASP zur Repräsentation spezifisch von Zustands-Aktions-Paar-Abstraktionen befasst.