Signature-Q-learning: a non-Markovian reinforcement learning approach

Die meisten Methoden des Reinforcement Learning (bestärkendes Lernen) gehen davon aus, dass die zugrunde liegende Umgebung durch einen Markov-Entscheidungsprozess (MDP, Markov Decision Process) beschrieben werden kann, in dem der aktuelle Zustand des Prozesses ausreicht, um eine optimale Strategie zu erlernen. Viele reale Probleme weisen jedoch historienabhängige Dynamiken auf, bei denen Zustandsübergänge und Belohnungen von vergangenen Zuständen und Aktionen abhängen können, sodass MDP-basierte Lernmethoden sich als unzureichend erweisen. Diese Arbeit widmet sich dieser Problematik und entwickelt einen Rahmen für Reinforcement Learning in nicht-Markov'schen Umgebungen. Dazu werden historienbasierte Entscheidungsprozesse (HDP, History-based Decision Process) als formales Modell eingeführt sowie der Signature-Q-Learning-Algorithmus vorgestellt, der Pfadsignaturen nutzt, um optimale Strategien in solchen Umgebungen zu approximieren. Der Hauptteil dieser Arbeit gliedert sich in drei Teile. Zunächst werden in Kapitel 4 historienbasierte Entscheidungsprozesse eingeführt, die den Rahmen der klassischen MDPs erweitern, um Umgebungen mit historienabhängigen Dynamiken zu modellieren. HDPs bieten einen nichtstationären Rahmen mit endlichem Zeithorizont, in dem die Strategie des Agenten nicht nur auf dem aktuellen Zustand, sondern auf der gesamten beobachteten Zustands- und Aktionshistorie beruht. In diesem Modell entwickeln wir ein dynamisches Programmierprinzip für die optimalen Wertfunktionen, in Analogie zu den Bellman-Gleichungen für MDPs, charakterisieren optimale Strategien als solche, die diesem Prinzip genügen, und beweisen deren Existenz. Zweitens wird in Kapitel 5 der Signature-Q-Learning-Algorithmus vorgestellt, eine neue Reinforcement-Learning-Methode für historienabhängige Umgebungen. Dieser basiert auf den universellen Approximationseigenschaften von Pfadsignaturen, einem Konzept, das in der Theorie der rauen Pfade (rough paths) eine wichtige Rolle spielt. Der Algorithmus approximiert die optimale Q-Funktion als lineares Funktional der Pfadsignaturen von beobachteten Zustands-Aktions-Historien und ermöglicht so eine effiziente Repräsentation von zeitlichen Abhängigkeiten. Im Gegensatz zum klassischen Q-Learning in MDPs, das auf einzelnen Zustands-Aktions-Paaren basiert, nutzt Signature-Q-Learning die gesamte Historie und bleibt dabei rechnerisch effizient, indem es gekürzte Pfadsignaturen und eine inkrementelle Aktualisierung auf Basis der Chen-Identität verwendet. Drittens evaluieren wir in Kapitel 6 den Algorithmus anhand zweier numerischer Experimente. Das Erste stellt eine nur teilweise beobachtbare Umgebung dar und zeigt, dass Signature-Q-Learning vergangene Zustände erfolgreich integriert, um das Problem zu lösen. Das Zweite wendet den Algorithmus auf das Problem der Liquidation einer Aktienposition unter Nutzung des ABIDES-Marktsimulators an, in dem historienabhängige Preiseffekte eine wesentliche Rolle spielen. In beiden Fällen lernt Signature-Q-Learning erfolgreich annähernd optimale Strategien, trotz der nicht-markovschen Natur der Umgebungen. Wir analysieren die Auswirkungen der Länge der Signaturekürzung, diskutieren die Überschätzung von Q-Werten und vergleichen die gelernte Strategie mit einer annähernd optimalen Basisstrategie.Diese Arbeit leistet einen Beitrag zur Weiterentwicklung des Reinforcement Learning, indem sie historienbasierte Entscheidungsprozesse als Modellierungsrahmen einführt und das Lernen in historienabhängigen Umgebungen mit der Approximation von Pfadfunktionalen durch die Signatur von Pfaden verbindet. Der vorgeschlagene Algorithmus ist eine modellfreie, online und off-policy Methode und stellt damit ein vielseitiges Werkzeug zur Lösung nicht-markovscher Probleme in verschiedensten Anwendungsbereichen dar. Zukünftige Forschungsschwerpunkte umfassen die Konvergenzanalyse der Methode, eine Verbesserung der Stichprobeneffizienz sowie die Erweiterung des Ansatzes auf kontinuierliche Aktionsräume.