Deontic Challenges Combined with ASP-Planning on RL-Training for the FrozenLake and Extensions

Diese Arbeit untersucht die Integration von Reinforcement Learning (RL), Answer Set Programming (ASP) und Deontischer Logik (DL), um normatives Schließen in autonomen Agenten zu verankern, die in nicht-deterministischen Umgebungen agieren. Mithilfe einer erweiterten Version der FrozenLake-Umgebung von OpenAI – mit dynamischen Hindernissen, bedingten Feldern und modifizierten Belohnungen – simuliert diese Studie reale Dilemmata, in denen Agenten Befolgung von Normen mit Belohnungsmaximierung abwägen müssen. Es wird ein Framework entwickelt, das Q-Learning mit ASP-basierter Planung über Potasscos Telingo kombiniert und deontische Operatoren integriert. Das Framework bewertet die Fähigkeit des Agenten, mit widersprüchlichen Normen umzugehen, insbesondere mit 'Contrary-to-Duty' (CTD) Verpflichtungen, die nach Normverstößen entstehen. Experimente untersuchen die Effektivität verschiedener Strategien des normativen Schließens, wobei interne Planungsmodelle mit verschiedenen normbasierten Anpassungen der Belohnungen bzw. Rückmeldungen der Umgebung verglichen werden. Unsere Ergebnisse zeigen, dass der Agent zwar erfolgreich statische Normen erlernt, aber dynamische Normen und CTDs erhebliche Herausforderungen darstellen. Planungsbasierte Ansätze beschleunigen das Lernen, aber unvollständige Modelle haben Schwierigkeiten mit dynamischen Aspekten, während Belohnungsanpassung die Normbefolgung verbessert, jedoch das Risiko suboptimaler Politiken oder langsamer Konvergenz birgt. Die Ergebnisse deuten darauf hin, dass ein hybrider Ansatz – der normatives Schließen im Agentenmodell mit Belohnungsanpassung kombiniert – eine vielversprechende Richtung für zukünftige Forschung darstellt. Diese Arbeit leistet einen Beitrag zum breiteren Diskurs über die Verankerung ethischer und rechtlicher Normen in RL-Systemen, liefert Einblicke in die Komplexität automatisierten normativen Schließens und bildet die Grundlage für weitere Untersuchungen in diesem interdisziplinären Feld.