Spécification des tâches et généralisation en apprentissage par renforcement multi-tâches

Cette thèse s'intéresse à la conception d'agents capables de réaliser un large éventail de tâches tout en étant intuitifs et simples d'utilisation. Entraîner un agent par renforcement pour chaque tâche (STRL) n'est pas une solution viable, étant donné le coût et la durée de ces entraînements. L'apprentissage par renforcement multi-tâche (MTRL) surmonte cette limitation en entraînant des agents à réaliser plusieurs tâches, leur permettant ainsi de généraliser à de nouvelles tâches sans entraînement supplémentaire. Le MTRL étend le STRL en intégrant deux éléments clés : une distribution de tâches d'entraînement et un mécanisme de spécification des tâches, permettant la communication de celles-ci aux agents. Nous étudions ces deux composants, en identifiant leurs limites actuelles et en proposant des méthodes novatrices pour améliorer la capacité des agents à généraliser à de nouvelles tâches tout en renforçant leur facilité d'utilisation. Tout d'abord, nous présentons un mécanisme de spécification des tâches basé sur des démonstrations encodées à l'aide d'architectures de type transformeur. Cette approche permet aux agents MTRL d'accomplir de nouvelles tâches à partir de quelques démonstrations seulement, surpassant les méthodes basées sur l'apprentissage par imitation et le meta-apprentissage. Dans un second temps, nous introduisons une méthode qui relie deux modalités de spécification des tâches : les états d'un environnement et le langage naturel, en composant des fonctions de visualisation d'environnements avec des modèles vision-langage. Ce lien permet la création de méthodes de génération de buts à partir d'une description textuelle de ces buts, ainsi que la création de buts sémantiquement diversifiés de manière automatique. Ensemble, ces nouvelles techniques permettent de créer des agents qui, à partir d'une instruction en langage naturel, sont capables de réaliser la tâche correspondante. Contrairement aux approches concurrentes créant de tels agents, nous accomplissons cela sans nécessiter de données textuelles pour entraîner ces agents, évitant ainsi tout problème lié à la collecte de ces données, tout en créant des agents meilleurs à réaliser de nouvelles instructions. Pour finir, nous explorons plusieurs améliorations de ces méthodes, permettant l'amélioration des performances des agents conditionnés par le langage ainsi que leur capacité à exécuter plusieurs instructions textuelles à la suite. Pour valider ces approches, nous évaluons nos agents sur trois benchmarks multi-tâches : manipulation robotique (Meta-World), navigation (VIZDoom) et contrôle d'un robot humanoïde avec 19 degrés de liberté. Les résultats montrent que, sans modifier l'algorithme d'apprentissage par renforcement sous-jacent, nos méthodes améliorent significativement la généralisation à des nouvelles tâches et la convivialité des agents MTRL.