Apprentissage par renforcement efficace en taille d'échantillon : exploration, imitation et apprentissage séquentiel

L'apprentissage par renforcement (RL) fournit un cadre formel pour la prise de décision séquentielle en environnement inconnu. Un agent apprend une politique afin de maximiser un signal de récompense cumulée en interagissant avec un processus de décision markovien (MDP). Cette thèse étudie trois extensions du cadre standard de l'apprentissage par renforcement, en proposant de nouveaux algorithmes ainsi que leurs analyses théoriques associées.Premièrement, nous étudions le problème de l'exploration en l'absence de signal de récompense. Nous considérons deux formulations distinctes de l'exploration par maximisation d'entropie et proposons des algorithmes computationnellement efficaces. Pour ces algorithmes, nous dérivons des bornes de complexité en tailles d'échantillons, qui améliorent les résultats précédemment connus. Notre analyse établit en outre que l'apprentissage de la politique de maximisation de l'entropie de visite est statistiquement moins exigeant que l'exploration sans récompense dans l'une de ses variantes usuelles, ainsi que l'apprentissage d'une politique optimale dans un PDM standard avec récompenses.Deuxièmement, nous abordons le problème de l'accélération de l'apprentissage par renforcement à l'aide de démonstrations expertes, un cadre motivé par des applications modernes telles que l'apprentissage par renforcement à partir de retours (emph{feedback}) humains (RLHF). Nous analysons le cadre de l'apprentissage par renforcement régularisé par des démonstrations, où la fonction objectif de l'agent est augmentée d'une pénalité de Kullback-Leibler pour toute déviation par rapport à une politique de référence apprise à partir de démonstrations. Nous prouvons que cette approche entraîne une réduction linéaire de la complexité en tailles d'échantillon par rapport au nombre de démonstrations. Ce résultat établit comment les données expertes peuvent améliorer l'efficacité de la tâche d'apprentissage par renforcement.Troisièmement, nous étudions le problème de l'apprentissage dans des MDP où les récompenses sont choisies par un adversaire oublieux (emph{oblivious}). Nous proposons un nouvel algorithme qui utilise un oracle boîte noire d'optimisation linéaire séquentielle, le rendant facile à mettre en œuvre. Nous fournissons une analyse de regret montrant que sa borne de performance correspond à la borne inférieure minimax du cas stochastique (non adverse) en termes de dépendance aux nombres d'états, d'actions et d'épisodes.Globalement, les contributions de cette thèse consistent en de nouveaux algorithmes pour divers problèmes en apprentissage par renforcement, accompagnés de preuves de leur performance en termes de complexité en tailles d'échantillons et de bornes de regret.