Observations aberrantes et hallucinations : contributions à la détection robuste des communautés et à l'alignement des modèles de langue

Cette thèse aborde deux problèmes distincts en statistique et en apprentissage automatique : la détection robuste de communautés et l'alignement des modèles de langage. La première partie se concentre sur la détection robuste de communautés, c'est-à-dire le problème de la création de clusters au sein d'un graphe en présence de perturbations. Nous proposons une approche qui explore l'espace des sous-graphes à l'aide d'un algorithme de recuit simulé doté d'une fonction de coût bien définie afin de réaliser des estimations robustes et d'identifier les valeurs aberrantes. Notre méthode maintient de manière cohérente l'erreur d'estimation proche de la référence par rapport les nœuds non-perturbés, même lorsque la fraction des valeurs aberrantes augmente, surpassant ainsi les méthodes existantes. La deuxième partie de la thèse est consacrée au problème de l'alignement des modèles de langage, avec un accent particulier sur la réduction des hallucinations contextuelles. Nous abordons le coût de calcul associé à l'ajustement de l'hyperparamètre de la force de régularisation dans les approches d'alignement basées sur l'apprentissage par renforcement. Notre méthode, Decoding-time Realignment (DeRa), offre un moyen rapide et rentable de réaligner un modèle pour diverses forces de régularisation sans nécessiter de boucle de réentraînement complète. Nous étudions également l'efficacité de l'utilisation de données synthétiques pour entraîner les modèles de récompense dans le cadre de cette tâche, car les hallucinations organiques sont relativement rares et leur annotation peut être coûteuse. Nous démontrons que de simples hallucinations synthétiques sont capables d'entraîner des modèles de récompense qui se généralisent bien à la détection des hallucinations organiques. Cela permet une réduction significative des taux d'hallucinations avec des coûts de calcul et d'annotation minimes.