Amélioration des modèles de langage neuronaux pour la réponse aux questions : techniques d'ajustement fin et applications dans la complétion de graphes de connaissances et la recherche web

L'élaboration de réponses aux questions (Question Answering, QA) à partir de sources textuelles est un domaine central en traitement automatique du langage naturel (TAL). Les tâches de QA impliquent la génération de réponses à des questions formulées en langage naturel à partir de diverses sources textuelles, allant de phrases simples à des documents complets. Ce processus nécessite une compréhension approfondie à la fois du contexte et des questions.Les progrès récents en QA ont été stimulés par l'intégration des réseaux neuronaux, la création de vastes ensembles de données d'entraînement et l'application de techniques de pré-entraînement non supervisé. Particulièrement après l'émergence de grands modèles de langage (LLMs), il est devenu réalisable d'unifier diverses tâches de TAL sous le cadre de la QA, permettant aux réseaux neuronaux de réaliser diverses tâches simplement en les interprétant comme des questions à répondre.Cependant, les modèles de QA dépendent encore largement de données annotées manuellement, ce qui rend l'entraînement coûteux et laborieux. De plus, les LLMs produisent souvent des réponses plausibles mais incorrectes, mettant au défi la fiabilité des systèmes de QA.Dans cette thèse, nous proposons des méthodes novatrices pour entraîner efficacement les modèles de QA avec des données limitées, visant à améliorer à la fois le rapport coût-efficacité et la crédibilité des systèmes de QA.Nous abordons d'abord le questionnement extractif au sein de domaines spécialisés. Un défi fréquent ici est la rareté de grands ensembles de données annotés par l'homme. Typiquement, nous avons accès seulement à des dizaines ou au plus quelques centaines d'exemples. Nous proposons une méthode de fine-tuning qui améliore les performances des modèles de QA extractifs en utilisant les données limitées disponibles, sans nécessiter d'efforts d'annotation supplémentaires.Nous abordons ensuite le problème des hallucinations dans les systèmes de questionnement génératif, un défi qui est devenu de plus en plus prédominant avec l'essor des LLMs. Notre deuxième étude présente une autre technique de peaufinage qui atténue de manière significative l'effet d'hallucination dans les LLMs pour les tâches de questionnement. Notamment, ce peaufinage repose sur des données contre-factuelles générées synthétiquement par les LLMs sans intervention humaine.De plus, nous appliquons nos avancées théoriques à des scénarios pratiques tels que l'achèvement de graphes de connaissances. Nous introduisons deux systèmes, IntKB et WebExtractor, qui exploitent les techniques de QA pour extraire des faits vérifiables à partir de sources de données non structurées telles que Wikipédia et du contenu Web, améliorant considérablement la complétude du graphe de connaissances.En outre, l'applicabilité pratique de ces contributions est démontrée à travers des applications réelles. WikidataComplete enrichit le graphe de connaissances de Wikidata en intégrant de manière transparente de nouveaux faits.D'autre part, nous démontrons l'intégration efficace des technologies de question-réponse pour la recherche web, combinant l'exploration du contenu non structuré et des données structurées. Cette approche hybride offre une perspective pratique sur les capacités actuelles des systèmes de question-réponse et leur potentiel pour révolutionner la recherche sur les sites web.