Compréhension de documents d'assurance à l'aide de modèles de langage basés sur des Transformers

Cette thèse examine les méthodes de compréhension de documents du secteur assurantiel, où les processus reposent sur des documents non structurés, où les données sont limitées et où les contraintes de confidentialité interdisent l’usage d’images. Elle se concentre sur des modèles de type Transformers appliqués à la reconnaissance d’entités nommées dans les documents d’entreprise, en abordant deux verrous principaux : le décalage de domaine dans les corpus de pré-entrainement et les limites architecturales des modèles sensibles à la mise en page. La première contribution montre que le pré-entrainement sur des corpus plus petits mais pertinents pour le domaine offre de meilleures performances que sur de grands ensembles génériques. Nous montrons aussi qu’avec ce cadre, un modèle deux fois moins profond maintient ses performances tout en réduisant le temps de calcul. La deuxième contribution présente DOCPOLARBERT, une nouvelle architecture qui encode la mise en page par des coordonnées polaires relatives plutôt que par des coordonnées absolues des blocs de texte. Cette méthode capture plus efficacement les relations spatiales sans recourir aux images, avec de bons résultats sur plusieurs jeux de données et une nette amélioration sur des données internes d’assurance. Ensemble, ces contributions soulignent l’importance de l’adaptation au domaine et des choix de représentation spatiale pour une compréhension de documents robuste, efficace et conforme aux contraintes de confidentialité.