Constraint programming for constrained text generation

Générer un texte à la fois naturel et garantissant des contraintes non locales et englobantes, comme dans un poème, relève à la fois d'un défi de modélisation et de résolution de problèmes. Cette thèse présente la génération contrainte de texte comme une collaboration neuro-symbolique entre un « Système 1 » rapide et intuitif et un « Système 2 » lent et assertif. Les modèles de langue (LM) fournissent au Système 1 un a priori de continuités plausibles et d'aisance stylistique, tandis que la programmation par contraintes (CP) apporte la précision du Système 2. Deux stratégies complémentaires structurent les contributions. Dans « Contraindre-puis-Prédire », l'ensemble de solutions est d'abord calculé à l'aide de diagrammes de décision à valeurs multiples (MDD) et de modélisation CP. Une ossature en n-grammes encode des contraintes markoviennes, restreignant l'expansion aux transitions localement admissibles ; d'autres contraintes comme les largeurs de ligne dues à la typographie, la longueur globale, le vocabulaire autorisé, le nombre de syllabes et de ponctuation sont intersectées à la volée lors de la compilation. Les phrases admissibles sont ensuite classées par des scores de LM (par exemple, perplexité), permettant d'extraire des ensembles de phrases intelligibles avec des garanties strictes. Dans « Prédire-et-Contraindre » (GenCP), le couplage est plus étroit : un LM auto-régressif (produisant du texte de gauche à droite) propose de petits domaines prometteurs pour prendre des décisions et affectations dans le solveur; la CP impose et propage des contraintes sur ces domaines ; et le retour arrière corrige les mauvaises décisions. Pour atténuer la myopie de la prédiction de gauche à droite, des modèles de langue masqués offrent un regard anticipatif bidirectionnel, rétablissant un élagage puissant à travers des contraintes distantes et non locales. Ce coup d'œil dans le futur de la séquence permet de limiter le nombre de retours en arrière en évitant les chemins menant à des contradictions, et a surtout un impact très positif sur la facilité d'obtention de solutions. L'approche combine l'intuition du Système 1 guidée par le raisonnement du Système 2 : produire du texte intelligible quand c'est possible, rigoureux quand c'est nécessaire. Les méthodes sont validées sur des tests de lecture standardisés sensibles à la mise en page, où les phrases sont rares et les contraintes interagissent de manière subtile. Les expériences montrent que « Contraindre-puis-Prédire » énumère efficacement de grands ensembles admissibles et que le classement basé sur des LM corrèle avec la vitesse de lecture humaine ; « Prédire-et-Contraindre », de son côté, satisfait des spécifications strictes plus fiablement que le décodage glouton classique avec vérifications a posteriori, en particulier sur les tâches de génération de texte sous contraintes extraites du benchmark COLLIE. Au-delà de cette étude de cas, la thèse propose un schéma général pour la génération de texte contrainte : (i) ériger les garanties en éléments de première classe via la CP ; (ii) encoder les propriétés linguistiques au moyen de contraintes markoviennes et de MDD ; (iii) laisser les LM guider la recherche sans sacrifier la faisabilité ; et (iv) boucler la boucle par une prévisualisation bidirectionnelle des domaines et un retour arrière fondé sur des principes bien connus de la programmation par contraintes. Il en résulte une approche neuro-symbolique pratique de la modélisation et de la génération, produisant du contenu valide par construction et qui a vocation à rester naturel à la lecture, avec des applications potentielles aux tâches créatives, aux clauses juridiques classiques (e.g., confidentialité, plagiat ou droit d'auteur), aux "prompts" critiques pour la sécurité (e.g., éviter les contenus nocifs), et plus généralement à d'autres tâches de génération de séquences contraintes où l'aspect prédictif du Système 1 coexiste avec l'assertivité du Système 2.