Building, evaluating and understanding socio-cultural AI : leveraging concepts and methods from human sciences

L’évolution récente de l’intelligence artificielle (IA) a conduit à son intégration croissante dans la culture humaine. Cette présence accrue soulève d’importantes questions scientifiques – notamment socio-culturelles – cruciales pour conceptualiser, concevoir et évaluer les systèmes d’IA, ainsi que comprendre leur impact potentiel sur la société. Bien que ce sujet soit complexe et nuancé, des éclairages précieux viennent de la psychologie et des sciences humaines, qui étudient depuis longtemps le comportement socio-culturel humain et animal. Nous explorons trois questions scientifiques centrales : Quelles capacités un système intelligent doit-il posséder pour intégrer une culture humaine ? En nous appuyant sur les théories psychologiques du développement de Michael Tomasello et Jerome Bruner, nous avons identifié des compétences socio-cognitives fondamentales que nous jugeons particulièrement pertinentes pour la recherche actuelle en IA. Nous avons introduit The SocialAI School, un outil générant des environnements pour évaluer et développer ces capacités chez des agents. Nous avons démontré diverses utilisations de The SocialAI School avec des agents d’apprentissage par renforcement (RL) et des modèles de langage (LLM). Nos expériences ont mis en évidence les limites des agents RL classiques, notamment leur incapacité à généraliser à de nouveaux contextes. Nous avons aussi montré que, bien que les LLM manifestent des comportements partiellement compatibles avec l’inférence d’indices sociaux, un écart de performance subsiste. Comment caractériser une culture encodée dans un système artificiel, tel qu’un modèle de langage de grande taille (LLM) ? Nous montrons que les LLM présentent une forte sensibilité à des changements de contexte apparemment triviaux, ce qui remet en question les hypothèses sous-jacentes à de nombreux questionnaires psychologiques de plus en plus utilisés pour les évaluer. Nous mettons en garde contre l’usage naïf de ces questionnaires pour tirer des conclusions générales sur le comportement LLM. Pour cela, nous comparons systématiquement divers LLM selon la stabilité des valeurs exprimées par des personas simulés dans différents contextes. Nous observons que certaines familles de modèles – Qwen, Mixtral, Mistral, GPT-3.5 – manifestent une stabilité plus élevée dans différents dispositifs expérimentaux. Nous avons ensuite étendu la méthodologie pour construire un classement (leaderboard). Les résultats suggèrent que, bien que la stabilité relative semble plafonner, un écart persistant dans les scores de validation indique soit une marge d’amélioration, soit une limite des théories centrées sur l’humain appliquées aux LLM. Comment une culture humain–IA évolue-t-elle dans le temps ? En utilisant le design en chaîne itérative (une méthode adaptée du domaine de l’évolution culturelle), nous avons exploré comment différentes propriétés des données humaines influencent l’évolution du contenu généré par l’IA. Nous avons constaté qu’une plus grande diversité lexicale et une distribution plus gaussienne des données humaines étaient associées à une détérioration plus marquée au fil des générations, tandis qu’une plus grande diversité sémantique et une meilleure qualité des données entraînaient une détérioration plus faible. Nous avons aussi constaté que les propriétés d’un domaine influencent peu les données générées dans un autre. Ces résultats suggèrent que différentes parties d’internet suivent peut-être des dynamiques évolutives distinctes, façonnées par les propriétés des données sous-jacentes. Les trois questions abordées dans cette thèse sont fondamentalement complexes et interdisciplinaires. Nous n’en présentons ici que les premières étapes, laissant de nombreuses questions ouvertes concernant les capacités socio-cognitives, les représentations internes et l’impact culturel des systèmes d’IA [...]