What Does Artificial Intelligence Know About Comparative Constitutional Law?; ماذا يعرف الذكاء الاصطناعي عن القانون الدستوري المقارن؟

We evaluate whether large language models (LLMs) can accurately generate data for research in comparative constitutional law. Using four human-coded datasets as benchmarks, we test ChatGPT-5 and Grok-3’s ability to reproduce key constitutional variables. We find that the models perform reasonably well coding concrete, factual variables—such as whether a president evaded term limits or whether a constitution was approved by referendum—but perform poorly coding conceptually or interpretively demanding variables—such as identifying sources of constitutional rights or forms of elite consensus. We also find that their errors are systematically biased: for binary variables we find evidence of false positives which overstate the prevalence of constitutional activity (‘hallucination bias’), while for categorical variables we find a bias towards the largest category (‘majority class bias’). We further find that performance does not vary meaningfully across language, legal family, or economic status. Overall, current LLMs may be able to code simple factual data, but they are still unreliable substitutes for expert human coders when conceptual or interpretive judgment is required. یهدف هذا البحث إلى تقييم ما إذا كانت النماذج اللغة الضخمة (LLMs) قادرة على توليد بيانات دقيقة للبحوث التجريبية في القانون الدستوري المقارن. ومن خلال استخدام أربع مجموعات بيانات مشفّرة بشرياً كمعايير مرجعية، نختبر قدرة ChatGPT-5 و Grok-3 على إعادة إنتاج المتغيرات الدستورية الرئيسية. من خلال البحث تبین ان النماذج تؤدي أداءً جيدًا إلى حد معقول في تشفیر المتغيرات الملموسة والواقعية، مثل ما إذا كان الرئيس قد تهرب من حدود الولاية أو ما إذا كان الدستور قد تمت الموافقة عليه في استفتاء، ولكن الاداء کان سيئًا في تشفیر المتغيرات الصعبة من الناحية النظرية أو التفسيرية، مثل تحديد مصادر الحقوق الدستورية أو أشكال توافق النخبة. کما وجدنا أيضًا أن أخطاءها متحيزة بشكل منهجي: بالنسبة للمتغيرات الثنائية، لدينا أدلة على وجود نتائج إيجابية خاطئة تبالغ في تقدير انتشار النشاط الدستوري (تحيز الهلوسة)، بينما بالنسبة للمتغيرات الفئوية، وجدنا تحيزًا نحو الفئة الأكبر (تحيز الطبقة الأغلبية). لا يختلف الأداء بشكل كبير عبر اللغات أو الأسر القانونية أو الوضع الاقتصادي. بشكل عام، حیث قد تكون نماذج اللغة الكبيرة الحالية قادرة على تشفیر البيانات الواقعية البسيطة، ولكنها لا تزال بديلاً غير موثوق به عن المبرمجين البشريين الخبراء عندما يتطلب الأمر إصدار أحكام مفاهيمية أو تفسيرية.