Büyük Dil Modellerinin Türkçe Sözcük Bilgisi: Halüsinasyon ve Çekimserlik

Büyük dil modellerinin seyrek ve bölgesel söz varlığı karşısındaki yanlış üretimleri, yaygın bilgi sorularına ya da uydurma varlıklara dayanan değerlendirmelerde yeterince görünür olmayabilir. Bu çalışma Türkçe sözcük anlamı sorularındaki yanlış tanım ve çekimserlik davranışını 20 yaygın, 70 nadir, 70 ağız ve 40 üretilmiş sahte sözcükten oluşan dört katmanlı bir test kümesiyle incelemektedir. Dokuz model, sözcük anlamını soran nötr istem ve modelin “bilmiyorum” demesine açıkça izin veren istem koşullarında değerlendirilmiştir. Elde edilen 3.600 yanıt yedi kategorili bir kodlama şemasıyla büyük dil modeli tabanlı bir yargıç (BDM-yargıç) tarafından kodlanmış, kodlar 500 yanıtlık kör insan alt kümesinde doğrulanmıştır. Ana sonuç değişkeni, sözlük tanımıyla uyuşmayan bir anlamın ileri sürülmesi olarak tanımlanan yanlış tanımdır. Bu değişken için insan ile yargıç arasındaki Cohen's kappa 0,80'dir. Yargıç kodlarına göre yanlış tanım oranı yaygın sözcüklerde %1,4, nadir sözcüklerde %20,7, ağız sözcüklerinde %38,8 ve sahte sözcüklerde %26,1'dir. Ağız sözcüklerindeki oran sahte sözcüklerdekinden 12,7 yüzde puan yüksektir. Nadir sözcükler ile sahte sözcükler arasındaki fark anlamlı değildir. Gerçek sözcüklerdeki yanlış tanımların yaklaşık yarısı başka bir gerçek sözcüğün anlamıdır. Yanlış tanım oranı nötr istemde %40,2 iken çekimserliğe izin veren istemde %12,2'dir. Yanlış tanımların yargıç kodlarına göre %87,0'ında, insan kodlu alt kümede %90,3'ünde belirsizlik ifadesi yer almamıştır. Gerçek sözcüklere verilen çekimser yanıtların dörtte biri sözcüğün var olmadığını ileri sürmektedir. Sonuçlar, Türkçe söz varlığı değerlendirmelerinin gerçek seyrek ve bölgesel sözcükleri sahte sözcüklerle birlikte içermesi ve istem koşulunun ayrı bir değişken olarak raporlanması gerektiğini göstermektedir.