Referans Taban

Referans Taban, gerçek bir dil modeli değildir. Her soruda, mevcut seçenekler arasından bilgiye dayanmadan rastgele bir yanıt seçen kuramsal bir referanstır. Bir modelin skorunu bu tabanla karşılaştırmak, o modelin gerçekten öğrenip öğrenmediğini anlamanın en temel yoludur: tabanın çevresindeki skorlar, şans eseri elde edilebilecek başarımı gösterir.

Kıyaslama Veri Kümeleri

Her ölçüt, aşağıdaki Türkçe (ve uyarlanmış) veri kümeleri üzerinde değerlendirilir. Referans Taban da aynı kümeler üzerinde, yanıtları rastgele seçtiği varsayılarak hesaplanır.