Bir Modelin "İyi" Olduğunu Nasıl Anlarız?

İki model önünüzde duruyor. Biri "harika" deniyor, diğeri "idare eder". Bu yargı nereden geliyor? Birinin diğerinden iyi olduğunu nasıl biliyoruz, hislerle mi, yoksa ölçerek mi? Yapay zekâda bu sorunun ciddi bir cevabı var ve adı benchmark.

Bu yazı, lleaderboard'ın kalbindeki fikri anlatıyor. Çünkü bir "leaderboard" (liderlik tablosu), aslında baştan sona bu soruyla ilgilidir: modelleri adil, tekrarlanabilir ve karşılaştırılabilir biçimde nasıl ölçeriz? Ama işin bir de karanlık tarafı var ve dürüst bir bilgi tabanı onu da anlatmalı.

Benchmark nedir? (Modeller için sınav)

Bir benchmark, en basit tanımıyla, modellere verilen standart bir sınavdır. Binlerce soru hazırlanır, model bu soruları cevaplar, doğru cevap oranı bir skora dönüşür. Aynı sınavı farklı modellere verirseniz, skorları karşılaştırabilirsiniz. Mantık, üniversite sınavıyla birebir aynı: herkes aynı soruları çözer ve puanlar kıyaslanır.

İki temel ölçme biçimi var:

• Çoktan seçmeli (MCQA): Modele şık verilir, doğru şıkkı seçmesi beklenir. Puanlaması kolay ve nesneldir. Türkçe benchmark'ların çoğu bu türden.
• Üretime dayalı (generative): Model serbest metin üretir (özet, çeviri, cevap). Daha gerçekçi ama puanlaması zordur, çünkü "doğru cevap" tek değildir.

Türkçe benchmark ailesi

Birkaç yıl önce Türkçe için ciddi bir ölçüt bulmak zordu. Bugün ise güçlü ve büyüyen bir aile var. İşte öne çıkanlar:

Bu dördü öne çıkanlar, ama tek değiller: TUMLU (Türkçe dâhil sekiz Türki dil), TrGLUE ve SentiTurca (dil anlama ve duygu analizi) gibi ölçütler ve topluluk kaynaklı çeşitli açık liderlik tabloları da bu ekosistemin parçası.

Ama dikkat: tek bir sayı yalan söyleyebilir

Şimdi işin dürüst kısmı. Benchmark skorları güçlü bir araçtır ama kusursuz değildir. İki büyük tuzak var ve bunları bilmeyen kolayca yanıltılır.

1. Kirlenme (contamination / test sızıntısı)

Bir benchmark'ın soruları modelin eğitim verisine sızmışsa model o soruları "bilmez", ezberlemiştir. Bu, sınavdan önce cevap anahtarını görmek gibidir. Araştırmalar bunun yaygın olduğunu gösteriyor: popüler soru-cevap benchmark'larında sızıntı oranları %1 ile %45 arasında ölçülmüş ve modeller sadece bu soruları eğitimde görmüş olmakla skorlarını 10 puana kadar şişirebiliyor. Yani yüksek skor, her zaman yüksek yetenek demek değil.

2. Goodhart Yasası: hedef olan ölçü bozulur

Bir ünlü ilke der ki: "Bir ölçü hedef hâline geldiğinde, iyi bir ölçü olmaktan çıkar." Modeller belirli testlerde iyi görünmek için özel olarak ayarlanınca, benchmark gerçek yeteneği değil, "teste çalışmayı" ölçmeye başlar. Buna alaycı bir isim bile takıldı: "benchmarketing" (benchmark + pazarlama). Çarpıcı bir örnek: sadece çoktan seçmeli şıkların sırasını değiştirmek, bazı modellerin skorunu %13'e kadar düşürebiliyor. Demek ki model içeriği anlamak yerine yüzeysel örüntüleri kullanıyor olabilir.

Sonuç: Tek bir benchmark skoruna bakıp "bu model en iyisi" demek, tek bir sınav notuna bakıp birini "en zeki insan" ilan etmek gibidir. Sayı önemlidir, ama bağlamı olmadan tehlikelidir.

O zaman ne yapmalı? Tek mercek değil, çok mercek

Çözüm benchmark'ları çöpe atmak değil, onları doğru okumak. Bir modeli gerçekten anlamak için tek bir sayıya değil, birden çok mercekten bakmak gerekir:

Pratik kural şu: bir modele karar verirken (1) birden çok benchmark'a bakın, tek skora değil; (2) mümkünse kendi verinizle, kendi işinizle test edin; (3) sayının yanında yöntemin şeffaf olup olmadığına bakın: nasıl ölçülmüş, veri temiz mi?

İşte tam da burada lleaderboard

Bu yazının tamamı, aslında lleaderboard'ın neden var olduğunu anlatıyor. Türkçe benchmark'lar güçlü ama dağınık; her biri farklı bir yüzü, farklı bir yöntemle ölçüyor. Yeni gelen biri için "hangi model iyi?" sorusu, onlarca ayrı sekmede ve farklı puanlama mantığında kayboluyor.

lleaderboard bu dağınıklığı düzenlemek için var. Amacımız yeni bir benchmark daha eklemek değil; var olan ölçütleri tek bir yerde, aynı çatı altında, şeffaf yöntemle ve çok mercekli biçimde bir araya getirmek. Bir modelin farklı benchmark'larda nasıl durduğunu tek bakışta görebilmeniz; ve o sayının arkasındaki yöntemi de görebilmeniz için. Tek sayının yalanına karşı, çok merceğin dürüstlüğü.

Cebinizde taşıyacağınız kural: Bir model skoruyla karşılaştığınızda üç soru sorun: Hangi benchmark? Yöntem şeffaf mı? Başka mercekler ne diyor?

Ölçmek, bir alanı ciddiye almanın ilk adımıdır. Türkçe yapay zekânın kendi terazilerine kavuşması, olgunlaştığının en güzel işareti. Geriye kalan tek şey, o terazileri dürüst ve erişilebilir tutmak, ki bu, hepimizin işi.

Kaynaklar

1. TurkishMMLU: Measuring Massive Multitask Language Understanding in Turkish — arXiv (Yüksel, Köksal, Şenel, Korhonen, Schütze)
2. Büyük Dil Modelleri için TR-MMLU Benchmarkı — arXiv
3. Cetvel: A Unified Benchmark for Evaluating Turkish LLMs — arXiv
4. TurkBench: A Benchmark for Evaluating Turkish LLMs — arXiv
5. OpenLLM Turkish Leaderboard — malhajar, Hugging Face
6. LLM Benchmark Datasets Should Be Contamination-Resistant — arXiv
7. Don't Make Your LLM an Evaluation Benchmark Cheater — arXiv