Sayıyla Türkçe Karne: yapay zekâ modelleri Türkçede nasıl?

• Genel: temel set %40 + zor set %60; her sette yazı %30 + akıl yürütme %25 + Türkiye bilgisi %15 + kod %15 + uydurmama %15. Not: 90-100 Çok iyi, 75-89 İyi, 60-74 Orta, 45-59 Zayıf, 0-44 Yetersiz. * Uydurmama 50'nin altında: genel puan en çok 59.
• Tutarlılık: aynı görevler iki kez soruldu; iki puan arasındaki ortalama fark. Az olan daha tutarlı. Tek tekrarlı modellerde ölçülmedi.
• Hız: OpenRouter üzerinden 26 Ekim 2026 tarihinde ölçülen ortanca cevap süresi (düşünme süresi dahil) ve saniyede çıktı tokenı. Sağlayıcıya ve saate göre değişir.
• Fiyat: API liste fiyatı (OpenRouter, 1 milyon token, ABD doları) ve bu testteki görev başına ortalama cevap maliyeti (düşünme tokenları dahil; ¢ = sent). Fiyat puana katılmaz.
• Fiyat/performans: genel puanın görev başı maliyete oranına göre sıra; yalnızca bir sıralama.

Kısıtlı ayarla ölçülen modeller

Bu modeller fiyatı yüksek olduğu için standart ayardan farklı (daha az düşünme, daha kısa çıktı) çalıştırıldı. Puanları tam ayarla karşılaştırılamaz; bu yüzden genel sıralamaya alınmadı. Bu modeller yalnızca temel sette ölçüldü; puan temel settir.

† Düşük efor, kısıtlı çıktı; puanı tam ayarla karşılaştırılamaz.

• Yazı ve dil

  14 görev · ağırlık %30

  Türkçe dilbilgisi, yazım ve üslup; resmî ve gündelik metin. İki yapay zekâ hakem, dört maddelik ölçütle puanlar.

  1. GPT-6.1 Sol (97)
  2. GPT-6 Astra (96)
  3. GPT-6 Luna (94)

• Akıl yürütme

  11 görev · ağırlık %25

  Türkçe sorulan sorularda adım adım çıkarım; tek doğru cevap, otomatik puan.

  1. GPT-6 Luna (100)
  2. GPT-6 Astra (100)
  3. GPT-6.1 Sol (100)

• Türkiye bilgisi

  8 görev · ağırlık %15

  Türkiye'ye dair güncel ve resmî bilgiler; cevaplar resmî kaynaklarla doğrulandı, otomatik puan.

  1. GPT-6 Luna (100)
  2. DeepSeek V4 Pro (100)
  3. GLM-5.3 (100)

• Kod

  10 görev · ağırlık %15

  Türkçe harf ve dil kuralları, Türkiye'ye özgü biçimler, günlük metin ve veri işleme; kod çalıştırılıp testlerle puanlanır.

  1. GPT-6 Astra (100)
  2. GPT-6.1 Sol (100)
  3. Claude Opus 5.5 (100)

• Uydurmama

  7 görev · ağırlık %15

  Bilmediğini söyleyebilme, uydurmama; iki yapay zekâ hakem puanlar.

  1. GPT-6 Astra (100)
  2. Grok 4.7 (100)
  3. Muse Spark 1.3 (99)

Yöntem

• Görevler: 50 Türkçe görev: yazı ve dil 14, akıl yürütme 11, türkiye bilgisi 8, kod 10, uydurmama 7. Görevlerin ve ek metinlerin hepsini biz yazdık; kişisel veri yok. Türkiye bilgisi cevapları resmî kaynaklardan doğrulandı. Görev metinleri, cevap anahtarları ve kod testleri, modellerin bütün cevapları ve hakem puanları gerekçeleriyle bu dosyada (cevap başına puanlar: CSV). Yayımlanan görevler sonraki aylarda kullanılmaz.
• Modeller: 20 model (OpenAI, Anthropic, Meta, xAI, Alibaba, Google, Moonshot AI, DeepSeek, Z.ai (Zhipu), Mistral AI, Xiaomi ve MiniMax). Hepsine OpenRouter üzerinden aynı sistem istemi ("Türkçe cevap ver.") ve aynı ayarlar verildi: sıcaklık 0 (destekleyen modellerde), orta efor (desteklemiyorsa bir üst düzey), en çok 8.000 çıktı tokenı. Yalnızca veriyi eğitimde kullanmayan sağlayıcılar seçildi.
• Tekrar: çoğu modelde her görev iki kez soruldu; görev puanı iki tekrarın ortalaması. Pahalı birkaç modelde tek tekrar yapıldı (tabloda tutarlılık "ölçülmedi").
• İki set: 30 görevlik temel set günlük Türkçe kullanımı, 20 görevlik zor set güçlü modelleri de zorlayan görevleri ölçer (kısıtlı resmî yazışma, deyimler, yazım tuzakları, çok adımlı çıkarım, Türkçe harf kurallarıyla kod, var olmayan kanun maddeleri). Genel puan: temel %40, zor %60.
• Puanlama: Akıl yürütme ve Türkiye bilgisi tek doğru cevapla, kod görevleri testlerle otomatik puanlandı. Yazı ve uydurmama cevaplarını iki yapay zekâ hakem (Claude Sonnet 5.5, Gemini 4 Argon, GPT-6.1 Sol ve Kimi K3.1 Pro arasından), cevabın hangi modelden geldiğini bilmeden puanladı. Hakem kendi firmasının modelini puanlamaz; o durumda sıradaki hakem bakar. İki hakemin farkı 20 puanı geçerse üçüncü hakem bakar ve birbirine en yakın iki puanın ortalaması alınır.
• Hakem dengesi: Hakemlerin sertlik farkı dengelendi. Aynı cevabı puanlayan hakemlerin puanları karşılaştırılarak her hakemin ne kadar sert ya da cömert puanladığı bulundu ve bu fark puanlarından çıkarıldı; böylece hangi hakemin hangi modele denk geldiği sonucu etkilemez.
• Hakem uyumu: iki hakem puanı olan 742 cevapta hakemler arası ortalama fark 7,3 puan; 75 cevapta fark 20'yi geçti ve üçüncü hakeme gitti.
• İnsan kontrolü: sonuçları editörümüz yayından önce gözden geçirdi. Bu ilk sürümde cevaplar tek tek elle puanlanmadı; puanlar yapay zekâ hakemlerden ve otomatik kontrollerden geliyor.
• Ayrıntı: genel yöntem sayfası. Veri CC BY 4.0: sonuçlar (JSON), görevler ve bütün cevaplar (JSON), cevap başına puanlar (CSV).

Sınırlılıklar

• İlk sonuçlar: görev sayısı az (50). Özellikle kod (10 görev) ve uydurmama (7 görev) bölümlerinde tek bir görev puanı belirgin değiştirebilir; küçük farklar anlamlı sayılmamalı.
• Tavan etkisi: akıl yürütme bölümünde 19 modelin 18'i tam puan aldı; kod bölümünde 19 modelin 11'i tam puan aldı. Bu ilk sürümde modeller arasındaki farkı büyük ölçüde yazı ve dil görevleri belirledi; sonraki sürümlerde görevler zorlaştırılacak ve sayısı artırılacak.
• Hakemler de yapay zekâ: yazı puanları iki hakemin yargısıdır; hakemler arası fark yukarıda yazıyor.
• Hız ve fiyat değişir: süreler tek günün ölçümüdür ve OpenRouter'daki sağlayıcıya bağlıdır; fiyatlar 26 Ekim 2026 tarihli liste fiyatlarıdır.
• Ayar: modeller tüketici uygulamalarındaki (ChatGPT, Claude, Gemini) varsayılanla değil, API'de aynı standart ayarla ölçüldü; uygulamada sonuç farklı olabilir.