Hangi iş için hangi model? On sekiz model, yönetişimli bir ürünün içinde test edildi.

Veri

Test için üretilmiş sentetik bir gelir modeli: bir kurumun SQL Server Analysis Services üzerindeki gelir modeli; yaklaşık 80 tablo ve 745 katalog nesnesi (tablolar, sütunlar, ölçüler ve metrikler) içerir. Kişisel veri içermez ve bu sayfada ondan hiçbir rakam aktarılmaz.

Modeller

Önce on iki model: Claude Opus 5.5 ve Claude Sonnet 4.6 (Anthropic); GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna ve GPT-5.5 (OpenAI); GLM-5.3 (Zhipu); ve Türkiye’de işletilen LLM hizmeti LLMaaService’ten beş açık ağırlıklı model: Qwen 3.8 27B, gpt-oss-120b, Gemma 4 26B, Qwen 3.6 35B-A3B ve Qwen3-Next 80B. Ardından, Türk savunma sanayisine ait bir yapay zekâ hizmeti olan ve LLMaaService’ten bağımsız olan EVREN’den (Savunma Sanayi Yapay Zeka EVREN) altı model: GLM-5.3, DeepSeek V4.1 Flash, DeepSeek V4 Flash, MiMo V2.6 Pro, Qwen 3.8 Flash Next ve Gemma 4 31B.

İş 1: açıklamalar

Her model 745 nesnenin her biri için Türkçe bir açıklama yazdı ve her ölçü için daha yüksek değerin daha iyi olup olmadığını belirtti. Her model aynı 21 isteği aldı; EVREN modelleri, kaydedilmiş isteklerin bayt bayt aynısını aldı. Yalnızca katalog meta verisi gönderildi: adlar, türler, satır sayıları, ilişkiler ve ölçü formülleri. Hiçbir satır değeri gönderilmedi. Her cevabı ürünün doğrulayıcısı denetledi. Kalite, 60 nesnelik bir örneklem (20 tablo, 20 sütun, 20 ölçü) üzerinde puanlandı.

İş 2: CFO brifingi

Ürünün CFO agent’ı bu modelle, kendi bütçeleri ve koşu başına 20 adım sınırıyla, gerçek agent yolundan bir deney koşusu olarak başlatıldı: kimseye hiçbir şey gönderilmedi ve sonuçlar kullanıcılardan gizli kaldı. Model başına iki koşu. Bir finding ya da recommendation yayımlanmadan önce engine, içindeki her sayıyı geldiği sorgu sonuçlarına karşı denetledi.

İş 3: sohbet

Üründe daha önce sorulmuş gerçek bir soru, “Son 6 ayda KDV dahil gelir aylık olarak nasıl seyretti?”, ardından bir devam sorusu, “Bu sonuçları yorumla, gerekirse yeni sorgular çalıştır.” Model başına, ürünün gerçek sohbet yolundan iki ayrı sohbet. Normal işleyişte olduğu gibi model, kendi sorgularının toplulaştırılmış sonuçlarını gördü. Hiçbir zaman bir kimlik bilgisine ya da veriye giden bir yola sahip olmadı.

Akıl yürütme ayarı

Her model ürünün varsayılan ayarı olan Standart’ta çalıştı; bu ayar, modelin izin verdiği her yerde akıl yürütmeyi kapatır. GLM-5.3 ve gpt-oss-120b akıl yürütmeyi kapatamadığı için en düşük düzeyleri olan “low” ile çalıştı. Akıl yürütmenin açık olduğu yapılandırmalar test edilmedi; bunlar, özellikle OpenAI ve Anthropic modelleri için tabloyu değiştirebilir.

Değerlendirme

Yarışmacı olmayan iki hakem: Claude Sonnet 5.5 (Anthropic) ve gpt-5.4 (OpenAI). Model adları gizlendi, çıktılar karıştırıldı. Hakemler modelleri neredeyse aynı sıraya koydu: sıra korelasyonu açıklamalarda 0,95, brifingde 0,96, sohbette 0,97. İkisi de kendi şirketini görünür biçimde kayırmadı: açıklamalarda Anthropic hakemi iki OpenAI modelini birinci ve ikinci sıraya koydu, sohbette ise OpenAI hakemi Claude Opus 5.5’i birinci sıraya koydu.

Puanlama

Açıklamalar: iki hakemin doğruluk ve özgüllük puanlarının ortalaması; uydurma ayrıca raporlanır. Brifing ve sohbet: iki hakemin ve tüm koşuların içgörü, açıklık ve eyleme dönüklük puanlarının ortalaması. Hiçbir şey yayımlamayan bir koşu, her boyutta mümkün olan en düşük puan olan 1’i aldı.

Maliyet

Gerçek token sayılarının, her sağlayıcının test tarihindeki liste fiyatıyla çarpımı. EVREN test süresince ücretsizdi. Değerlendirme maliyeti dahil değildir. Puanlanan çıktıların maliyeti, Anthropic, OpenAI ve Zhipu birlikte, liste fiyatlarıyla yaklaşık $24 oldu.

Bilerek dışarıda bırakılan

Claude Fable 5.1 ayrıca test edilecek; sonuçları önümüzdeki günlerde paylaşacağız.

Test edildiği hâliyle on sekiz model

¹ EVREN fiyatlarını kendi kredileriyle belirtiyor ve her modeli 1 Kasım 2026’ya kadar ücretsiz olarak gösterdi.

Hiçbir finding ya da recommendation yayımlamayan koşu 1 aldı. Maliyetler ve süreler iki koşunun ortalamasıdır.

• Hakemlerin ödüllendirdiği. İlk beşte, verinin kendisine yönelik şüpheciliği, birden çok sinyali birbirine bağlayan finding’leri ve adı konmuş bir sorumlusu ve eşiği olan recommendation’ları takdir ettiler. En sık şikâyetleri yoğunluktu: uzun finding’ler ve onları tekrarlayan brief’ler.
• Hızlı ve açık, ama daha az belirgin. OpenAI modelleri işi bir ila iki dakikada bitirdi, ilk beş ise dört ila yedi dakikada; açık bir dille yazdılar. Akıl yürütme kapalıyken recommendation’ları sorumlu ve eşik konusunda daha az belirgindi. GPT-5.5’in ilk koşusu hiçbir şey yayımlamadı; ikincisi 4,33 aldı.
• Modellerin takıldığı yerler. LLMaaService’te Qwen 3.8 27B ve EVREN’de Qwen 3.8 Flash Next, 20 adım sınırına kadar sorgu çalıştırmayı sürdürdü ve brifingi hiç yazmadı. Qwen 3.6 35B-A3B hiç veri sorgulamadan cevap vermeye çalıştı; engine bunu kabul etmez ve koşu sona erdi. gpt-oss-120b’nin ikinci koşusu hiçbir şey yayımlamadı. MiMo V2.6 Pro’nun ikinci koşusu güncel ay yerine daha eski bir ayı anlattı.