Məhsul araşdırması · Oktyabr 2026
Hansı iş üçün hansı model? On səkkiz model, idarə olunan bir məhsulun içində test edildi.
2026-cı ilin oktyabrında beş provayderin on səkkiz böyük dil modelini məhsulumuzun hər gün gördüyü üç işdən keçirdik: Business Overlay-in kataloqundakı təsvirləri yazmaq, CFO agent-inin gecə brifinqini hazırlamaq və söhbətdə maliyyə sualına cavab vermək. Hər icra məhsulun real kod yollarından, eyni sintetik gəlir modelindən və eyni dildən, türk dilindən istifadə etdi. Fərqli şirkətlərdən olan və heç biri yarışmada iştirak etməyən iki hakim çıxışları hansı modelin yazdığını görmədən qiymətləndirdi. Heç bir model üç işin hamısında qalib gəlmədi. Türkiyə daxilindən təqdim olunan modellər onlardan ikisində ikinci oldu. Söhbətdə isə hər rəqəmi yoxlayan engine modellərin yazdığı, lakin heç bir sorğu nəticəsinə bağlaya bilmədiyi 107 rəqəmi çıxardı.
Ali Yıldırım, Qurucu və CEO, D-CAT Group · 10 oktyabr 2026
Qısa icmal
Heç bir model üç işin hamısında qalib gəlmədi
Ballar 1-dən 5-ə qədərdir və hər iki hakimin orta göstəricisidir. Model başına iki icra ilə təxminən 0,3 baldan kiçik fərqləri ayırd etmək mümkün deyil, buna görə hər siyahını ciddi sıralama kimi yox, öndə gedən qrup kimi oxuyun. Xərclər hər provayderin test tarixindəki siyahı qiyməti ilə hesablanmış real token saylarıdır.
İş 1 · 745 kataloq obyekti
Kataloq təsvirləri
GPT-5.6 SolOpenAI · 4,18
GPT-5.5OpenAI · 4,12
GLM-5.3EVREN · 3,82
Birinci və ikinci bərabərdir. Üçüncülüyü 0,1 bal daxilində Zhipu-dakı GLM-5.3, GPT-5.6 Terra və GPT-5.6 Luna bölüşür.
Ödənişli modellər arasında ən yaxşı qiymət-keyfiyyətGPT-5.6 Luna: 3,73; bütün kataloq üçün $0,08
Türkiyədə işlədilənlərin ən yaxşısıEVREN-dəki GLM-5.3: 3,82
İş 2 · Model başına 2 icra
Gecə CFO brifinqi
Claude Sonnet 4.6Anthropic · 4,67
GLM-5.3EVREN · 4,50
GLM-5.3Zhipu · 4,42
İlk üçü bir-birindən 0,3 bal daxilindədir. Claude Opus 5.5 və EVREN-dəki DeepSeek V4.1 Flash 4,33 balla az fərqlə arxadan gəlir.
Ödənişli modellər arasında ən yaxşı qiymət-keyfiyyətZhipu-dakı GLM-5.3: brifinq başına təxminən $0,29 qarşılığında 4,42; liderdə isə brifinq başına $1,82
Türkiyədə işlədilənlərin ən yaxşısıEVREN-dəki GLM-5.3: 4,50
İş 3 · Model başına 2 söhbət
Söhbət cavabı
Claude Opus 5.5Anthropic · 4,54
DeepSeek V4.1 FlashEVREN · 4,21
Claude Sonnet 4.6Anthropic · 3,83
Opus 5.5 öndədir, fərq 0,33 baldır: bu, iki söhbətin ayırd edə biləcəyinin sərhədindədir. İkinci ilə üçüncü arasındakı fərq daha aydındır.
Ödənişli modellər arasında ən yaxşı qiymət-keyfiyyətZhipu-dakı GLM-5.3: söhbət başına təxminən $0,09 qarşılığında 3,71; liderdə isə söhbət başına $0,50
Türkiyədə işlədilənlərin ən yaxşısıEVREN-dəki DeepSeek V4.1 Flash: 4,21
EVREN-in modelləri test zamanı pulsuz idi (1 noyabr 2026 tarixinədək), buna görə qiymət-keyfiyyət sətrinə daxil edilmədi: sıfır qiymət onların nə qədər başa gələcəyi barədə heç nə demir. LLMaaService-in ən yaxşı modeli Qwen 3.8 27B iki icranın heç birində brifinq hazırlamadı.
Metod
Necə test etdik
Hər model məhsulun öz işini məhsulun öz kodu ilə, eyni giriş verilənləri ilə gördü. Heç nə bir model üçün əl ilə tənzimlənmədi.
- Məlumat
- Test üçün qurulmuş sintetik gəlir modeli: bir təşkilatın SQL Server Analysis Services üzərindəki gəlir modeli, təxminən 80 cədvəl və 745 kataloq obyekti ilə (cədvəllər, sütunlar, ölçülər və metriklər). Heç bir şəxsi məlumat ehtiva etmir və bu səhifədə ondan heç bir rəqəm verilmir.
- Modellər
- Əvvəlcə on iki model: Claude Opus 5.5 və Claude Sonnet 4.6 (Anthropic); GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna və GPT-5.5 (OpenAI); GLM-5.3 (Zhipu); və Türkiyədə işlədilən LLM xidməti LLMaaService-dən beş açıq çəkili model: Qwen 3.8 27B, gpt-oss-120b, Gemma 4 26B, Qwen 3.6 35B-A3B və Qwen3-Next 80B. Sonra Türkiyə müdafiə sənayesinin AI xidməti olan və LLMaaService-dən asılı olmayan EVREN-dən (Savunma Sanayi Yapay Zeka EVREN) altı model: GLM-5.3, DeepSeek V4.1 Flash, DeepSeek V4 Flash, MiMo V2.6 Pro, Qwen 3.8 Flash Next və Gemma 4 31B.
- İş 1: təsvirlər
- Hər model 745 obyektin hər biri üçün türk dilində təsvir yazdı, hər ölçü üçün isə daha yüksək dəyərin daha yaxşı olub-olmadığını göstərdi. Hər model eyni 21 istəyi aldı; EVREN modelləri saxlanmış istəklərin bayt-bayt eynisini aldı. Yalnız kataloq metaməlumatı göndərildi: adlar, tiplər, sətir sayları, əlaqələr və ölçü düsturları. Heç bir sətir dəyəri göndərilmədi. Məhsulun doğrulayıcısı hər cavabı yoxladı. Keyfiyyət 60 obyektlik nümunə üzrə qiymətləndirildi (20 cədvəl, 20 sütun, 20 ölçü).
- İş 2: CFO brifinqi
- Məhsulun CFO agent-i bu modellə, real agent yolu ilə, öz büdcələri və icra başına 20 addım limiti ilə eksperiment icrası kimi başladıldı: heç kimə heç nə göndərilmədi və nəticələr istifadəçilərdən gizli qaldı. Model başına iki icra. Finding və ya recommendation dərc oluna bilməzdən əvvəl engine onun içindəki hər rəqəmi gəldiyi sorğu nəticələrinə qarşı yoxladı.
- İş 3: söhbət
- Məhsulda əvvəllər verilmiş real bir sual, “Son 6 ayda ƏDV daxil gəlir aylıq necə dəyişib?”, ardınca əlavə sual, “Bu nəticələri şərh et, lazım olsa yeni sorğular işlət.” Model başına, məhsulun real söhbət yolu ilə iki ayrı söhbət. Adi iş rejimində olduğu kimi, model öz sorğularının cəmlənmiş nəticələrini gördü. Heç vaxt giriş məlumatına və ya məlumata gedən yola sahib olmadı.
- Mühakimə ayarı
- Hər model məhsulun defolt ayarı olan Standart ilə işlədi; bu ayar model imkan verdiyi hər yerdə mühakiməni söndürür. GLM-5.3 və gpt-oss-120b mühakiməni söndürə bilmir və ən aşağı səviyyələri olan “low” ilə işlədi. Mühakimənin açıq olduğu konfiqurasiyalar test edilmədi və onlar mənzərəni dəyişə bilər, xüsusən OpenAI və Anthropic modelləri üçün.
- Qiymətləndirmə
- Yarışmada iştirak etməyən iki hakim: Claude Sonnet 5.5 (Anthropic) və gpt-5.4 (OpenAI). Model adları gizlədildi və çıxışlar qarışdırıldı. Hakimlər modelləri demək olar ki, eyni sıraya düzdü: sıra korrelyasiyası təsvirlərdə 0,95, brifinqdə 0,96, söhbətdə 0,97. Heç biri öz şirkətinə görünən şəkildə üstünlük vermədi: təsvirlərdə Anthropic hakimi iki OpenAI modelini birinci və ikinci yerə qoydu, söhbətdə isə OpenAI hakimi Claude Opus 5.5-i birinci yerə qoydu.
- Ballandırma
- Təsvirlər: hər iki hakimin dəqiqlik və konkretlik ballarının orta göstəricisi; uydurma ayrıca verilir. Brifinq və söhbət: hər iki hakim və bütün icralar üzrə dərin baxış, aydınlıq və tətbiq edilə bilənliyin orta göstəricisi. Heç nə dərc etməyən icra hər meyarda mümkün olan ən aşağı bal olan 1 aldı.
- Xərc
- Real token sayları, hər provayderin test tarixindəki siyahı qiymətinə vurulub. EVREN test zamanı pulsuz idi. Hakimlərin qiymətləndirməsi daxil deyil. Bal verilən çıxışlar Anthropic, OpenAI və Zhipu üzrə birlikdə siyahı qiymətləri ilə təxminən $24 başa gəldi.
- Bilərəkdən kənarda saxlanılan
- Claude Fable 5.1 ayrıca test ediləcək; nəticələri yaxın günlərdə paylaşacağıq.
Test edildiyi kimi on səkkiz model
| Model | Provayder | 1M token üçün siyahı qiyməti, giriş / çıxış | Standart ayarda mühakimə |
|---|---|---|---|
| Claude Opus 5.5 | Anthropic | $4 / $20 | Söndürülüb |
| Claude Sonnet 4.6 | Anthropic | $3 / $15 | Söndürülüb |
| GPT-5.6 Sol | OpenAI | $4 / $20 | Söndürülüb (“none” kimi göstərilib) |
| GPT-5.6 Terra | OpenAI | $2 / $12 | Söndürülüb (“none” kimi göstərilib) |
| GPT-5.6 Luna | OpenAI | $0,2 / $1,2 | Söndürülüb (“none” kimi göstərilib) |
| GPT-5.5 | OpenAI | $5 / $30 | Söndürülüb (“none” kimi göstərilib) |
| GLM-5.3 | Zhipu | $1,4 / $4,4 | Aşağı (söndürülə bilmir) |
| Qwen 3.8 27B | LLMaaService | $0,61 / $3,2 | Söndürülüb |
| gpt-oss-120b | LLMaaService | $0,61 / $3,2 | Aşağı (söndürülə bilmir) |
| Gemma 4 26B | LLMaaService | $0,4 / $2,2 | Söndürülüb (modelin defolt ayarı) |
| Qwen 3.6 35B-A3B | LLMaaService | $0,55 / $2,4 | Söndürülüb |
| Qwen3-Next 80B | LLMaaService | $0,61 / $3,2 | Yoxdur (instruct model) |
| GLM-5.3 | EVREN | 1 noyabr 2026 tarixinədək pulsuz ¹ | Aşağı (təsvirlərdə söndürülüb) |
| DeepSeek V4.1 Flash | EVREN | 1 noyabr 2026 tarixinədək pulsuz ¹ | Söndürülüb |
| DeepSeek V4 Flash | EVREN | 1 noyabr 2026 tarixinədək pulsuz ¹ | Söndürülüb |
| MiMo V2.6 Pro | EVREN | 1 noyabr 2026 tarixinədək pulsuz ¹ | Söndürülüb |
| Qwen 3.8 Flash Next | EVREN | 1 noyabr 2026 tarixinədək pulsuz ¹ | Söndürülüb |
| Gemma 4 31B | EVREN | 1 noyabr 2026 tarixinədək pulsuz ¹ | Söndürülüb |
¹ EVREN qiymətlərini öz kreditləri ilə göstərir və 1 noyabr 2026 tarixinədək hər modeli pulsuz kimi göstərdi.
İş 1 · Kataloq təsvirləri
Ən dəqiq təsvirləri OpenAI modelləri yazdı və ən az da onlar uydurdu
GPT-5.6 Sol və GPT-5.5 zirvədə bərabərdir. Dörd model bir-birindən 0,1 bal daxilində onları izləyir: EVREN-dəki və Zhipu-dakı GLM-5.3, GPT-5.6 Terra və GPT-5.6 Luna. Luna bütün kataloqu səkkiz sentə təsvir etdi.
| Model | Provayder | Bal | Dəqiqlik | Konkretlik | Uydurma işarələnən, hakim A / B | İlk dəfədən qəbul edilən | Median uzunluq, simvol | Xərc, 745 obyekt | İstək başına median saniyə |
|---|---|---|---|---|---|---|---|---|---|
| GPT-5.6 Sol | OpenAI | 4,18 | 4,65 | 3,71 | 10% / 12% | 745 / 745 | 128 | $1,82 | 30 |
| GPT-5.5 | OpenAI | 4,12 | 4,63 | 3,62 | 8% / 17% | 745 / 745 | 130 | $2,57 | 28 |
| GLM-5.3 | EVREN | 3,82 | 4,21 | 3,42 | 25% / 35% | 740 / 745 | 98 | test zamanı pulsuz | 78 |
| GLM-5.3 | Zhipu | 3,81 | 4,19 | 3,42 | 28% / 38% | 705 / 745 | 92 | $0,41 | 36 |
| GPT-5.6 Terra | OpenAI | 3,79 | 4,55 | 3,04 | 2% / 8% | 745 / 745 | 93 | $0,86 | 18 |
| GPT-5.6 Luna | OpenAI | 3,73 | 4,50 | 2,96 | 3% / 17% | 745 / 745 | 92 | $0,08 | 17 |
| Claude Opus 5.5 | Anthropic | 3,67 | 4,22 | 3,12 | 27% / 28% | 745 / 745 | 57 | $2,75 | 36 |
| DeepSeek V4.1 Flash | EVREN | 3,64 | 4,05 | 3,22 | 33% / 42% | 745 / 745 | 100 | test zamanı pulsuz | 74 |
| Claude Sonnet 4.6 | Anthropic | 3,51 | 3,67 | 3,35 | 55% / 63% | 745 / 745 | 125 | $2,17 | 96 |
| Qwen 3.8 27B | LLMaaService | 3,32 | 3,69 | 2,96 | 48% / 52% | 608 / 745 | 82 | $0,30 | 145 |
| gpt-oss-120b | LLMaaService | 3,31 | 4,11 | 2,50 | 12% / 20% | 700 / 745 | 69 | $0,24 | 25 |
| DeepSeek V4 Flash | EVREN | 3,30 | 4,02 | 2,58 | 20% / 25% | 745 / 745 | 64 | test zamanı pulsuz | 21 |
| MiMo V2.6 Pro | EVREN | 3,25 | 3,46 | 3,04 | 35% / 42% | 647 / 745 | 107 | test zamanı pulsuz | 87 |
| Qwen 3.8 Flash Next | EVREN | 3,24 | 3,86 | 2,61 | 32% / 43% | 741 / 745 | 62 | test zamanı pulsuz | 34 |
| Qwen 3.6 35B-A3B | LLMaaService | 3,01 | 3,56 | 2,45 | 45% / 58% | 744 / 745 | 73 | $0,26 | 35 |
| Qwen3-Next 80B | LLMaaService | 2,96 | 3,41 | 2,52 | 50% / 57% | 745 / 745 | 88 | $0,37 | 40 |
| Gemma 4 26B | LLMaaService | 2,93 | 3,99 | 1,88 | 12% / 18% | 720 / 745 | 51 | $0,15 | 22 |
| Gemma 4 31B | EVREN | 2,89 | 3,70 | 2,08 | 23% / 42% | 745 / 745 | 54 | test zamanı pulsuz | 55 |
Hakim A: Claude Sonnet 5.5, hakim B: gpt-5.4. “Uydurma işarələnən” həmin hakimin metaməlumatın dəstəkləmədiyi iddia tapdığı təsvirlərin 60 nümunə təsvir içindəki payıdır. “İlk dəfədən qəbul edilən” təsvirini məhsulun doğrulayıcısı istəklərin ilk turunda qəbul etdiyi obyektləri sayır; qalanları üçün istək təkrarlanır.
- Modelləri səlislikdən çox uydurma bir-birindən ayırdı. GPT-5.6 Terra nümunə təsvirlərin 2%-ində və 8%-ində, GPT-5.6 Luna 3%-ində və 17%-ində işarələndi. Claude Sonnet 4.6 55%-ində və 63%-ində işarələndi, on səkkiz model arasında ən çox. Tipik hal: bir kateqoriya cədvəlinin təsvirinə metaməlumatın heç bir yerində olmayan nümunə kateqoriya adlarının əlavə edilməsi.
- Az demək haqlı olmaq demək deyil. Gemma 4 26B və gpt-oss-120b az uydurdu, amma az da dedi, və onların konkretlik balları ən aşağılar arasında idi. Üst yarının ən qısa təsvirlərini Claude Opus 5.5 yazdı.
- İki gateway-də eyni model eyni keyfiyyətdə yazdı. GLM-5.3 EVREN-də 3,82, Zhipu-da 3,81 bal aldı. EVREN-in istəkləri təxminən iki dəfə uzun çəkdi.
İş 2 · Gecə CFO brifinqi
Brifinq dərinliyi mükafatlandırdı və beş model ona çatdı
Claude Sonnet 4.6 öndədir, EVREN-dəki və Zhipu-dakı GLM-5.3 ondan 0,3 bal daxilindədir. Claude Opus 5.5 və EVREN-dəki DeepSeek V4.1 Flash 4,33 balla az fərqlə arxadan gəlir. Bu beş modeldən ikisi Türkiyədə işlədilən bir xidmətdə işlədi. Üç model ümumiyyətlə brifinq hazırlamadı.
| Model | Provayder | Bal | Finding dərc edən icralar | Dərc olunan findings və recommendations, icra 1 / icra 2 | İcra başına xərc | İcra başına dəqiqə | Qeyd |
|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | Anthropic | 4,67 | 2-dən 2 | 10 / 10 | $1,82 | 5,6 | |
| GLM-5.3 | EVREN | 4,50 | 2-dən 2 | 7 / 7 | test zamanı pulsuz | 6,0 | |
| GLM-5.3 | Zhipu | 4,42 | 2-dən 2 | 8 / 4 | $0,29 | 7,0 | |
| Claude Opus 5.5 | Anthropic | 4,33 | 2-dən 2 | 8 / 9 | $2,16 | 5,3 | |
| DeepSeek V4.1 Flash | EVREN | 4,33 | 2-dən 2 | 8 / 10 | test zamanı pulsuz | 4,4 | |
| GPT-5.6 Sol | OpenAI | 3,92 | 2-dən 2 | 10 / 10 | $0,41 | 1,6 | |
| GPT-5.6 Terra | OpenAI | 3,83 | 2-dən 2 | 8 / 8 | $0,18 | 1,1 | |
| DeepSeek V4 Flash | EVREN | 3,75 | 2-dən 2 | 5 / 7 | test zamanı pulsuz | 2,8 | |
| GPT-5.6 Luna | OpenAI | 3,50 | 2-dən 2 | 5 / 5 | $0,02 | 1,2 | |
| Gemma 4 26B | LLMaaService | 3,08 | 2-dən 2 | 3 / 3 | $0,06 | 0,8 | |
| MiMo V2.6 Pro | EVREN | 2,83 | 2-dən 2 | 6 / 3 | test zamanı pulsuz | 9,0 | |
| Gemma 4 31B | EVREN | 2,75 | 2-dən 2 | 6 / 4 | test zamanı pulsuz | 1,6 | |
| GPT-5.5 | OpenAI | 2,67 | 2-dən 1 | 0 / 9 | $0,41 | 1,3 | iki icradan biri heç nə dərc etmədi |
| Qwen3-Next 80B | LLMaaService | 2,00 | 2-dən 2 | 8 / 8 | $0,18 | 1,9 | |
| gpt-oss-120b | LLMaaService | 1,33 | 2-dən 1 | 5 / 0 | $0,08 | 0,5 | iki icradan biri heç nə dərc etmədi |
| Qwen 3.8 27B | LLMaaService | 1,00 | 2-dən 0 | 0 / 0 | $1,23 | 1,4 | iki icranın heç birində brifinq yoxdur |
| Qwen 3.6 35B-A3B | LLMaaService | 1,00 | 2-dən 0 | 0 / 0 | $0,03 | 0,3 | iki icranın heç birində brifinq yoxdur |
| Qwen 3.8 Flash Next | EVREN | 1,00 | 2-dən 0 | 0 / 0 | test zamanı pulsuz | 1,2 | iki icranın heç birində brifinq yoxdur |
Heç bir finding və ya recommendation dərc etməyən icra 1 bal aldı. Xərclər və vaxtlar iki icra üzrə orta göstəricidir.
- Hakimlər nəyi mükafatlandırdı. İlk beşlikdə məlumatın özünə qarşı skeptisizmi, bir neçə siqnalı birləşdirən finding-ləri və adı çəkilmiş məsul şəxsi və həddi olan recommendation-ları yüksək qiymətləndirdilər. Ən çox şikayət etdikləri sıxlıq idi: uzun finding-lər və onları təkrarlayan brief-lər.
- Sürətli və aydın, amma daha az konkret. OpenAI modelləri işi bir-iki dəqiqəyə bitirdi, ilk beşlik isə dörd-yeddi dəqiqəyə; aydın yazdılar. Mühakimə söndürülmüş halda onların recommendation-ları məsul şəxs və hədd baxımından daha az konkret idi. GPT-5.5 modelinin ilk icrası heç nə dərc etmədi; ikincisi 4,33 bal aldı.
- Modellər harada uğursuz oldu. LLMaaService-dəki Qwen 3.8 27B və EVREN-dəki Qwen 3.8 Flash Next 20 addımlıq limitə qədər sorğu işlətməyə davam etdi və brifinqi heç yazmadı. Qwen 3.6 35B-A3B heç bir məlumatı sorğulamadan cavab verməyə çalışdı, engine bunu qəbul etmir, və icra sona çatdı. gpt-oss-120b modelinin ikinci icrası heç nə dərc etmədi. MiMo V2.6 Pro modelinin ikinci icrası cari ay əvəzinə daha köhnə bir ayı təsvir etdi.
İş 3 · Söhbət cavabı
Söhbətdə Claude Opus 5.5 öndə oldu, Türkiyədə təqdim olunan bir model isə ikinci
Claude Opus 5.5 həm ilk sualda, həm də əlavə sualda ən yüksək balı aldı. EVREN-dəki DeepSeek V4.1 Flash ikinci oldu və modelin hansı yeni sorğuları işlədəcəyinə qərar verməli olduğu əlavə sualda ilk sualdan daha yaxşı nəticə göstərdi.
| Model | Provayder | Bal | İlk sual | Əlavə sual | Engine-in çıxardığı rəqəmlər, 4 cavab | Söhbət başına xərc | Cavab başına orta saniyə | Qeyd |
|---|---|---|---|---|---|---|---|---|
| Claude Opus 5.5 | Anthropic | 4,54 | 4,50 | 4,58 | 0 | $0,50 | 46 | |
| DeepSeek V4.1 Flash | EVREN | 4,21 | 4,08 | 4,33 | 0 | test zamanı pulsuz | 48 | |
| Claude Sonnet 4.6 | Anthropic | 3,83 | 4,00 | 3,67 | 5 | $0,34 | 60 | |
| GLM-5.3 | Zhipu | 3,71 | 3,33 | 4,08 | 0 | $0,09 | 38 | |
| GLM-5.3 | EVREN | 3,71 | 3,67 | 3,75 | 0 | test zamanı pulsuz | 63 | |
| Qwen 3.8 Flash Next | EVREN | 3,58 | 4,08 | 3,08 | 0 | test zamanı pulsuz | 32 | 4 cavabdan 1-i tamamlanmadı |
| Qwen 3.8 27B | LLMaaService | 3,42 | 2,83 | 4,00 | 5 | $0,22 | 40 | |
| GPT-5.6 Sol | OpenAI | 3,17 | 3,08 | 3,25 | 0 | $0,18 | 18 | |
| GPT-5.6 Luna | OpenAI | 3,17 | 2,67 | 3,67 | 0 | $0,01 | 16 | |
| DeepSeek V4 Flash | EVREN | 3,12 | 3,50 | 2,75 | 0 | test zamanı pulsuz | 62 | 4 cavabdan 1-i tamamlanmadı |
| GPT-5.5 | OpenAI | 2,96 | 2,83 | 3,08 | 0 | $0,16 | 12 | |
| GPT-5.6 Terra | OpenAI | 2,92 | 2,92 | 2,92 | 0 | $0,09 | 16 | |
| Gemma 4 26B | LLMaaService | 2,25 | 2,25 | 2,25 | 1 | $0,06 | 15 | |
| Qwen3-Next 80B | LLMaaService | 2,08 | 1,75 | 2,42 | 26 | $0,08 | 12 | |
| MiMo V2.6 Pro | EVREN | 2,08 | 3,17 | 1,00 | 0 | test zamanı pulsuz | 69 | 4 cavabdan 2-si tamamlanmadı |
| Gemma 4 31B | EVREN | 2,08 | 1,75 | 2,42 | 0 | test zamanı pulsuz | 47 | |
| gpt-oss-120b | LLMaaService | 2,04 | 2,00 | 2,08 | 19 | $0,08 | 10 | |
| Qwen 3.6 35B-A3B | LLMaaService | 1,96 | 2,25 | 1,67 | 51 | $0,11 | 20 |
Söhbət sual və onun əlavə sualıdır. “Çıxarılan rəqəmlər” modelin yazdığı, lakin engine-in heç bir sorğu nəticəsinə bağlaya bilmədiyi və cavab oxucuya çatmazdan əvvəl çıxardığı rəqəmləri sayır.
- Modelləri bir-birindən ayıran aydınlıq deyildi. Modellərin çoxu aydınlıqda 3,6 ilə 4,4 arasında bal aldı. Fərqlər dərin baxış və tətbiq edilə bilənlikdən gəldi.
- Ən sürətli cavablar nadir hallarda növbəti addımı deyirdi. OpenAI modelləri orta hesabla 12 ilə 18 saniyə arasında, səliqəli cavab verdi, amma nadir hallarda növbəti addım təklif etdi: onların tətbiq edilə bilənlik balları orta hesabla 1,6 ilə 2,1 arasında idi, Claude Opus 5.5-də isə 4,4. Hamısı mühakimə söndürülmüş halda işlədi.
- Bir neçə cavab agent-in limitləri daxilində tamamlanmadı. 72 cavabdan dördü, hamısı EVREN-də: ikisi MiMo V2.6 Pro modelindən, DeepSeek V4 Flash və Qwen 3.8 Flash Next modellərindən isə birər cavab.
Bu arada engine nə etdi
Cümləni model yazır. İçindəki hər rəqəmi engine yoxlayır.
Ballar cavabın nə qədər yaxşı oxunduğunu ölçür. Oxucunun nədən qorunduğunu göstərmir. Hər model üçün eyni yoxlamalar işlədi və onların heç biri hansı modelin qoşulduğundan asılı deyil.
Söhbət
107 rəqəm çıxarıldı
Modellərin yazdığı, lakin heç bir sorğu nəticəsinin daşımadığı rəqəmlər; 72 cavabın 11-indən hələ heç kim oxumamış çıxarıldı. Onlardan 96-sı üç açıq çəkili modeldən gəldi: Qwen 3.6 35B-A3B, Qwen3-Next 80B və gpt-oss-120b. On iki modeldə heç bir rəqəm çıxarılmadı.
Brifinq
31 qaralama geri qaytarıldı
36 brifinq icrası ərzində engine qaralamanı 31 dəfə, davam edə bilməzdən əvvəl ediləcək bir düzəlişlə agent-ə geri qaytardı. Qayda hər model üçün eynidir.
Brifinq
25 namizəd saxlanıldı
219 finding, recommendation və brief dərc olundu. 25 namizəd finding iddialarının struktur yoxlamasında saxlanıldı; hər birinin səbəbi qeyddədir.
Mühəndislik qeydləri
Testin bizə çox sayda modeli işlətmək barədə öyrətdiyi beş şey
Bunların heç biri məhsulumuza xas deyil. Bir neçə modeli bir tətbiqin arxasına qoyan hər kəs onların çoxu ilə qarşılaşacaq.
“Mühakimə söndürülüb” mühakiməni cavabın içinə köçürə bilər. Mühakiməni söndürməsi istənəndə EVREN-dəki GLM-5.3 mühakiməni davam etdirdi və onu çıxış limitinə çatana qədər cavabın içinə yazdı (“Wait… Hmm… Let me…”). Yalnız ayrıca mühakimə sahəsini oxuyan imkan yoxlaması söndürmənin işlədiyini bildirir. Açıq buraxılanda model bütün çıxış payını mühakiməyə xərclədi. İşləyən ayar istək gövdəsində “low” mühakimə səviyyəsi idi: təxminən 30 saniyədə qısa, səliqəli cavablar. Bu ayarla model bu testdəki hər brifinq və söhbət icrasını tamamladı. Sahəni yox, cavabı ölçün.
Eyni model adı iki gateway-in arxasında dura bilər. GLM-5.3 Zhipu və EVREN tərəfindən eyni identifikatorla təklif olunur. Modeli yalnız adına görə tapan sistem trafiki yanlış provayderə göndərəcək və yanlış qiymətlə hesab çıxaracaq. Hər modeli provayder və model adını birlikdə götürərək identifikasiya edin.
Mühakimə açarları provayderə görə yox, modelə görə fərqlənir. Bir provayderin modelləri iki fərqli açardan istifadə etdi; bəzi modellər mühakiməni ümumiyyətlə söndürə bilmir (GLM-5.3, gpt-oss-120b); GPT-5.6 modelləri isə alət çağırışlarını yalnız mühakimə səviyyəsi açıq şəkildə göstərildikdə qəbul edir, hətta həmin səviyyə “none” olsa belə. Yeganə etibarlı mənbə hər modelin canlı ölçülməsidir.
Bəzi modellər nəticəyə gəlmək əvəzinə dövrəyə düşür. Qwen ailəsindən iki model 20 addımlıq limitə qədər sorğu ardınca sorğu işlətdi və brifinqi heç yazmadı. Kontekst hər addımda böyüdüyü üçün testdəki ən ucuz modellərdən biri bu işdə üçüncü ən bahalı model oldu: heç nə dərc etməyən iki icra üçün $2,45. Hər iki icranı addım limiti dayandırdı.
Səlis olmaq sadiq olmaq demək deyil. Təsvir testi hər modeldən oxunaqlı mətn çıxardı. Fərq onların əlavə etdiklərində idi: əsaslandırılmamış iddia olan təsvirlərin payı bir neçə faizdən yarıdan çoxa qədər dəyişirdi. Model insanların etibar edəcəyi sənədləşmə yazırsa, uydurmanı ayrıca ölçün.
Siz soruşmamış deyilir
Bu araşdırmanın göstərmədikləri
- Kiçik bir araşdırmadır. Brifinq üçün model başına iki icra, söhbət üçün iki söhbət. Təxminən 0,3 baldan kiçik fərqlər əhəmiyyətli deyil və tək bir pis icra modelin yerini xeyli dəyişə bilər.
- Bir model, bir sahə, bir dil. Türk dilində bir sintetik gəlir modeli. Başqa bir məlumat modelində, sektorda və ya dildə nəticələr fərqli ola bilər.
- Hakimlər modeldir. Kor qiymətləndirdilər, iki fərqli şirkətdən idilər və bir-biri ilə çox yaxın razılaşdılar, amma ekspert insan rəyçilər deyillər və hər ikisi digər modelləri test edilən şirkətlərdəndir.
- Bir ayar test edildi. Model imkan verdiyi hər yerdə mühakimə söndürülmüşdü. Mühakimə açıq olduqda bir neçə model daha baha başa gələr və fərqli bal ala bilərdi.
- Qiymətlər və sürətlər anlıq görüntüdür. EVREN test zamanı pulsuz idi və sonrakı dövr üçün əlimizdə qiymət yox idi. LLMaaService-də eyni model və eyni istəklər bir sessiyada çağırış başına təxminən 25 saniyə, bir neçə saat sonra isə təxminən 145 saniyə çəkdi. Provayderlər modellərini də yeniləyirlər.
- Məlumat sintetikdir. Test üçün qurulmuş, şəxsi məlumat olmayan bir gəlir modeli. Müştəri nəticəsi deyil.
Modeli işə görə seçin. Modeldən asılı olmayan yoxlamaları saxlayın.
Satınalma komandası üçün
Model seçirsinizsə, bunun mənası
Şirkətə görə yox, işə görə seçin
Ən yaxşı təsvir yazan model söhbətdə cədvəlin ortasında qaldı. Söhbətdə kifayət qədər yaxşı cavab verən iki model heç vaxt brifinq hazırlamadı. AgenticObjects-də administrator hər agent üçün təsdiqlənmiş modeli, söhbət üçün ayrıca modeli və kataloq işi üçün modeli təyin edir, beləliklə hər iş özünə uyğun olanı istifadə edə bilər.
Ölkədaxili seçim artıq rəqabət qabiliyyətlidir
Məlumatı Türkiyədə qalmalı olan təşkilatlar üçün EVREN-dəki GLM-5.3 və DeepSeek V4.1 Flash müvafiq olaraq brifinqdə və söhbətdə ikinci oldu. Bunu hələ açıq qalan məsələlərlə birlikdə ölçüb-biçin: pulsuz dövrdən sonrakı qiymət və ən sürətli beynəlxalq modellərdən daha uzun çəkən cavablar.
Yoxlamaları modeldən kənarda saxlayın
Bu testdəki hər modelin ən azı bir qaralaması engine tərəfindən geri qaytarıldı. Modelin xaricində yaşayan yoxlama modeli dəyişdiyinizdə də işləməyə davam edir. İcra başına bir model: icra başlamazdan əvvəl seçilir və qeydə yazılır, beləliklə dəyişiklik özbaşına baş verən bir şey deyil, kiminsə verdiyi qərardır.