Welches Modell für welche Aufgabe? Achtzehn Modelle, getestet in einem regulierten Produkt.

Die Daten

Ein für Tests erstelltes synthetisches Umsatzmodell: das Umsatzmodell einer Organisation auf SQL Server Analysis Services, mit etwa 80 Tabellen und 745 Katalogobjekten (Tabellen, Spalten, Measures und Kennzahlen). Es enthält keine personenbezogenen Daten, und keine Zahl daraus wird auf dieser Seite berichtet.

Die Modelle

Zuerst zwölf: Claude Opus 5.5 und Claude Sonnet 4.6 (Anthropic); GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna und GPT-5.5 (OpenAI); GLM-5.3 (Zhipu); und fünf Open-Weight-Modelle aus LLMaaService, einem in der Türkei betriebenen LLM-Dienst: Qwen 3.8 27B, gpt-oss-120b, Gemma 4 26B, Qwen 3.6 35B-A3B und Qwen3-Next 80B. Dann sechs von EVREN (Savunma Sanayi Yapay Zeka EVREN), einem türkischen KI-Dienst der Verteidigungsindustrie, unabhängig von LLMaaService: GLM-5.3, DeepSeek V4.1 Flash, DeepSeek V4 Flash, MiMo V2.6 Pro, Qwen 3.8 Flash Next und Gemma 4 31B.

Aufgabe 1: Beschreibungen

Jedes Modell schrieb eine türkische Beschreibung für jedes der 745 Objekte und gab für jedes Measure an, ob ein höherer Wert besser ist. Jedes Modell erhielt dieselben 21 Anfragen; die EVREN-Modelle erhielten die byte-identischen gespeicherten Anfragen. Gesendet wurden nur Katalog-Metadaten: Namen, Typen, Zeilenzahlen, Beziehungen und Measure-Formeln. Es wurden keine Zeilenwerte gesendet. Der Validator des Produkts prüfte jede Antwort. Die Qualität wurde an einer Stichprobe von 60 Objekten bewertet (20 Tabellen, 20 Spalten, 20 Measures).

Aufgabe 2: CFO-Briefing

Der CFO-Agent des Produkts mit diesem Modell, gestartet über den echten Agent-Pfad mit seinen eigenen Budgets und einem Limit von 20 Schritten pro Lauf, als Experimentlauf: Nichts wurde an jemanden gesendet, und die Ergebnisse blieben für Nutzer verborgen. Zwei Läufe pro Modell. Bevor ein Finding oder eine Recommendation veröffentlicht werden konnte, prüfte die Engine jede Zahl darin gegen die Abfrageergebnisse, aus denen sie stammte.

Aufgabe 3: Chat

Eine echte Frage, die zuvor im Produkt gestellt wurde, „Wie hat sich der Umsatz inklusive Mehrwertsteuer in den letzten 6 Monaten monatlich entwickelt?“, dann eine Folgefrage, „Interpretiere diese Ergebnisse und führe bei Bedarf neue Abfragen aus.“ Zwei getrennte Unterhaltungen pro Modell, über den echten Chat-Pfad des Produkts. Wie im Normalbetrieb sah das Modell die aggregierten Ergebnisse seiner eigenen Abfragen. Es hatte nie Zugangsdaten oder einen Weg zu den Daten.

Reasoning-Einstellung

Jedes Modell lief mit der Voreinstellung des Produkts, Standard, die das Reasoning überall ausschaltet, wo ein Modell es zulässt. GLM-5.3 und gpt-oss-120b können es nicht ausschalten und liefen auf ihrer niedrigsten Stufe, „low“. Konfigurationen mit eingeschaltetem Reasoning wurden nicht getestet, und sie könnten das Bild verändern, insbesondere bei den Modellen von OpenAI und Anthropic.

Bewertung

Zwei Bewerter, die nicht selbst im Wettbewerb standen: Claude Sonnet 5.5 (Anthropic) und gpt-5.4 (OpenAI). Modellnamen wurden verborgen und die Ausgaben gemischt. Die Bewerter ordneten die Modelle nahezu identisch: Rangkorrelation 0,95 bei den Beschreibungen, 0,96 beim Briefing und 0,97 im Chat. Keiner bevorzugte erkennbar seinen eigenen Hersteller: Bei den Beschreibungen setzte der Anthropic-Bewerter zwei OpenAI-Modelle auf Platz eins und zwei, und im Chat setzte der OpenAI-Bewerter Claude Opus 5.5 auf Platz eins.

Punktvergabe

Beschreibungen: der Mittelwert aus Genauigkeit und Spezifität über beide Bewerter; erfundene Angaben werden gesondert ausgewiesen. Briefing und Chat: der Mittelwert aus Erkenntnisgehalt, Klarheit und Handlungsorientierung über beide Bewerter und jeden Lauf. Ein Lauf, der nichts veröffentlichte, wurde in jeder Dimension mit 1 bewertet, der niedrigsten möglichen Punktzahl.

Kosten

Tatsächliche Token-Zahlen multipliziert mit dem Listenpreis des jeweiligen Anbieters am Testdatum. EVREN war während des Tests kostenlos. Die Bewertung ist nicht enthalten. Die bewerteten Ausgaben kosteten zu Listenpreisen bei Anthropic, OpenAI und Zhipu zusammen etwa $24.

Bewusst ausgelassen

Claude Fable 5.1 wird separat getestet; die Ergebnisse teilen wir in den kommenden Tagen.

Die achtzehn Modelle, wie getestet

¹ EVREN gibt seine Preise in eigenen Credits an und wies jedes Modell bis zum 1. November 2026 als kostenlos aus.

Ein Lauf, der kein Finding und keine Recommendation veröffentlichte, wurde mit 1 bewertet. Kosten und Zeiten sind der Mittelwert der beiden Läufe.

• Was die Bewerter honorierten. Bei den ersten fünf rechneten sie Skepsis gegenüber den Daten selbst an, Findings, die mehrere Signale verknüpften, und Recommendations mit einem benannten Verantwortlichen und einem Schwellenwert. Ihre häufigste Kritik war Dichte: lange Findings und Briefs, die sie wiederholten.
• Schnell und klar, aber weniger spezifisch. Die OpenAI-Modelle waren in ein bis zwei Minuten fertig, gegenüber vier bis sieben bei den ersten fünf, und schrieben klar. Mit ausgeschaltetem Reasoning waren ihre Recommendations weniger spezifisch, was Verantwortliche und Schwellenwerte betrifft. Der erste Lauf von GPT-5.5 veröffentlichte nichts; der zweite erreichte 4,33.
• Wo Modelle scheiterten. Qwen 3.8 27B bei LLMaaService und Qwen 3.8 Flash Next bei EVREN führten bis zum Limit von 20 Schritten weiter Abfragen aus und schrieben das Briefing nie. Qwen 3.6 35B-A3B versuchte zu antworten, ohne Daten abzufragen, was die Engine nicht akzeptiert, und der Lauf endete. Der zweite Lauf von gpt-oss-120b veröffentlichte nichts. Der zweite Lauf von MiMo V2.6 Pro beschrieb einen älteren Monat statt des aktuellen.