¿Qué modelo para qué tarea? Dieciocho modelos, probados dentro de un producto gobernado.

Los datos

Un modelo de ingresos sintético construido para pruebas: el modelo de ingresos de una organización en SQL Server Analysis Services, con unas 80 tablas y 745 objetos de catálogo (tablas, columnas, medidas y métricas). No contiene datos personales, y en esta página no se informa de ninguna cifra procedente de él.

Los modelos

Primero, doce: Claude Opus 5.5 y Claude Sonnet 4.6 (Anthropic); GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna y GPT-5.5 (OpenAI); GLM-5.3 (Zhipu); y cinco modelos de pesos abiertos de LLMaaService, un servicio LLM operado en Türkiye: Qwen 3.8 27B, gpt-oss-120b, Gemma 4 26B, Qwen 3.6 35B-A3B y Qwen3-Next 80B. Después, seis de EVREN (Savunma Sanayi Yapay Zeka EVREN), un servicio de IA de la industria de defensa turca, independiente de LLMaaService: GLM-5.3, DeepSeek V4.1 Flash, DeepSeek V4 Flash, MiMo V2.6 Pro, Qwen 3.8 Flash Next y Gemma 4 31B.

Tarea 1: descripciones

Cada modelo escribió una descripción en turco para cada uno de los 745 objetos y, para cada medida, si un valor más alto es mejor. Todos los modelos recibieron las mismas 21 peticiones; los modelos de EVREN recibieron las peticiones guardadas, idénticas byte a byte. Solo se enviaron metadatos del catálogo: nombres, tipos, recuentos de filas, relaciones y fórmulas de medidas. No se envió ningún valor de fila. El validador del producto comprobó cada respuesta. La calidad se puntuó sobre una muestra de 60 objetos (20 tablas, 20 columnas, 20 medidas).

Tarea 2: informe del CFO

El agente CFO del producto con este modelo, iniciado a través de la ruta real de agentes con sus propios presupuestos y un límite de 20 pasos por ejecución, como ejecución experimental: no se envió nada a nadie y los resultados permanecieron ocultos para los usuarios. Dos ejecuciones por modelo. Antes de que un finding o una recommendation pudiera publicarse, el engine comprobó cada número que contenía con los resultados de consulta de los que procedía.

Tarea 3: chat

Una pregunta real hecha antes en el producto, “¿Cómo evolucionaron mes a mes los ingresos con IVA en los últimos 6 meses?”, y después una pregunta de seguimiento, “Interprete estos resultados y ejecute nuevas consultas si es necesario.” Dos conversaciones separadas por modelo, a través de la ruta de chat real del producto. Como en el funcionamiento normal, el modelo vio los resultados agregados de sus propias consultas. Nunca tuvo una credencial ni una ruta hacia los datos.

Ajuste de razonamiento

Todos los modelos funcionaron con el ajuste predeterminado del producto, Estándar, que desactiva el razonamiento siempre que el modelo lo permite. GLM-5.3 y gpt-oss-120b no pueden desactivarlo y funcionaron en su nivel más bajo, “low”. No se probaron configuraciones con el razonamiento activado, y podrían cambiar el panorama, sobre todo para los modelos de OpenAI y Anthropic.

Evaluación

Dos jueces que no participaban: Claude Sonnet 5.5 (Anthropic) y gpt-5.4 (OpenAI). Los nombres de los modelos se ocultaron y las salidas se barajaron. Los jueces ordenaron los modelos de forma casi idéntica: correlación de rangos de 0,95 en las descripciones, 0,96 en el informe y 0,97 en el chat. Ninguno favoreció visiblemente a su propio proveedor: en las descripciones, el juez de Anthropic puso a dos modelos de OpenAI en primer y segundo lugar, y en el chat, el juez de OpenAI puso primero a Claude Opus 5.5.

Criterios de puntuación

Descripciones: la media de exactitud y especificidad de ambos jueces; la invención se informa por separado. Informe y chat: la media de perspicacia, claridad y orientación a la acción de ambos jueces y todas las ejecuciones. Una ejecución que no publicó nada obtuvo 1, la mínima posible, en todas las dimensiones.

Coste

Recuentos reales de tokens multiplicados por el precio de lista de cada proveedor en la fecha de la prueba. EVREN era gratuito durante la prueba. La evaluación no está incluida. Las salidas puntuadas costaron unos $24 a precios de lista entre Anthropic, OpenAI y Zhipu en conjunto.

Excluido a propósito

Claude Fable 5.1 se probará por separado; compartiremos los resultados en los próximos días.

Los dieciocho modelos, tal como se probaron

¹ EVREN expresa sus precios en sus propios créditos y mostraba todos los modelos como gratuitos hasta el 1 de noviembre de 2026.

Una ejecución que no publicó ningún finding ni ninguna recommendation obtuvo 1. Los costes y los tiempos son la media de las dos ejecuciones.

• Lo que premiaron los jueces. En los cinco primeros valoraron el escepticismo sobre los propios datos, los findings que conectaban varias señales y las recommendations con un responsable designado y un umbral. Su queja más frecuente fue la densidad: findings largos y briefs que los repetían.
• Rápidos y claros, pero menos específicos. Los modelos de OpenAI terminaron en uno o dos minutos, frente a entre cuatro y siete de los cinco primeros, y escribieron con claridad. Con el razonamiento desactivado, sus recommendations fueron menos específicas sobre responsables y umbrales. La primera ejecución de GPT-5.5 no publicó nada; la segunda obtuvo 4,33.
• Dónde fallaron los modelos. Qwen 3.8 27B en LLMaaService y Qwen 3.8 Flash Next en EVREN siguieron ejecutando consultas hasta el límite de 20 pasos y nunca escribieron el informe. Qwen 3.6 35B-A3B intentó responder sin consultar ningún dato, algo que el engine no acepta, y la ejecución terminó. La segunda ejecución de gpt-oss-120b no publicó nada. La segunda ejecución de MiMo V2.6 Pro describió un mes anterior en lugar del actual.