Para compradores
Doce preguntas para todos los proveedores de esta categoría.
Va a evaluar más de un producto de agentic analytics en los próximos dieciocho meses, y las demos se parecerán entre sí. Estas doce separan la arquitectura de la presentación. Hágaselas a todos los proveedores. Nos encantará que nos las haga a nosotros.
Sobre la evidencia
- ¿Produce el modelo de lenguaje las cifras de negocio, o lo hace un motor de consultas? Pida ver la frontera en la arquitectura, no en la presentación comercial.
- Desde cualquier cifra en cualquier pantalla, ¿cuántos clics hasta la consulta que la produjo? Cuéntelos. Si la explicación se muestra pero verificar sale caro, la investigación dice que obtendrá aceptación, no exactitud.
- ¿Qué le pasa a una cifra que el sistema no puede demostrar? ¿Se descarta en silencio, se entrega en silencio, o se retiene con un motivo registrado que usted puede inspeccionar?
Sobre la persistencia
- ¿La salida de una ejecución es un objeto con identidad, o un mensaje? ¿Puede citarla dentro de seis meses?
- ¿Puede borrarse físicamente algo? Si es así, su rastro de auditoría tiene un agujero por diseño.
- Cuando se revisa un objeto, ¿es recuperable la versión anterior?
Sobre la gobernanza
- ¿Se aplica la autorización en el servidor y dentro de la consulta, o es la interfaz la que oculta filas que el backend devolvió?
- ¿Se congelan sobre el objeto, en el momento de la creación, la identidad que lo produjo y su alcance a nivel de fila, y se vuelven a comprobar en la lectura?
- ¿Puede cambiar automáticamente el modelo que atiende una ejecución, por un repliegue o un escalado por calidad? Si puede, usted no puede reproducir la salida del trimestre pasado.
Sobre la honestidad
- Pregunte qué capacidades de la demo están entregadas y cuáles son hoja de ruta. Pídalo por escrito. La respuesta, y la disposición a darla, le dice más que la demo.
- ¿Representa el producto la ausencia — sin datos, datos obsoletos, un resultado truncado — o la ausencia se ve idéntica a un hallazgo negativo limpio?
- ¿Frente a qué normas de gestión documental y de gobernanza de IA se posiciona, y qué hay en la arquitectura que se corresponda con ellas?
Copie esta lista libremente; no hace falta atribución. Es el Apéndice A de From Answers to Records.