Bu kategorideki her satıcıya sorulacak on iki soru.

Kanıt üzerine

1. İş rakamlarını dil modeli mi üretiyor, yoksa bir sorgu motoru mu? Sınırı sunumda değil, mimaride görmek isteyin.
2. Herhangi bir ekrandaki herhangi bir rakamdan, onu üreten sorguya kaç tıklama? Sayın. Açıklama gösteriliyor ama doğrulama pahalıysa, araştırma diyor ki elinize doğruluk değil, kabul geçecek.
3. Sistemin kanıtlayamadığı bir rakama ne olur? Sessizce düşürülür mü, sessizce yayımlanır mı, yoksa inceleyebileceğiniz kayıtlı bir gerekçeyle mi tutulur?

Kalıcılık üzerine

4. Bir koşunun çıktısı kimliği olan bir nesne mi, yoksa bir mesaj mı? Altı ay sonra ona atıf verebilir misiniz?
5. Herhangi bir şey fiziksel olarak silinebiliyor mu? Cevap evetse, denetim izinizde tasarım gereği bir delik var demektir.
6. Bir nesne revize edildiğinde önceki sürüm geri getirilebiliyor mu?

Yönetişim üzerine

1. Yetkilendirme sunucuda ve sorgunun içinde mi uygulanıyor, yoksa arayüz, backend'in döndürdüğü satırları gizliyor mu?
2. Üreten kimlik ve satır bazlı kapsam, nesne oluşurken üzerine donduruluyor ve okuma anında yeniden denetleniyor mu?
3. Bir koşuya hizmet eden model, bir geri düşüş ya da kalite yükseltmesiyle otomatik olarak değişebiliyor mu? Değişebiliyorsa, geçen çeyreğin çıktısını yeniden üretemezsiniz.

Dürüstlük üzerine

1. Demodaki hangi yeteneklerin yayında, hangilerinin yol haritasında olduğunu sorun. Yazılı isteyin. Cevap, ve cevap verme istekliliği, size demonun söylediğinden fazlasını söyler.
2. Ürün yokluğu temsil ediyor mu — veri yok, bayat veri, kırpılmış sonuç — yoksa yokluk, temiz bir olumsuz bulguyla birebir aynı mı görünüyor?
3. Hangi kayıt ve AI yönetişim standartlarına karşı konumlanıyorsunuz, ve mimaride buna karşılık gelen ne var?