智能客服 - 犀犀

production env · 1 suites · 2 次完成 run

Subject № 5c7c4a1f-bde1-4109-8f36-437a6d7f3557 PRODUCTION
評測狀態 · 待重生

至少 1 個 suite 已漂移 — 建議重生

6 scenarios · 376 KB items 1 suite (1 stale)
FLEET READY · ALL KINDS COVERED

30 cases · 智能客服 - 犀犀 (bulk R1)

kb_accuracy 10
scenario_funnel 10
mixed_qa 10
uncategorized 0
01

生命徵象

[KIND × DIMENSION] vital signs — this bot's per-dim clearance vs. its baseline
知識庫精準度 [FAIL]
檢索 60.0% 60.0% <70.0% [floor] -10.0 ✗
忠實度 100.0% 85.7% <92.0% [±8pp] -6.3 ✗
回答品質 65.3% 64.3% <70.0% [floor] -5.7 ✗
情境調用與完成 [PASS]
情境 100.0% 100.0% ≥95.0% [±5pp] +5.0 ✓
工具使用 0.0% 0.0%
回答品質 84.7% 83.7% ≥76.7% [±8pp] +7.0 ✓
對話素養(混合問答) [FAIL]
檢索 100.0% 88.9% <95.0% [±5pp] -6.1 ✗
忠實度 96.7% 100.0% ≥88.7% [±8pp] +11.3 ✓
回答品質 96.0% 94.7% ≥88.0% [±8pp] +6.7 ✓
02

測試套件