執行 #192

OllieTest (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
24
開始時間
16 May 12:11
耗時
218.1s
¶ Economics · Bot-side N=24 attempts

Cost & Tokens

$0.1542
Total Bot Cost · USD
32.9%
Prompt Cache Hit
cost per case
$0.0064
cost per 1k tokens
$0.0016
input tokens
92,596
output tokens
1,833
cached tokens — prompt-cache hit
30,464
Total Tokens
94,429
economic efficiency
cost per correct
$0.0015
pass rate
54.2%
13 / 24
judge cost
$0.019
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • e67d9c8e-ff77-4223-b206-6f876a465dc7 4 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:20dabb49 Tools: sha256:cb414772 Scenarios: sha256:ef017b68 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
24 / 24
錯誤
0
失敗維度
6
首字延遲 p95
9331 ms
Bot 成本（Neptune）
$0.1542
Bot Tokens（Neptune）
94,429
Judge 成本（Eris）
$0.0190
Judge Tokens（Eris）
150,436
項目 I.

知識庫精準度

kb_accuracy 4 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=4
F1 40.0% · 相關率 25.0% · 精確 25.0%
4 / 4 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=4
4 / 4 適用
答得到位 平均
answer_quality
95.8%
[87.5% – 100.0%] · n=4
4 / 4 適用
  • 案例 12B37A78

    運費是怎麼計算的？

    已完成
    第 1 次嘗試 · 已完成 19847ms

    載入詳情中…
  • 案例 A9476395

    狗狗可以吃生雞蛋嗎

    已完成
    第 1 次嘗試 · 已完成 31718ms

    載入詳情中…
  • 案例 02AF8516

    請問要如何查詢訂單狀態呢？

    已完成
    第 1 次嘗試 · 已完成 16658ms

    載入詳情中…
  • 案例 3E94B237

    退換貨的商品要有什麼條件？

    已完成
    第 1 次嘗試 · 已完成 22829ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 90.0% · 召回 100.0% · 精確 85.0%
10 / 10 適用
用對工具 召回
tool_usage
70.0%
[40.0% – 100.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 70.0%
10 / 10 適用
答得到位 平均
answer_quality
55.0%
[35.0% – 75.0%] · n=10
10 / 10 適用
  • 案例 4C06A771

    最近有什麼活動嗎

    已完成
    第 1 次嘗試 · 已完成 18773ms

    載入詳情中…
  • 案例 849D77FC

    請問我如何查詢訂單狀態呢？

    已完成
    第 1 次嘗試 · 已完成 28010ms

    載入詳情中…
  • 案例 42CB9AFC

    產品的維護保養要注意什麼？

    已完成
    第 1 次嘗試 · 已完成 32936ms

    載入詳情中…
  • 案例 376FE4C6

    我的訂單查詢有什麼進度？

    已完成
    第 1 次嘗試 · 已完成 31494ms

    載入詳情中…
  • 案例 FE927736

    我的訂單狀態查詢不到，這樣要怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 23891ms

    載入詳情中…
  • 案例 F3A12890

    退換貨的流程是什麼？

    已完成
    第 1 次嘗試 · 已完成 26680ms

    載入詳情中…
  • 案例 30D1E27A

    這個髮片需要怎麼保養呢?

    已完成
    第 1 次嘗試 · 已完成 23613ms

    載入詳情中…
  • 案例 87EE3294

    請問這個產品的保養和維修要怎麼做？壽命大約是多久？

    已完成
    第 1 次嘗試 · 已完成 23605ms

    載入詳情中…
  • 案例 996B58B5

    我該如何使用這個產品？

    已完成
    第 1 次嘗試 · 已完成 25095ms

    載入詳情中…
  • 案例 922539F5

    請問我的訂單目前的運送狀態如何？

    已完成
    第 1 次嘗試 · 已完成 20299ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=4
F1 40.0% · 相關率 25.0% · 精確 25.0%
4 / 10 適用
不亂編造 平均
faithfulness
92.5%
[77.5% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
63.0%
[41.0% – 84.3%] · n=10
10 / 10 適用
  • 案例 C8416F53

    請問未滿 1000 元的訂單運費是多少？

    已完成
    第 1 次嘗試 · 已完成 21255ms

    載入詳情中…
  • 案例 BF9D0C1A

    統一搜尋可以處理什麼資料來源?

    已完成
    第 1 次嘗試 · 已完成 24116ms

    載入詳情中…
  • 案例 B6134214

    你們的營業時間是什麼時候?

    已完成
    第 1 次嘗試 · 已完成 30981ms

    載入詳情中…
  • 案例 9405B118

    查詢訂單狀態要怎麼做？

    已完成
    第 1 次嘗試 · 已完成 29286ms

    載入詳情中…
  • 案例 E077B230

    電商訂單搜尋要怎麼操作?

    已完成
    第 1 次嘗試 · 已完成 27242ms

    載入詳情中…
  • 案例 BB0D5BA1

    收到商品後幾天內可以退換貨？

    已完成
    第 1 次嘗試 · 已完成 26744ms

    載入詳情中…
  • 案例 259064DE

    可以看之前的對話紀錄嗎?

    已完成
    第 1 次嘗試 · 已完成 25802ms

    載入詳情中…
  • 案例 BA8837A1

    請問當我的情緒升高時，可以轉接真人客服嗎？

    已完成
    第 1 次嘗試 · 已完成 20731ms

    載入詳情中…
  • 案例 F80CDCDA

    狗狗可以吃生雞蛋嗎？

    已完成
    第 1 次嘗試 · 已完成 23638ms

    載入詳情中…
  • 案例 07A956F9

    什麼情況下可以轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 19685ms

    載入詳情中…