執行 #191

OllieTest (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
24
開始時間
16 May 12:10
耗時
381.1s
¶ Economics · Bot-side N=24 attempts

Cost & Tokens

$0.1012
Total Bot Cost · USD
72.2%
Prompt Cache Hit
cost per case
$0.0042
cost per 1k tokens
$0.0011
input tokens
92,597
output tokens
2,026
cached tokens — prompt-cache hit
66,816
Total Tokens
94,623
economic efficiency
cost per correct
$0.0014
pass rate
58.3%
14 / 24
judge cost
$0.0191
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • e67d9c8e-ff77-4223-b206-6f876a465dc7 4 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:20dabb49 Tools: sha256:cb414772 Scenarios: sha256:ef017b68 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
24 / 24
錯誤
0
失敗維度
6
首字延遲 p95
2220 ms
Bot 成本（Neptune）
$0.1012
Bot Tokens（Neptune）
94,623
Judge 成本（Eris）
$0.0191
Judge Tokens（Eris）
150,876
項目 I.

知識庫精準度

kb_accuracy 4 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=4
F1 40.0% · 相關率 25.0% · 精確 25.0%
4 / 4 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=4
4 / 4 適用
答得到位 平均
answer_quality
93.3%
[86.7% – 100.0%] · n=4
4 / 4 適用
  • 案例 12B37A78

    運費是怎麼計算的？

    已完成
    第 1 次嘗試 · 已完成 8587ms

    載入詳情中…
  • 案例 A9476395

    狗狗可以吃生雞蛋嗎

    已完成
    第 1 次嘗試 · 已完成 10883ms

    載入詳情中…
  • 案例 02AF8516

    請問要如何查詢訂單狀態呢？

    已完成
    第 1 次嘗試 · 已完成 8881ms

    載入詳情中…
  • 案例 3E94B237

    退換貨的商品要有什麼條件？

    已完成
    第 1 次嘗試 · 已完成 19207ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 90.0% · 召回 100.0% · 精確 85.0%
10 / 10 適用
用對工具 召回
tool_usage
70.0%
[40.0% – 100.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 70.0%
10 / 10 適用
答得到位 平均
answer_quality
53.7%
[32.7% – 75.7%] · n=10
10 / 10 適用
  • 案例 4C06A771

    最近有什麼活動嗎

    已完成
    第 1 次嘗試 · 已完成 11009ms

    載入詳情中…
  • 案例 849D77FC

    請問我如何查詢訂單狀態呢？

    已完成
    第 1 次嘗試 · 已完成 11204ms

    載入詳情中…
  • 案例 42CB9AFC

    產品的維護保養要注意什麼？

    已完成
    第 1 次嘗試 · 已完成 13112ms

    載入詳情中…
  • 案例 376FE4C6

    我的訂單查詢有什麼進度？

    已完成
    第 1 次嘗試 · 已完成 10464ms

    載入詳情中…
  • 案例 FE927736

    我的訂單狀態查詢不到，這樣要怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 9445ms

    載入詳情中…
  • 案例 F3A12890

    退換貨的流程是什麼？

    已完成
    第 1 次嘗試 · 已完成 13777ms

    載入詳情中…
  • 案例 30D1E27A

    這個髮片需要怎麼保養呢?

    已完成
    第 1 次嘗試 · 已完成 12260ms

    載入詳情中…
  • 案例 87EE3294

    請問這個產品的保養和維修要怎麼做？壽命大約是多久？

    已完成
    第 1 次嘗試 · 已完成 11407ms

    載入詳情中…
  • 案例 996B58B5

    我該如何使用這個產品？

    已完成
    第 1 次嘗試 · 已完成 13364ms

    載入詳情中…
  • 案例 922539F5

    請問我的訂單目前的運送狀態如何？

    已完成
    第 1 次嘗試 · 已完成 10000ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=4
F1 40.0% · 相關率 25.0% · 精確 25.0%
4 / 10 適用
不亂編造 平均
faithfulness
80.0%
[50.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
61.0%
[39.0% – 81.3%] · n=10
10 / 10 適用
  • 案例 C8416F53

    請問未滿 1000 元的訂單運費是多少？

    已完成
    第 1 次嘗試 · 已完成 10981ms

    載入詳情中…
  • 案例 BF9D0C1A

    統一搜尋可以處理什麼資料來源?

    已完成
    第 1 次嘗試 · 已完成 11819ms

    載入詳情中…
  • 案例 B6134214

    你們的營業時間是什麼時候?

    已完成
    第 1 次嘗試 · 已完成 10131ms

    載入詳情中…
  • 案例 9405B118

    查詢訂單狀態要怎麼做？

    已完成
    第 1 次嘗試 · 已完成 10365ms

    載入詳情中…
  • 案例 E077B230

    電商訂單搜尋要怎麼操作?

    已完成
    第 1 次嘗試 · 已完成 15897ms

    載入詳情中…
  • 案例 BB0D5BA1

    收到商品後幾天內可以退換貨？

    已完成
    第 1 次嘗試 · 已完成 14253ms

    載入詳情中…
  • 案例 259064DE

    可以看之前的對話紀錄嗎?

    已完成
    第 1 次嘗試 · 已完成 14556ms

    載入詳情中…
  • 案例 BA8837A1

    請問當我的情緒升高時，可以轉接真人客服嗎？

    已完成
    第 1 次嘗試 · 已完成 8835ms

    載入詳情中…
  • 案例 F80CDCDA

    狗狗可以吃生雞蛋嗎？

    已完成
    第 1 次嘗試 · 已完成 12873ms

    載入詳情中…
  • 案例 07A956F9

    什麼情況下可以轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 12923ms

    載入詳情中…