執行 #151

JV3C客服小幫手 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 11:53
耗時
630.4s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1633
Total Bot Cost · USD
56.3%
Prompt Cache Hit
cost per case
$0.0054
cost per 1k tokens
$0.0013
input tokens
119,033
output tokens
3,234
cached tokens — prompt-cache hit
67,072
Total Tokens
122,267
economic efficiency
cost per correct
$0.0012
pass rate
73.3%
22 / 30
judge cost
$0.0259
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • f2e2f75c-5fbe-400d-afeb-295f4ccc78c7 20 筆 KB
    SystemPrompt: sha256:e4a7be06 KBContent: sha256:88cb0171 Tools: sha256:e3b0c442 Scenarios: sha256:7af5153d AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
10431 ms
Bot 成本（Neptune）
$0.1633
Bot Tokens（Neptune）
122,267
Judge 成本（Eris）
$0.0259
Judge Tokens（Eris）
199,578
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 18.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
93.0%
[88.7% – 97.3%] · n=10
10 / 10 適用
  • 案例 77C367B4

    桃園站前店的地址是多少?

    已完成
    第 1 次嘗試 · 已完成 14964ms

    載入詳情中…
  • 案例 F04A1F8A

    請問退貨必須透過哪裡寄回呢？

    已完成
    第 1 次嘗試 · 已完成 10439ms

    載入詳情中…
  • 案例 D8A33AE6

    選擇錶帶時需要知道什麼嗎？

    已完成
    第 1 次嘗試 · 已完成 10654ms

    載入詳情中…
  • 案例 C15D6DFF

    我的訂單到貨了嗎

    已完成
    第 1 次嘗試 · 已完成 9609ms

    載入詳情中…
  • 案例 285189D7

    平板的型號在哪裡可以找到？

    已完成
    第 1 次嘗試 · 已完成 15654ms

    載入詳情中…
  • 案例 9BA681F4

    我已經下單了，請問需要提供什麼資訊？

    已完成
    第 1 次嘗試 · 已完成 9663ms

    載入詳情中…
  • 案例 0D4932B3

    折價卷一次可以用幾張?

    已完成
    第 1 次嘗試 · 已完成 8620ms

    載入詳情中…
  • 案例 E305D9E2

    充電線要考慮手機型號嗎

    已完成
    第 1 次嘗試 · 已完成 8930ms

    載入詳情中…
  • 案例 3363B8F7

    取消訂單，折價卷會還嗎

    已完成
    第 1 次嘗試 · 已完成 9544ms

    載入詳情中…
  • 案例 E72ECA45

    我想取消訂單，訂單編號是多少?

    已完成
    第 1 次嘗試 · 已完成 10711ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位 平均
answer_quality
52.0%
[35.0% – 70.0%] · n=10
10 / 10 適用
  • 案例 C7A99A85

    我想查詢平板的型號，請問需要提供什麼資訊？

    已完成
    第 1 次嘗試 · 已完成 11504ms

    載入詳情中…
  • 案例 DFFF96C4

    請問如果我有關於產品的問題，你們會提供推薦嗎？

    已完成
    第 1 次嘗試 · 已完成 13450ms

    載入詳情中…
  • 案例 243C4795

    有什麼產品推薦嗎

    已完成
    第 1 次嘗試 · 已完成 9595ms

    載入詳情中…
  • 案例 C07E3919

    請問您能幫我查詢一些產品的資訊嗎？

    已完成
    第 1 次嘗試 · 已完成 14789ms

    載入詳情中…
  • 案例 E4FA41CA

    我的平板型號是什麼呢？

    已完成
    第 1 次嘗試 · 已完成 9447ms

    載入詳情中…
  • 案例 9D4DDAF0

    有關知識的問題可以推薦產品嗎

    已完成
    第 1 次嘗試 · 已完成 15726ms

    載入詳情中…
  • 案例 13E4EEC5

    進階統一搜尋是什麼功能？

    已完成
    第 1 次嘗試 · 已完成 12822ms

    載入詳情中…
  • 案例 E771E483

    我想知道你們有沒有什麼進階搜尋工具可以查詢產品資訊?

    已完成
    第 1 次嘗試 · 已完成 14309ms

    載入詳情中…
  • 案例 16105EC6

    可以查詢平板的哪個規格？

    已完成
    第 1 次嘗試 · 已完成 10474ms

    載入詳情中…
  • 案例 95C93075

    如果我想要推薦一款平板，會有什麼選擇？

    已完成
    第 1 次嘗試 · 已完成 12377ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 14.4% · 精確 10.0%
9 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
91.3%
[80.3% – 98.3%] · n=10
10 / 10 適用
  • 案例 52D6BF6C

    我下單了，請問需要提供什麼資訊嗎？

    已完成
    第 1 次嘗試 · 已完成 9646ms

    載入詳情中…
  • 案例 FF6A6148

    可以轉接真人客服嗎

    已完成
    第 1 次嘗試 · 已完成 6275ms

    載入詳情中…
  • 案例 4DF95480

    手錶背面標示的尺寸是幾毫米？

    已完成
    第 1 次嘗試 · 已完成 11097ms

    載入詳情中…
  • 案例 915C5886

    筆尖安裝不當會造成無法書寫嗎

    已完成
    第 1 次嘗試 · 已完成 13340ms

    載入詳情中…
  • 案例 25753F68

    訂單什麼時候會出貨?

    已完成
    第 1 次嘗試 · 已完成 13201ms

    載入詳情中…
  • 案例 AE89C2A6

    訂單到貨了嗎？

    已完成
    第 1 次嘗試 · 已完成 7740ms

    載入詳情中…
  • 案例 2C15B1D8

    如果商品使用有問題，我該怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 9692ms

    載入詳情中…
  • 案例 FD613C75

    取消訂單的時候，折價卷會還我嗎?

    已完成
    第 1 次嘗試 · 已完成 8897ms

    載入詳情中…
  • 案例 A8BF9F93

    折價卷一次可以用兩張嗎

    已完成
    第 1 次嘗試 · 已完成 9126ms

    載入詳情中…
  • 案例 4F9E4CE7

    退貨的商品要去哪裡寄回?

    已完成
    第 1 次嘗試 · 已完成 12248ms

    載入詳情中…