執行 #122

FunNow-test (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
20
開始時間
16 May 11:40
耗時
930.5s
¶ Economics · Bot-side N=20 attempts

Cost & Tokens

$0.0594
Total Bot Cost · USD
92.4%
Prompt Cache Hit
cost per case
$0.0030
cost per 1k tokens
$0.0007
input tokens
82,316
output tokens
1,097
cached tokens — prompt-cache hit
76,032
Total Tokens
83,413
economic efficiency
cost per correct
$0.0022
pass rate
40.0%
8 / 20
judge cost
$0.0177
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • d54d45c8-1448-4a5c-91d0-73e2f13c839e 0 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:e3b0c442 Tools: sha256:6e19e7cb Scenarios: sha256:0c9e5052 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
20 / 20
錯誤
0
失敗維度
2
首字延遲 p95
11114 ms
Bot 成本（Neptune）
$0.0594
Bot Tokens（Neptune）
83,413
Judge 成本（Eris）
$0.0177
Judge Tokens（Eris）
138,970
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 70.0% · 召回 80.0% · 精確 65.0%
10 / 10 適用
用對工具 召回
tool_usage
20.0%
[0.0% – 50.0%] · n=10
F1 20.0% · 召回 20.0% · 精確 50.0%
10 / 10 適用
答得到位 平均
answer_quality
56.0%
[43.0% – 69.7%] · n=10
10 / 10 適用
  • 案例 630E9517

    訂單查詢要先提供什麼嗎？

    已完成
    第 1 次嘗試 · 已完成 28796ms

    載入詳情中…
  • 案例 1290E234

    我想更換訂單日期，請問怎麼做？

    已完成
    第 1 次嘗試 · 已完成 27129ms

    載入詳情中…
  • 案例 72176EF5

    請問這張訂單可以更換其他日期嗎？

    已完成
    第 1 次嘗試 · 已完成 12560ms

    載入詳情中…
  • 案例 5FE38287

    我可以怎麼查詢我的訂單進度？

    已完成
    第 1 次嘗試 · 已完成 21553ms

    載入詳情中…
  • 案例 9DDEE1E5

    訂單查詢圖片無法辨識怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 34705ms

    載入詳情中…
  • 案例 970DDA51

    請問這款髮片的價格是多少呢？

    已完成
    第 1 次嘗試 · 已完成 25208ms

    載入詳情中…
  • 案例 00964ED7

    我想取消訂單，請問需要提供哪些資訊呢？

    已完成
    第 1 次嘗試 · 已完成 17921ms

    載入詳情中…
  • 案例 F788C102

    我想查詢我的訂單，請問要怎麼做？

    已完成
    第 1 次嘗試 · 已完成 22540ms

    載入詳情中…
  • 案例 1B9B9CBD

    你們的粉絲團在哪裡?

    已完成
    第 1 次嘗試 · 已完成 24463ms

    載入詳情中…
  • 案例 4ABD0EA9

    訂單可以改成晚上七點嗎？

    已完成
    第 1 次嘗試 · 已完成 15611ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
—
—
不亂編造 平均
faithfulness
25.0%
[0.0% – 75.0%] · n=4
10 / 10 適用
答得到位 平均
answer_quality
64.7%
[48.0% – 79.7%] · n=10
10 / 10 適用
  • 案例 C143DD6C

    請問能不能改期訂單的預約時間？

    已完成
    第 1 次嘗試 · 已完成 19736ms

    載入詳情中…
  • 案例 79173271

    這個查詢有什麼限制嗎？

    已完成
    第 1 次嘗試 · 已完成 28069ms

    載入詳情中…
  • 案例 7F1D328A

    請問我可以使用 FunNow 查詢其他可用的預訂時間嗎？

    已完成
    第 1 次嘗試 · 已完成 22618ms

    載入詳情中…
  • 案例 168D9B30

    什麼是統一搜尋的融合技術？

    已完成
    第 1 次嘗試 · 已完成 33997ms

    載入詳情中…
  • 案例 2ED7E524

    怎麼轉接真人客服啊？

    已完成
    第 1 次嘗試 · 已完成 26392ms

    載入詳情中…
  • 案例 E846544B

    請問可以幫我轉接到人類客服代表嗎？

    已完成
    第 1 次嘗試 · 已完成 21454ms

    載入詳情中…
  • 案例 1C6A2332

    我想查詢我的訂單進度，請問該怎麼做？

    已完成
    第 1 次嘗試 · 已完成 28517ms

    載入詳情中…
  • 案例 AAE6B032

    取消訂單需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 22040ms

    載入詳情中…
  • 案例 1FA06A80

    請問取消訂單的流程是什麼呢？

    已完成
    第 1 次嘗試 · 已完成 17868ms

    載入詳情中…
  • 案例 90B27600

    我可以查看之前的對話紀錄嗎?

    已完成
    第 1 次嘗試 · 已完成 16858ms

    載入詳情中…