執行 #102

ChargeSPOT AI 小幫手 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面
狀態
執行中
案例
23
開始時間
16 May 11:28
耗時
¶ Economics · Bot-side N=19 attempts

Cost & Tokens

$0.1117
Total Bot Cost · USD
84.6%
Prompt Cache Hit
cost per case
$0.0059
cost per 1k tokens
$0.0009
input tokens
115,756
output tokens
3,388
cached tokens — prompt-cache hit
97,920
Total Tokens
119,144
economic efficiency
cost per correct
$0.0015
pass rate
78.9%
15 / 19
judge cost
$0.0224
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 0d70b0c2-1938-434b-a396-22f87279dcc1 20 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:d7a23b9c Tools: sha256:c5275411 Scenarios: sha256:87877a64 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
19 / 23
錯誤
0
失敗維度
1
首字延遲 p95
4574 ms
Bot 成本(Neptune)
$0.1117
Bot Tokens(Neptune)
119,144
Judge 成本(Eris)
$0.0224
Judge Tokens(Eris)
170,104
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=7
F1 18.2% · 相關率 18.6% · 精確 10.0%
9 / 9 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=7
9 / 9 適用
答得到位 平均
answer_quality
98.6%
[96.7% – 100.0%] · n=7
9 / 9 適用
  • 案例 30BD7512

    行動電源支援使用哪些充電線?

    已完成
    第 1 次嘗試 · 已完成 21212ms

    載入詳情中…

  • 案例 55407572

    綁定第三方支付後需付多少預授權金?

    已完成
    第 1 次嘗試 · 已完成 21174ms

    載入詳情中…

  • 案例 A886F7ED

    歸還行動電源需要提供什麼資訊?

    pending

    等候 orchestrator 處理此案例…

  • 案例 A7021C40

    請問行動電源每小時收費多少元?

    已完成
    第 1 次嘗試 · 已完成 34132ms

    載入詳情中…

  • 案例 2C75D31A

    請問為什麼歸還行動電源後,租借畫面還在計費?

    已完成
    第 1 次嘗試 · 已完成 38213ms

    載入詳情中…

  • 案例 71568208

    行動電源充電時,接口金屬處要怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 26023ms

    載入詳情中…

  • 案例 54DD7FBB

    行動電源有防水功能嗎?

    已完成
    第 1 次嘗試 · 已完成 29962ms

    載入詳情中…

  • 案例 576E1C78

    行動電源歸還後怎麼扣款?

    已完成
    第 1 次嘗試 · 已完成 26438ms

    載入詳情中…

  • 案例 B4294463

    街口支付和悠遊付的預授權金是多少?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…

  • 案例 5F92BC97

    一次可以借兩顆行動電源嗎?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[40.0% – 100.0%] · n=5
F1 66.7% · 召回 80.0% · 精確 60.0%
7 / 7 適用
用對工具 召回
tool_usage
66.7%
[0.0% – 100.0%] · n=3
F1 66.7% · 召回 66.7% · 精確 66.7%
3 / 7 適用
答得到位 平均
answer_quality
57.3%
[38.0% – 76.7%] · n=5
7 / 7 適用
  • 案例 0F7565BD

    這個產品多少錢啊?

    已完成
    第 1 次嘗試 · 已完成 37495ms

    載入詳情中…

  • 案例 1BA20B02

    請問如果使用街口支付收取800元預授權金後,掃描QRCode卻沒有彈出行動電源該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 51402ms

    載入詳情中…

  • 案例 0C888CD2

    如果我使用街口支付租借行動電源,付了800元預授權金後,要怎麼處理才不會彈出借電的行動電源呢?

    已完成
    第 1 次嘗試 · 已完成 35611ms

    載入詳情中…

  • 案例 44CC1B79

    我想查詢我的訂單狀態,請問該怎麼做呢?

    已完成
    第 1 次嘗試 · 已完成 25884ms

    載入詳情中…

  • 案例 192871C0

    查詢產品資訊要怎麼問?

    已完成
    第 1 次嘗試 · 已完成 31502ms

    載入詳情中…

  • 案例 73B98092

    我使用街口支付租借行動電源後,行動電源沒彈出,要怎麼處理?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…

  • 案例 94CBFC84

    行充未彈出怎麼辦?

    執行中
    第 1 次嘗試 · 執行中

    載入詳情中…

  • 案例 21F5DE3C

    請問這款髮片的價格是多少?

    pending

    等候 orchestrator 處理此案例…

  • 案例 A06878D4

    查詢產品怎麼做?

    pending

    等候 orchestrator 處理此案例…

  • 案例 1C6D0DE2

    這個髮片怎麼使用?

    pending

    等候 orchestrator 處理此案例…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=5
F1 18.2% · 相關率 12.5% · 精確 10.0%
5 / 7 適用 · 1 提示
不亂編造 平均
faithfulness
85.7%
[57.1% – 100.0%] · n=7
7 / 7 適用
答得到位 平均
answer_quality
85.7%
[64.8% – 100.0%] · n=7
7 / 7 適用
  • 案例 9C3FF85B

    行動電源提供哪些充電線?

    已完成
    第 1 次嘗試 · 已完成 19228ms

    載入詳情中…

  • 案例 BBB1C2FD

    請問我可以取消 FunNow 的訂單嗎?

    已完成
    第 1 次嘗試 · 已完成 31886ms

    載入詳情中…

  • 案例 FCAC7490

    請問什麼情況會轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 27747ms

    載入詳情中…

  • 案例 DC056A3E

    行動電源可以同時充兩個裝置嗎?

    已完成
    第 1 次嘗試 · 已完成 17539ms

    載入詳情中…

  • 案例 91F79D9F

    行動電源的容量是多少?

    已完成
    第 1 次嘗試 · 已完成 22076ms

    載入詳情中…

  • 案例 5D56C461

    聯繫客服需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 25968ms

    載入詳情中…

  • 案例 59BF1C99

    租借行動電源前要怎麼付款?

    已完成
    第 1 次嘗試 · 已完成 31597ms

    載入詳情中…

  • 案例 30E2B249

    不同的登入方式會產生不同的CHARGESPOT帳號嗎

    pending

    等候 orchestrator 處理此案例…

  • 案例 AB7AE054

    請問CHARGESPOT第一日的費用上限是多少?

    pending

    等候 orchestrator 處理此案例…

  • 案例 0CF2C651

    支付失敗的訂單需要怎麼處理?

    pending

    等候 orchestrator 處理此案例…