執行 #101

ChargeSPOT AI 小幫手 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面
狀態
執行中
案例
28
開始時間
16 May 11:28
耗時
¶ Economics · Bot-side N=28 attempts

Cost & Tokens

$0.2380
Total Bot Cost · USD
55.7%
Prompt Cache Hit
cost per case
$0.0085
cost per 1k tokens
$0.0014
input tokens
171,490
output tokens
4,784
cached tokens — prompt-cache hit
95,488
Total Tokens
176,274
economic efficiency
cost per correct
$0.0018
pass rate
71.4%
20 / 28
judge cost
$0.0355
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 0d70b0c2-1938-434b-a396-22f87279dcc1 20 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:d7a23b9c Tools: sha256:c5275411 Scenarios: sha256:87877a64 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
28 / 28
錯誤
0
失敗維度
1
首字延遲 p95
2844 ms
Bot 成本(Neptune)
$0.2380
Bot Tokens(Neptune)
176,274
Judge 成本(Eris)
$0.0355
Judge Tokens(Eris)
256,298
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 17.8% · 精確 10.0%
9 / 9 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
9 / 9 適用
答得到位 平均
answer_quality
97.8%
[95.2% – 99.6%] · n=9
9 / 9 適用
  • 案例 30BD7512

    行動電源支援使用哪些充電線?

    已完成
    第 1 次嘗試 · 已完成 12787ms

    載入詳情中…

  • 案例 55407572

    綁定第三方支付後需付多少預授權金?

    已完成
    第 1 次嘗試 · 已完成 14260ms

    載入詳情中…

  • 案例 A886F7ED

    歸還行動電源需要提供什麼資訊?

    pending

    等候 orchestrator 處理此案例…

  • 案例 A7021C40

    請問行動電源每小時收費多少元?

    已完成
    第 1 次嘗試 · 已完成 14394ms

    載入詳情中…

  • 案例 2C75D31A

    請問為什麼歸還行動電源後,租借畫面還在計費?

    已完成
    第 1 次嘗試 · 已完成 18888ms

    載入詳情中…

  • 案例 71568208

    行動電源充電時,接口金屬處要怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 15432ms

    載入詳情中…

  • 案例 54DD7FBB

    行動電源有防水功能嗎?

    已完成
    第 1 次嘗試 · 已完成 9807ms

    載入詳情中…

  • 案例 576E1C78

    行動電源歸還後怎麼扣款?

    已完成
    第 1 次嘗試 · 已完成 13117ms

    載入詳情中…

  • 案例 B4294463

    街口支付和悠遊付的預授權金是多少?

    已完成
    第 1 次嘗試 · 已完成 19465ms

    載入詳情中…

  • 案例 5F92BC97

    一次可以借兩顆行動電源嗎?

    已完成
    第 1 次嘗試 · 已完成 15533ms

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 76.7% · 召回 90.0% · 精確 70.0%
10 / 10 適用
用對工具 召回
tool_usage
83.3%
[50.0% – 100.0%] · n=6
F1 83.3% · 召回 83.3% · 精確 83.3%
6 / 10 適用
答得到位 平均
answer_quality
48.3%
[32.7% – 63.7%] · n=10
10 / 10 適用
  • 案例 0F7565BD

    這個產品多少錢啊?

    已完成
    第 1 次嘗試 · 已完成 12221ms

    載入詳情中…

  • 案例 1BA20B02

    請問如果使用街口支付收取800元預授權金後,掃描QRCode卻沒有彈出行動電源該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 32819ms

    載入詳情中…

  • 案例 0C888CD2

    如果我使用街口支付租借行動電源,付了800元預授權金後,要怎麼處理才不會彈出借電的行動電源呢?

    已完成
    第 1 次嘗試 · 已完成 17588ms

    載入詳情中…

  • 案例 44CC1B79

    我想查詢我的訂單狀態,請問該怎麼做呢?

    已完成
    第 1 次嘗試 · 已完成 14504ms

    載入詳情中…

  • 案例 192871C0

    查詢產品資訊要怎麼問?

    已完成
    第 1 次嘗試 · 已完成 14222ms

    載入詳情中…

  • 案例 73B98092

    我使用街口支付租借行動電源後,行動電源沒彈出,要怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 18263ms

    載入詳情中…

  • 案例 94CBFC84

    行充未彈出怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 19747ms

    載入詳情中…

  • 案例 21F5DE3C

    請問這款髮片的價格是多少?

    已完成
    第 1 次嘗試 · 已完成 22123ms

    載入詳情中…

  • 案例 A06878D4

    查詢產品怎麼做?

    已完成
    第 1 次嘗試 · 已完成 20619ms

    載入詳情中…

  • 案例 1C6D0DE2

    這個髮片怎麼使用?

    已完成
    第 1 次嘗試 · 已完成 13064ms

    載入詳情中…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=7
F1 18.2% · 相關率 13.3% · 精確 10.0%
7 / 9 適用 · 1 提示
不亂編造 平均
faithfulness
88.9%
[66.7% – 100.0%] · n=9
9 / 9 適用
答得到位 平均
answer_quality
90.0%
[75.2% – 100.0%] · n=9
9 / 9 適用
  • 案例 9C3FF85B

    行動電源提供哪些充電線?

    pending

    等候 orchestrator 處理此案例…

  • 案例 BBB1C2FD

    請問我可以取消 FunNow 的訂單嗎?

    已完成
    第 1 次嘗試 · 已完成 14162ms

    載入詳情中…

  • 案例 FCAC7490

    請問什麼情況會轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 15212ms

    載入詳情中…

  • 案例 DC056A3E

    行動電源可以同時充兩個裝置嗎?

    已完成
    第 1 次嘗試 · 已完成 10664ms

    載入詳情中…

  • 案例 91F79D9F

    行動電源的容量是多少?

    已完成
    第 1 次嘗試 · 已完成 10704ms

    載入詳情中…

  • 案例 5D56C461

    聯繫客服需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 17523ms

    載入詳情中…

  • 案例 59BF1C99

    租借行動電源前要怎麼付款?

    已完成
    第 1 次嘗試 · 已完成 18592ms

    載入詳情中…

  • 案例 30E2B249

    不同的登入方式會產生不同的CHARGESPOT帳號嗎

    已完成
    第 1 次嘗試 · 已完成 12959ms

    載入詳情中…

  • 案例 AB7AE054

    請問CHARGESPOT第一日的費用上限是多少?

    已完成
    第 1 次嘗試 · 已完成 12879ms

    載入詳情中…

  • 案例 0CF2C651

    支付失敗的訂單需要怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 15348ms

    載入詳情中…