執行 #101
ChargeSPOT AI 小幫手 (bulk R1) → production-baseline
- 狀態
- 執行中
- 案例
- 28
- 開始時間
- 16 May 11:28
- 耗時
- —
Cost & Tokens
$0.2380
Total Bot Cost · USD
55.7%
Prompt Cache Hit
- cost per case
- $0.0085
- cost per 1k tokens
- $0.0014
- input tokens
- 171,490
- output tokens
- 4,784
- cached tokens — prompt-cache hit
- 95,488
- Total Tokens
- 176,274
- cost per correct
- $0.0018
- pass rate
- 71.4%
- 20 / 28
- judge cost
- $0.0355
設定快照（reproducibility）
Bot 設定快照
-
0d70b0c2-1938-434b-a396-22f87279dcc1
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
28 / 28
0
1
2844 ms
$0.2380
176,274
$0.0355
256,298
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 17.8% · 精確 10.0%
9 / 9 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
9 / 9 適用
答得到位
平均
answer_quality
97.8%
[95.2% – 99.6%] · n=9
9 / 9 適用
-
案例 30BD7512
行動電源支援使用哪些充電線?
第 1 次嘗試 · 已完成 12787ms載入詳情中…
-
案例 55407572
綁定第三方支付後需付多少預授權金?
第 1 次嘗試 · 已完成 14260ms載入詳情中…
-
案例 A886F7ED
歸還行動電源需要提供什麼資訊?
等候 orchestrator 處理此案例…
-
案例 A7021C40
請問行動電源每小時收費多少元？
第 1 次嘗試 · 已完成 14394ms載入詳情中…
-
案例 2C75D31A
請問為什麼歸還行動電源後，租借畫面還在計費?
第 1 次嘗試 · 已完成 18888ms載入詳情中…
-
案例 71568208
行動電源充電時，接口金屬處要怎麼處理？
第 1 次嘗試 · 已完成 15432ms載入詳情中…
-
案例 54DD7FBB
行動電源有防水功能嗎?
第 1 次嘗試 · 已完成 9807ms載入詳情中…
-
案例 576E1C78
行動電源歸還後怎麼扣款？
第 1 次嘗試 · 已完成 13117ms載入詳情中…
-
案例 B4294463
街口支付和悠遊付的預授權金是多少？
第 1 次嘗試 · 已完成 19465ms載入詳情中…
-
案例 5F92BC97
一次可以借兩顆行動電源嗎?
第 1 次嘗試 · 已完成 15533ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 76.7% · 召回 90.0% · 精確 70.0%
10 / 10 適用
用對工具
召回
tool_usage
83.3%
[50.0% – 100.0%] · n=6
F1 83.3% · 召回 83.3% · 精確 83.3%
6 / 10 適用
答得到位
平均
answer_quality
48.3%
[32.7% – 63.7%] · n=10
10 / 10 適用
-
案例 0F7565BD
這個產品多少錢啊？
第 1 次嘗試 · 已完成 12221ms載入詳情中…
-
案例 1BA20B02
請問如果使用街口支付收取800元預授權金後，掃描QRCode卻沒有彈出行動電源該怎麼辦？
第 1 次嘗試 · 已完成 32819ms載入詳情中…
-
案例 0C888CD2
如果我使用街口支付租借行動電源，付了800元預授權金後，要怎麼處理才不會彈出借電的行動電源呢？
第 1 次嘗試 · 已完成 17588ms載入詳情中…
-
案例 44CC1B79
我想查詢我的訂單狀態，請問該怎麼做呢？
第 1 次嘗試 · 已完成 14504ms載入詳情中…
-
案例 192871C0
查詢產品資訊要怎麼問?
第 1 次嘗試 · 已完成 14222ms載入詳情中…
-
案例 73B98092
我使用街口支付租借行動電源後，行動電源沒彈出，要怎麼處理？
第 1 次嘗試 · 已完成 18263ms載入詳情中…
-
案例 94CBFC84
行充未彈出怎麼辦？
第 1 次嘗試 · 已完成 19747ms載入詳情中…
-
案例 21F5DE3C
請問這款髮片的價格是多少？
第 1 次嘗試 · 已完成 22123ms載入詳情中…
-
案例 A06878D4
查詢產品怎麼做?
第 1 次嘗試 · 已完成 20619ms載入詳情中…
-
案例 1C6D0DE2
這個髮片怎麼使用？
第 1 次嘗試 · 已完成 13064ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=7
F1 18.2% · 相關率 13.3% · 精確 10.0%
7 / 9 適用
·
1 提示
不亂編造
平均
faithfulness
88.9%
[66.7% – 100.0%] · n=9
9 / 9 適用
答得到位
平均
answer_quality
90.0%
[75.2% – 100.0%] · n=9
9 / 9 適用
-
案例 9C3FF85B
行動電源提供哪些充電線?
等候 orchestrator 處理此案例…
-
案例 BBB1C2FD
請問我可以取消 FunNow 的訂單嗎？
第 1 次嘗試 · 已完成 14162ms載入詳情中…
-
案例 FCAC7490
請問什麼情況會轉接真人客服？
第 1 次嘗試 · 已完成 15212ms載入詳情中…
-
案例 DC056A3E
行動電源可以同時充兩個裝置嗎？
第 1 次嘗試 · 已完成 10664ms載入詳情中…
-
案例 91F79D9F
行動電源的容量是多少?
第 1 次嘗試 · 已完成 10704ms載入詳情中…
-
案例 5D56C461
聯繫客服需要提供什麼資訊?
第 1 次嘗試 · 已完成 17523ms載入詳情中…
-
案例 59BF1C99
租借行動電源前要怎麼付款?
第 1 次嘗試 · 已完成 18592ms載入詳情中…
-
案例 30E2B249
不同的登入方式會產生不同的CHARGESPOT帳號嗎
第 1 次嘗試 · 已完成 12959ms載入詳情中…
-
案例 AB7AE054
請問CHARGESPOT第一日的費用上限是多少？
第 1 次嘗試 · 已完成 12879ms載入詳情中…
-
案例 0CF2C651
支付失敗的訂單需要怎麼處理?
第 1 次嘗試 · 已完成 15348ms載入詳情中…