執行 #99
CamelBak客服小幫手 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:28
- 耗時
- 722.5s
Cost & Tokens
$0.4341
Total Bot Cost · USD
37.4%
Prompt Cache Hit
- cost per case
- $0.0145
- cost per 1k tokens
- $0.0016
- input tokens
- 268,156
- output tokens
- 6,041
- cached tokens — prompt-cache hit
- 100,352
- Total Tokens
- 274,197
- cost per correct
- $0.0017
- pass rate
- 83.3%
- 25 / 30
- judge cost
- $0.0424
設定快照（reproducibility）
Bot 設定快照
-
b62dd850-b154-46e2-814a-681c28c9d5ba
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
1
3121 ms
$0.4341
274,197
$0.0424
302,029
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
70.0%
[40.0% – 100.0%] · n=10
F1 23.3% · 相關率 22.0% · 精確 24.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
93.3%
[83.7% – 99.0%] · n=10
10 / 10 適用
-
案例 D25B2C07
水壺蓋矽膠墊圈怎麼避免發霉?
第 1 次嘗試 · 已完成 18969ms載入詳情中…
-
案例 A47449D3
FUSION™ 10L 儲水袋可以折疊嗎?
第 1 次嘗試 · 已完成 13808ms載入詳情中…
-
案例 C6EF9A2E
現在可以超商取貨嗎？
第 1 次嘗試 · 已完成 12995ms載入詳情中…
-
案例 52E593FA
1000ml Flip Straw不鏽鋼保溫瓶可以怎麼飲水?
第 1 次嘗試 · 已完成 22118ms載入詳情中…
-
案例 4536E501
Chug保溫瓶(保冰)系列的水壺可以吸管式使用嗎?
第 1 次嘗試 · 已完成 18082ms載入詳情中…
-
案例 FDE5A510
這款保溫瓶是什麼材質?
第 1 次嘗試 · 已完成 15631ms載入詳情中…
-
案例 4001E6B4
訂單金額不足$1,000元要怎麼算運費?
第 1 次嘗試 · 已完成 13762ms載入詳情中…
-
案例 76789DE2
750ml Chug 不鏽鋼彈蓋運動保溫瓶有含 BPA 嗎?
第 1 次嘗試 · 已完成 15654ms載入詳情中…
-
案例 2D2D1481
新買的水瓶咬嘴沒開口是不是瑕疵？
第 1 次嘗試 · 已完成 17161ms載入詳情中…
-
案例 B740BA4E
CamelBak 1000ml保溫瓶的保冰時間多久?
第 1 次嘗試 · 已完成 13910ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 73.3% · 召回 90.0% · 精確 65.0%
10 / 10 適用
用對工具
召回
tool_usage
50.0%
[20.0% – 80.0%] · n=10
F1 50.0% · 召回 50.0% · 精確 60.0%
10 / 10 適用
答得到位
平均
answer_quality
70.7%
[57.7% – 82.0%] · n=10
10 / 10 適用
-
案例 49D77442
請問要如何進行退換貨？
第 1 次嘗試 · 已完成 21943ms載入詳情中…
-
案例 3EB98BF6
H.A.W.G. 軍規水袋背包現在還有現貨嗎?
第 1 次嘗試 · 已完成 20581ms載入詳情中…
-
案例 401D2320
我要申請退換貨需要提供什麼資訊？
第 1 次嘗試 · 已完成 18127ms載入詳情中…
-
案例 CD503A96
你們的產品適合登山嗎?
第 1 次嘗試 · 已完成 20610ms載入詳情中…
-
案例 19B3B811
你們的退換貨政策是什麼呢?
第 1 次嘗試 · 已完成 18703ms載入詳情中…
-
案例 4750009F
請問你們的營業時間是什麼時候?
第 1 次嘗試 · 已完成 21951ms載入詳情中…
-
案例 084ECE32
包裹如果超過 45 公分怎麼退貨?
第 1 次嘗試 · 已完成 20458ms載入詳情中…
-
案例 9106D354
我想查我的包裹，請問需要提供什麼資訊？
第 1 次嘗試 · 已完成 6784ms載入詳情中…
-
案例 17A19955
你們的水瓶是100%不含BPA的安全材質嗎
第 1 次嘗試 · 已完成 23086ms載入詳情中…
-
案例 EE9A4AA9
Camelbak 的水瓶適合去登山、健行或騎車嗎?
第 1 次嘗試 · 已完成 18480ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
37.5%
[0.0% – 75.0%] · n=8
F1 12.5% · 相關率 42.5% · 精確 7.5%
8 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
91.0%
[83.0% – 97.3%] · n=10
10 / 10 適用
-
案例 5BE1B759
CRUX水袋適用於什麼固定系統?
第 1 次嘗試 · 已完成 15518ms載入詳情中…
-
案例 83BE90D7
超出你能力範圍的問題可以轉接嗎
第 1 次嘗試 · 已完成 13610ms載入詳情中…
-
案例 20F635FF
Camelbak 的水壺大嗎
第 1 次嘗試 · 已完成 18558ms載入詳情中…
-
案例 EC1CD4D2
這款水瓶可以保冰多久？
第 1 次嘗試 · 已完成 15831ms載入詳情中…
-
案例 9B81BB36
600ml Thrive Tumbler 會冒汗嗎?
第 1 次嘗試 · 已完成 14766ms載入詳情中…
-
案例 6CC59D68
620ml Podium噴射水瓶有經過什麼處理?
第 1 次嘗試 · 已完成 17515ms載入詳情中…
-
案例 F6A89302
那個防漏保溫杯的蓋子有完全防漏設計嗎?
第 1 次嘗試 · 已完成 21886ms載入詳情中…
-
案例 7D29ADA0
這款保溫杯的材料是什麼？
第 1 次嘗試 · 已完成 21639ms載入詳情中…
-
案例 56F5C6A0
1000ml Chug 不鏽鋼彈蓋運動保溫瓶有哪些環境荷爾蒙嗎?
第 1 次嘗試 · 已完成 16160ms載入詳情中…
-
案例 73FC6328
400ml吸管水瓶有防漏設計嗎
第 1 次嘗試 · 已完成 16209ms載入詳情中…