執行 #213
Sea to Summit客服小幫手 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:21
- 耗時
- 483.5s
Cost & Tokens
$0.4520
Total Bot Cost · USD
37.1%
Prompt Cache Hit
- cost per case
- $0.0151
- cost per 1k tokens
- $0.0016
- input tokens
- 282,641
- output tokens
- 5,514
- cached tokens — prompt-cache hit
- 104,960
- Total Tokens
- 288,155
- cost per correct
- $0.0021
- pass rate
- 76.7%
- 23 / 30
- judge cost
- $0.0476
設定快照（reproducibility）
Bot 設定快照
-
6a944a8b-0b63-4a1a-ac8c-1a81524df8ec
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
7
3353 ms
$0.4520
288,155
$0.0476
338,849
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 29.0% · 精確 20.0%
10 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
90.0%
[70.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
97.7%
[93.7% – 100.0%] · n=10
10 / 10 適用
-
案例 73D5B245
什麼情況下無法退貨啊？
第 1 次嘗試 · 已完成 15342ms載入詳情中…
-
案例 98C54406
這個限量版-70D 輕量防水袋有通過什麼認證?
第 1 次嘗試 · 已完成 17528ms載入詳情中…
-
案例 070FF7B6
在使用X-series矽膠鍋時，有什麼需要注意的事項嗎？
第 1 次嘗試 · 已完成 25811ms載入詳情中…
-
案例 9CAF8A20
Telos 2 羽量2人雙門星空帳最小重量是多少?
第 1 次嘗試 · 已完成 11912ms載入詳情中…
-
案例 76D80294
電磁爐可以加熱鋁製餐具嗎？
第 1 次嘗試 · 已完成 12678ms載入詳情中…
-
案例 14F74983
30D 輕量日用背包的開口處用什麼拉鍊?
第 1 次嘗試 · 已完成 12745ms載入詳情中…
-
案例 D9636F0D
用鍋具時，火焰可以燒到側邊矽膠嗎
第 1 次嘗試 · 已完成 19426ms載入詳情中…
-
案例 1F9B3AEC
Alpine eVent綁腿的扣環材質是什麼？
第 1 次嘗試 · 已完成 13690ms載入詳情中…
-
案例 31048CA7
羽絨睡袋要用什麼洗劑洗?
第 1 次嘗試 · 已完成 23152ms載入詳情中…
-
案例 B51691A0
摺疊大湯匙的尺寸是多少?
第 1 次嘗試 · 已完成 17970ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 76.7% · 召回 80.0% · 精確 75.0%
10 / 10 適用
用對工具
召回
tool_usage
70.0%
[40.0% – 90.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 80.0%
10 / 10 適用
答得到位
平均
answer_quality
48.0%
[30.3% – 68.0%] · n=10
10 / 10 適用
-
案例 BED063E0
我想找適合冬天露營的睡袋，價格大概多少?
第 1 次嘗試 · 已完成 22544ms載入詳情中…
-
案例 5CC8F9B4
請問查詢我的訂單需要提供什麼資訊呢？
第 1 次嘗試 · 已完成 10984ms載入詳情中…
-
案例 CBF786A0
我的包裹進度查詢，訂單編號是 12345678901234567
第 1 次嘗試 · 已完成 9671ms載入詳情中…
-
案例 5E23149F
請問訂單編號要多少碼呢？
第 1 次嘗試 · 已完成 12328ms載入詳情中…
-
案例 E3F8FE16
我想找 R 值3以上的睡墊，哪款比較好？
第 1 次嘗試 · 已完成 21350ms載入詳情中…
-
案例 4135BE10
訂單編號多少碼才可以查詢?
第 1 次嘗試 · 已完成 28829ms載入詳情中…
-
案例 C4AD2775
輕厚系列睡墊的使用方法是什麼？
第 1 次嘗試 · 已完成 28931ms載入詳情中…
-
案例 58BD440E
想要 R 值 6.3 的輕厚睡墊
第 1 次嘗試 · 已完成 27256ms載入詳情中…
-
案例 29B55A9C
你們的粉絲團在哪裡可以找到?
第 1 次嘗試 · 已完成 12648ms載入詳情中…
-
案例 EF229B33
你們的營業時間是什麼時候?
第 1 次嘗試 · 已完成 15762ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 33.3% · 相關率 33.8% · 精確 20.0%
8 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
88.9%
[66.7% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
93.0%
[87.7% – 97.3%] · n=10
10 / 10 適用
-
案例 9C40A90F
請問使用營地廚房餐具系列時，有什麼注意事項？
第 1 次嘗試 · 已完成 23927ms載入詳情中…
-
案例 F221A389
Reactor 增溫睡袋內套 8℃ 標準版重量多少?
第 1 次嘗試 · 已完成 18265ms載入詳情中…
-
案例 1677FC1E
如果我想轉接到人類客服，應該怎麼做呢？
第 1 次嘗試 · 已完成 10624ms載入詳情中…
-
案例 344517BE
如何查詢我的包裹進度?
第 1 次嘗試 · 已完成 9558ms載入詳情中…
-
案例 98683C24
Sigma 折疊鍋具組的鍋具表層是什麼材質?
第 1 次嘗試 · 已完成 14991ms載入詳情中…
-
案例 F946A359
請問多用途裝備袋的底部是用什麼布料製作的？
第 1 次嘗試 · 已完成 16104ms載入詳情中…
-
案例 31F0CB4E
輕量防水日用背包容量多少?
第 1 次嘗試 · 已完成 14041ms載入詳情中…
-
案例 18654FD3
Camp 自動充氣睡墊有哪兩種展開尺寸?
第 1 次嘗試 · 已完成 18543ms載入詳情中…
-
案例 9270DB24
輕厚系列睡墊-極限版-女使用什麼保暖材料?
第 1 次嘗試 · 已完成 15032ms載入詳情中…
-
案例 BBF347E6
請問鍋具清潔組的刷子是哪種材質的？
第 1 次嘗試 · 已完成 18314ms載入詳情中…