執行 #214
Sea to Summit客服小幫手 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:21
- 耗時
- 447.7s
Cost & Tokens
$0.3243
Total Bot Cost · USD
68.0%
Prompt Cache Hit
- cost per case
- $0.0108
- cost per 1k tokens
- $0.0011
- input tokens
- 283,745
- output tokens
- 5,788
- cached tokens — prompt-cache hit
- 193,024
- Total Tokens
- 289,533
- cost per correct
- $0.0021
- pass rate
- 73.3%
- 22 / 30
- judge cost
- $0.0462
設定快照（reproducibility）
Bot 設定快照
-
6a944a8b-0b63-4a1a-ac8c-1a81524df8ec
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
7
17071 ms
$0.3243
289,533
$0.0462
336,893
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 22.0% · 精確 20.0%
10 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
96.3%
[92.3% – 100.0%] · n=10
10 / 10 適用
-
案例 73D5B245
什麼情況下無法退貨啊？
第 1 次嘗試 · 已完成 42789ms載入詳情中…
-
案例 98C54406
這個限量版-70D 輕量防水袋有通過什麼認證?
第 1 次嘗試 · 已完成 20757ms載入詳情中…
-
案例 070FF7B6
在使用X-series矽膠鍋時，有什麼需要注意的事項嗎？
第 1 次嘗試 · 已完成 44658ms載入詳情中…
-
案例 9CAF8A20
Telos 2 羽量2人雙門星空帳最小重量是多少?
第 1 次嘗試 · 已完成 30730ms載入詳情中…
-
案例 76D80294
電磁爐可以加熱鋁製餐具嗎？
第 1 次嘗試 · 已完成 29399ms載入詳情中…
-
案例 14F74983
30D 輕量日用背包的開口處用什麼拉鍊?
第 1 次嘗試 · 已完成 30885ms載入詳情中…
-
案例 D9636F0D
用鍋具時，火焰可以燒到側邊矽膠嗎
第 1 次嘗試 · 已完成 31813ms載入詳情中…
-
案例 1F9B3AEC
Alpine eVent綁腿的扣環材質是什麼？
第 1 次嘗試 · 已完成 22141ms載入詳情中…
-
案例 31048CA7
羽絨睡袋要用什麼洗劑洗?
第 1 次嘗試 · 已完成 37773ms載入詳情中…
-
案例 B51691A0
摺疊大湯匙的尺寸是多少?
第 1 次嘗試 · 已完成 20771ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 76.7% · 召回 80.0% · 精確 75.0%
10 / 10 適用
用對工具
召回
tool_usage
70.0%
[40.0% – 100.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 80.0%
10 / 10 適用
答得到位
平均
answer_quality
46.7%
[33.7% – 61.7%] · n=10
10 / 10 適用
-
案例 BED063E0
我想找適合冬天露營的睡袋，價格大概多少?
第 1 次嘗試 · 已完成 49822ms載入詳情中…
-
案例 5CC8F9B4
請問查詢我的訂單需要提供什麼資訊呢？
第 1 次嘗試 · 已完成 16910ms載入詳情中…
-
案例 CBF786A0
我的包裹進度查詢，訂單編號是 12345678901234567
第 1 次嘗試 · 已完成 26624ms載入詳情中…
-
案例 5E23149F
請問訂單編號要多少碼呢？
第 1 次嘗試 · 已完成 19058ms載入詳情中…
-
案例 E3F8FE16
我想找 R 值3以上的睡墊，哪款比較好？
第 1 次嘗試 · 已完成 37291ms載入詳情中…
-
案例 4135BE10
訂單編號多少碼才可以查詢?
第 1 次嘗試 · 已完成 31666ms載入詳情中…
-
案例 C4AD2775
輕厚系列睡墊的使用方法是什麼？
第 1 次嘗試 · 已完成 49946ms載入詳情中…
-
案例 58BD440E
想要 R 值 6.3 的輕厚睡墊
第 1 次嘗試 · 已完成 52676ms載入詳情中…
-
案例 29B55A9C
你們的粉絲團在哪裡可以找到?
第 1 次嘗試 · 已完成 26278ms載入詳情中…
-
案例 EF229B33
你們的營業時間是什麼時候?
第 1 次嘗試 · 已完成 27348ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 33.3% · 相關率 35.0% · 精確 20.0%
8 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
88.9%
[66.7% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
92.7%
[88.0% – 97.0%] · n=10
10 / 10 適用
-
案例 9C40A90F
請問使用營地廚房餐具系列時，有什麼注意事項？
第 1 次嘗試 · 已完成 47511ms載入詳情中…
-
案例 F221A389
Reactor 增溫睡袋內套 8℃ 標準版重量多少?
第 1 次嘗試 · 已完成 60054ms載入詳情中…
-
案例 1677FC1E
如果我想轉接到人類客服，應該怎麼做呢？
第 1 次嘗試 · 已完成 24838ms載入詳情中…
-
案例 344517BE
如何查詢我的包裹進度?
第 1 次嘗試 · 已完成 23779ms載入詳情中…
-
案例 98683C24
Sigma 折疊鍋具組的鍋具表層是什麼材質?
第 1 次嘗試 · 已完成 28397ms載入詳情中…
-
案例 F946A359
請問多用途裝備袋的底部是用什麼布料製作的？
第 1 次嘗試 · 已完成 32442ms載入詳情中…
-
案例 31F0CB4E
輕量防水日用背包容量多少?
第 1 次嘗試 · 已完成 45025ms載入詳情中…
-
案例 18654FD3
Camp 自動充氣睡墊有哪兩種展開尺寸?
第 1 次嘗試 · 已完成 27666ms載入詳情中…
-
案例 9270DB24
輕厚系列睡墊-極限版-女使用什麼保暖材料?
第 1 次嘗試 · 已完成 27204ms載入詳情中…
-
案例 BBF347E6
請問鍋具清潔組的刷子是哪種材質的？
第 1 次嘗試 · 已完成 26776ms載入詳情中…