執行 #60
ALTRA客服小幫手 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:08
- 耗時
- 597.7s
Cost & Tokens
$0.2395
Total Bot Cost · USD
77.3%
Prompt Cache Hit
- cost per case
- $0.0080
- cost per 1k tokens
- $0.0010
- input tokens
- 234,756
- output tokens
- 5,280
- cached tokens — prompt-cache hit
- 181,504
- Total Tokens
- 240,036
- cost per correct
- $0.0015
- pass rate
- 80.0%
- 24 / 30
- judge cost
- $0.0362
設定快照（reproducibility）
Bot 設定快照
-
4f699cec-f567-41fe-97c5-869a8248aec0
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
9
11329 ms
$0.2395
240,036
$0.0362
270,640
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 31.0% · 精確 18.0%
10 / 10 適用
·
5 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
-
案例 6C98625E
經銷商購買的產品可以送修嗎
第 1 次嘗試 · 已完成 36390ms載入詳情中…
-
案例 045DC41B
LONE PEAK 9+ 男鞋重多少?
第 1 次嘗試 · 已完成 25468ms載入詳情中…
-
案例 90FF944A
請問哪裡可以試穿實體店面?
第 1 次嘗試 · 已完成 29484ms載入詳情中…
-
案例 52B168B9
OLYMPUS 6 是專為什麼設計的鞋款？
第 1 次嘗試 · 已完成 30385ms載入詳情中…
-
案例 2AEF4676
你們只送到台灣本地嗎？
第 1 次嘗試 · 已完成 23453ms載入詳情中…
-
案例 4CB2FC29
OLYMPUS 275 的鞋楦版型是什麼呢?
第 1 次嘗試 · 已完成 33340ms載入詳情中…
-
案例 9EF1BBFE
七天猶豫期包含例假日嗎
第 1 次嘗試 · 已完成 54657ms載入詳情中…
-
案例 E47EDFCC
OLYMPUS 6 奧林帕斯 中筒防水戶外鞋有什麼技術嗎？
第 1 次嘗試 · 已完成 55148ms載入詳情中…
-
案例 A9284759
網路商店購買的商品可以在實體店鋪退換貨嗎?
第 1 次嘗試 · 已完成 32213ms載入詳情中…
-
案例 DD039253
女款 LONE PEAK 9+ 的中底設計有多厚?
第 1 次嘗試 · 已完成 46347ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 83.3% · 召回 100.0% · 精確 75.0%
10 / 10 適用
用對工具
召回
tool_usage
60.0%
[30.0% – 90.0%] · n=10
F1 60.0% · 召回 60.0% · 精確 100.0%
10 / 10 適用
答得到位
平均
answer_quality
63.7%
[42.7% – 83.7%] · n=10
10 / 10 適用
-
案例 78DCA20F
我想找適合越野跑的鞋，怎麼推薦?
第 1 次嘗試 · 已完成 57537ms載入詳情中…
-
案例 1652B157
請問包裹長度在 45 公分以內的退換貨，能否使用全家退貨便寄送呢？
第 1 次嘗試 · 已完成 30626ms載入詳情中…
-
案例 13257767
那雙褐色的舒適越野鞋還有貨嗎?
第 1 次嘗試 · 已完成 45406ms載入詳情中…
-
案例 288FFF2F
商品編號 ALT0A85Q7-923 還有嗎
第 1 次嘗試 · 已完成 43631ms載入詳情中…
-
案例 FB7A601F
請問我的包裹狀態如何查詢呢？
第 1 次嘗試 · 已完成 23802ms載入詳情中…
-
案例 5A53646C
請問我適合什麼樣的越野鞋，想要有 Zero Drop 和寬楦的功能?
第 1 次嘗試 · 已完成 50778ms載入詳情中…
-
案例 F4CC7EB2
我想查詢 SUPERIOR 7 男款舒適越野鞋的庫存，這個型號有貨嗎？
第 1 次嘗試 · 已完成 44453ms載入詳情中…
-
案例 D05878AC
請問 ALTRA 產品的價格大概是多少？
第 1 次嘗試 · 已完成 41954ms載入詳情中…
-
案例 E3564F00
我想查詢我的訂單進度，請問需要提供哪些資訊？
第 1 次嘗試 · 已完成 27409ms載入詳情中…
-
案例 D7B4AEC0
請問我該怎麼查詢我的訂單狀態？
第 1 次嘗試 · 已完成 19406ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
87.5%
[62.5% – 100.0%] · n=8
F1 29.2% · 相關率 41.3% · 精確 17.5%
8 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
85.0%
[60.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
86.3%
[71.0% – 98.3%] · n=10
10 / 10 適用
-
案例 C01FCDED
請問遇到天災因素，送達時間會變動嗎？
第 1 次嘗試 · 已完成 27183ms載入詳情中…
-
案例 22068728
LONE PEAK 9+ 孤峰鞋底是什麼材質？
第 1 次嘗試 · 已完成 40185ms載入詳情中…
-
案例 3CA7DE64
可以查看之前的對話紀錄嗎?
第 1 次嘗試 · 已完成 36746ms載入詳情中…
-
案例 17547DAC
請問產品的使用方法是什麼？
第 1 次嘗試 · 已完成 34886ms載入詳情中…
-
案例 131019A8
OLYMPUS 6 的鞋楦設計是什麼特點？
第 1 次嘗試 · 已完成 30301ms載入詳情中…
-
案例 146F972F
女款 ESCALANTE RACER 2 中底搭載什麼材料?
第 1 次嘗試 · 已完成 36218ms載入詳情中…
-
案例 A9074012
SUPERIOR 7 男款鞋子重多少?
第 1 次嘗試 · 已完成 39842ms載入詳情中…
-
案例 0B0C89D4
男款 TIMP 5 鞋子適合什麼活動?
第 1 次嘗試 · 已完成 32144ms載入詳情中…
-
案例 8450C942
女款 TORIN 8 採用什麼中底技術？
第 1 次嘗試 · 已完成 46877ms載入詳情中…
-
案例 F6EE8A84
請問孤峰經典越野鞋女款的重量是多少？
第 1 次嘗試 · 已完成 40733ms載入詳情中…