執行 #218
Simmpo AI 客服 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:24
- 耗時
- 361.0s
Cost & Tokens
$0.1496
Total Bot Cost · USD
75.1%
Prompt Cache Hit
- cost per case
- $0.0050
- cost per 1k tokens
- $0.0011
- input tokens
- 138,012
- output tokens
- 3,640
- cached tokens — prompt-cache hit
- 103,680
- Total Tokens
- 141,652
- cost per correct
- $0.0013
- pass rate
- 73.3%
- 22 / 30
- judge cost
- $0.0286
設定快照（reproducibility）
Bot 設定快照
-
1f76f4a5-242b-46b2-9764-f01ad02d77b3
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
2
7826 ms
$0.1496
141,652
$0.0286
215,746
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 44.0% · 精確 20.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.0%
[96.3% – 99.7%] · n=10
10 / 10 適用
-
案例 5DF9F20F
收到的商品跟下單內容不一樣怎麼辦
第 1 次嘗試 · 已完成 24516ms載入詳情中…
-
案例 E1E9A64A
退貨需要提供什麼原因啊
第 1 次嘗試 · 已完成 29941ms載入詳情中…
-
案例 DAA344B6
保護貼的操作教學在哪裡看?
第 1 次嘗試 · 已完成 19822ms載入詳情中…
-
案例 74E7D18E
Lens Ultra 2.0的莫氏硬度是多少?
第 1 次嘗試 · 已完成 14382ms載入詳情中…
-
案例 AB3946ED
無法使用Facebook登入，可以改以什麼登入？
第 1 次嘗試 · 已完成 26977ms載入詳情中…
-
案例 E04B2673
iPhone 保護貼有什麼款式?
第 1 次嘗試 · 已完成 28806ms載入詳情中…
-
案例 AE7C6680
17 Air S-90透明和17 Pro S-90透明預購要等多久出貨?
第 1 次嘗試 · 已完成 18194ms載入詳情中…
-
案例 B6497825
L-90鏡頭貼有挖孔嗎？
第 1 次嘗試 · 已完成 22077ms載入詳情中…
-
案例 6D5907E8
有賣手機的保護殼嗎
第 1 次嘗試 · 已完成 15974ms載入詳情中…
-
案例 320C83C3
如果忘記登入帳號，要怎麼做？
第 1 次嘗試 · 已完成 29863ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
40.0%
[10.0% – 70.0%] · n=10
F1 36.7% · 召回 40.0% · 精確 35.0%
10 / 10 適用
用對工具
召回
tool_usage
42.9%
[14.3% – 71.4%] · n=7
F1 42.9% · 召回 42.9% · 精確 57.1%
7 / 10 適用
答得到位
平均
answer_quality
54.3%
[34.0% – 72.7%] · n=10
10 / 10 適用
-
案例 09C633C1
如何使用手機保護貼?
第 1 次嘗試 · 已完成 25749ms載入詳情中…
-
案例 4371C1D7
有沒有其他品牌的手機保護貼?
第 1 次嘗試 · 已完成 13737ms載入詳情中…
-
案例 E54D9D8A
如果使用Apple Pay 退款，通常需要多久才能收到款項？
第 1 次嘗試 · 已完成 27799ms載入詳情中…
-
案例 F777EBBA
如果我有多個相關訂單，系統會怎麼處理這些資訊？
第 1 次嘗試 · 已完成 20342ms載入詳情中…
-
案例 8E41F1A3
商品退換貨的鑑賞期是多久啊?
第 1 次嘗試 · 已完成 21660ms載入詳情中…
-
案例 5CDE7C23
我想查詢我的訂單，系統查不到相關訂單怎麼辦?
第 1 次嘗試 · 已完成 18950ms載入詳情中…
-
案例 556F0E2D
請問查詢我的訂單需要提供哪些個人資訊呢？
第 1 次嘗試 · 已完成 28951ms載入詳情中…
-
案例 CCF96BEC
服務時間是什麼時候?
第 1 次嘗試 · 已完成 19529ms載入詳情中…
-
案例 7B30A7CE
退貨的時候如果原訂單不符免運資格，運費會怎麼處理？
第 1 次嘗試 · 已完成 19625ms載入詳情中…
-
案例 B1244F47
為什麼目前沒有提供Samsung或Google的手機保護貼?
第 1 次嘗試 · 已完成 22453ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
75.0%
[37.5% – 100.0%] · n=8
F1 25.0% · 相關率 57.5% · 精確 15.0%
8 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
87.7%
[73.3% – 98.3%] · n=10
10 / 10 適用
-
案例 3033ACB6
iPhone 玻璃保護貼有黑邊嗎?
第 1 次嘗試 · 已完成 29654ms載入詳情中…
-
案例 2139C026
怎麼搜尋我的訂單詳細資訊
第 1 次嘗試 · 已完成 22135ms載入詳情中…
-
案例 03AA58F7
退貨時，我要提供什麼退款帳號資訊?
第 1 次嘗試 · 已完成 30671ms載入詳情中…
-
案例 9A5C7531
類紙膜的抗摔保護能力怎麼樣？
第 1 次嘗試 · 已完成 25074ms載入詳情中…
-
案例 B3FB2DD5
晶透螢幕清潔噴霧保存期限是多久
第 1 次嘗試 · 已完成 16976ms載入詳情中…
-
案例 4136D86D
S-90耐衝擊保護貼在哪裡買得到?
第 1 次嘗試 · 已完成 21870ms載入詳情中…
-
案例 4F7FAB28
訂單取消後，購物金大約多久恢復?
第 1 次嘗試 · 已完成 14381ms載入詳情中…
-
案例 3B6291DA
運送政策說明頁面是哪裡可以看?
第 1 次嘗試 · 已完成 22098ms載入詳情中…
-
案例 A0F62142
如果我訂單中有預購商品，出貨要等多久？
第 1 次嘗試 · 已完成 15150ms載入詳情中…
-
案例 0FC53AD3
目前有沒有無黑邊的保護貼?
第 1 次嘗試 · 已完成 20511ms載入詳情中…