執行 #217
Simmpo AI 客服 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:23
- 耗時
- 397.1s
Cost & Tokens
$0.1269
Total Bot Cost · USD
86.4%
Prompt Cache Hit
- cost per case
- $0.0042
- cost per 1k tokens
- $0.0009
- input tokens
- 138,123
- output tokens
- 3,698
- cached tokens — prompt-cache hit
- 119,296
- Total Tokens
- 141,821
- cost per correct
- $0.0013
- pass rate
- 73.3%
- 22 / 30
- judge cost
- $0.0285
設定快照（reproducibility）
Bot 設定快照
-
1f76f4a5-242b-46b2-9764-f01ad02d77b3
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
2
3901 ms
$0.1269
141,821
$0.0285
216,115
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 48.0% · 精確 20.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.0%
[95.7% – 99.7%] · n=10
10 / 10 適用
-
案例 5DF9F20F
收到的商品跟下單內容不一樣怎麼辦
第 1 次嘗試 · 已完成 12453ms載入詳情中…
-
案例 E1E9A64A
退貨需要提供什麼原因啊
第 1 次嘗試 · 已完成 18173ms載入詳情中…
-
案例 DAA344B6
保護貼的操作教學在哪裡看?
第 1 次嘗試 · 已完成 27998ms載入詳情中…
-
案例 74E7D18E
Lens Ultra 2.0的莫氏硬度是多少?
第 1 次嘗試 · 已完成 16104ms載入詳情中…
-
案例 AB3946ED
無法使用Facebook登入，可以改以什麼登入？
第 1 次嘗試 · 已完成 9648ms載入詳情中…
-
案例 E04B2673
iPhone 保護貼有什麼款式?
第 1 次嘗試 · 已完成 17315ms載入詳情中…
-
案例 AE7C6680
17 Air S-90透明和17 Pro S-90透明預購要等多久出貨?
第 1 次嘗試 · 已完成 15582ms載入詳情中…
-
案例 B6497825
L-90鏡頭貼有挖孔嗎？
第 1 次嘗試 · 已完成 13709ms載入詳情中…
-
案例 6D5907E8
有賣手機的保護殼嗎
第 1 次嘗試 · 已完成 10599ms載入詳情中…
-
案例 320C83C3
如果忘記登入帳號，要怎麼做？
第 1 次嘗試 · 已完成 10247ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
40.0%
[10.0% – 70.0%] · n=10
F1 36.7% · 召回 40.0% · 精確 35.0%
10 / 10 適用
用對工具
召回
tool_usage
42.9%
[14.3% – 85.7%] · n=7
F1 42.9% · 召回 42.9% · 精確 57.1%
7 / 10 適用
答得到位
平均
answer_quality
55.7%
[36.0% – 75.7%] · n=10
10 / 10 適用
-
案例 09C633C1
如何使用手機保護貼?
第 1 次嘗試 · 已完成 15372ms載入詳情中…
-
案例 4371C1D7
有沒有其他品牌的手機保護貼?
第 1 次嘗試 · 已完成 5446ms載入詳情中…
-
案例 E54D9D8A
如果使用Apple Pay 退款，通常需要多久才能收到款項？
第 1 次嘗試 · 已完成 13745ms載入詳情中…
-
案例 F777EBBA
如果我有多個相關訂單，系統會怎麼處理這些資訊？
第 1 次嘗試 · 已完成 14039ms載入詳情中…
-
案例 8E41F1A3
商品退換貨的鑑賞期是多久啊?
第 1 次嘗試 · 已完成 29225ms載入詳情中…
-
案例 5CDE7C23
我想查詢我的訂單，系統查不到相關訂單怎麼辦?
第 1 次嘗試 · 已完成 17361ms載入詳情中…
-
案例 556F0E2D
請問查詢我的訂單需要提供哪些個人資訊呢？
第 1 次嘗試 · 已完成 13530ms載入詳情中…
-
案例 CCF96BEC
服務時間是什麼時候?
第 1 次嘗試 · 已完成 21618ms載入詳情中…
-
案例 7B30A7CE
退貨的時候如果原訂單不符免運資格，運費會怎麼處理？
第 1 次嘗試 · 已完成 11565ms載入詳情中…
-
案例 B1244F47
為什麼目前沒有提供Samsung或Google的手機保護貼?
第 1 次嘗試 · 已完成 10879ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
75.0%
[37.5% – 100.0%] · n=8
F1 25.0% · 相關率 57.5% · 精確 15.0%
8 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
86.7%
[72.7% – 98.7%] · n=10
10 / 10 適用
-
案例 3033ACB6
iPhone 玻璃保護貼有黑邊嗎?
第 1 次嘗試 · 已完成 17006ms載入詳情中…
-
案例 2139C026
怎麼搜尋我的訂單詳細資訊
第 1 次嘗試 · 已完成 11424ms載入詳情中…
-
案例 03AA58F7
退貨時，我要提供什麼退款帳號資訊?
第 1 次嘗試 · 已完成 15165ms載入詳情中…
-
案例 9A5C7531
類紙膜的抗摔保護能力怎麼樣？
第 1 次嘗試 · 已完成 16515ms載入詳情中…
-
案例 B3FB2DD5
晶透螢幕清潔噴霧保存期限是多久
第 1 次嘗試 · 已完成 13306ms載入詳情中…
-
案例 4136D86D
S-90耐衝擊保護貼在哪裡買得到?
第 1 次嘗試 · 已完成 14848ms載入詳情中…
-
案例 4F7FAB28
訂單取消後，購物金大約多久恢復?
第 1 次嘗試 · 已完成 9137ms載入詳情中…
-
案例 3B6291DA
運送政策說明頁面是哪裡可以看?
第 1 次嘗試 · 已完成 29390ms載入詳情中…
-
案例 A0F62142
如果我訂單中有預購商品，出貨要等多久？
第 1 次嘗試 · 已完成 12283ms載入詳情中…
-
案例 0FC53AD3
目前有沒有無黑邊的保護貼?
第 1 次嘗試 · 已完成 11513ms載入詳情中…