執行 #57
AI醬 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:07
- 耗時
- 563.6s
Cost & Tokens
$0.2191
Total Bot Cost · USD
78.8%
Prompt Cache Hit
- cost per case
- $0.0073
- cost per 1k tokens
- $0.0010
- input tokens
- 219,333
- output tokens
- 4,958
- cached tokens — prompt-cache hit
- 172,800
- Total Tokens
- 224,291
- cost per correct
- $0.0012
- pass rate
- 83.3%
- 25 / 30
- judge cost
- $0.0297
設定快照（reproducibility）
Bot 設定快照
-
09995a74-7340-4ef2-802d-eb80b0d2ed21
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
7
3818 ms
$0.2191
224,291
$0.0297
225,732
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 21.0% · 精確 20.0%
10 / 10 適用
·
3 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.7%
[96.7% – 100.0%] · n=10
10 / 10 適用
-
案例 32DB4B70
可以寄送離島嗎？
第 1 次嘗試 · 已完成 12276ms載入詳情中…
-
案例 DFFA423F
P.P.P 舌舔龜頭套的顏色是什麼？
第 1 次嘗試 · 已完成 19339ms載入詳情中…
-
案例 01183B56
真人客服幾點到幾點服務?
第 1 次嘗試 · 已完成 14319ms載入詳情中…
-
案例 B396F79A
色女僕的煽情懲罰重量多少?
第 1 次嘗試 · 已完成 18310ms載入詳情中…
-
案例 E1216EFF
請問現在有什麼配送方式可以選擇？
第 1 次嘗試 · 已完成 11234ms載入詳情中…
-
案例 807BDE28
成為會員後的福利是什麼？
第 1 次嘗試 · 已完成 15112ms載入詳情中…
-
案例 77332487
滑潤凝露的質感是怎麼樣的？
第 1 次嘗試 · 已完成 22455ms載入詳情中…
-
案例 205384A6
飛機杯的保養粉和爽身粉的概念是一樣的嗎？
第 1 次嘗試 · 已完成 14728ms載入詳情中…
-
案例 38E12F44
鈴原露露這部漫畫的分級是什麼?
第 1 次嘗試 · 已完成 19991ms載入詳情中…
-
案例 231BD8B9
請問如果使用購物金後想改訂單，應該怎麼做？
第 1 次嘗試 · 已完成 20453ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
70.0%
[40.0% – 90.0%] · n=10
F1 66.7% · 召回 70.0% · 精確 65.0%
10 / 10 適用
用對工具
召回
tool_usage
20.0%
[0.0% – 40.0%] · n=10
F1 20.0% · 召回 20.0% · 精確 70.0%
10 / 10 適用
答得到位
平均
answer_quality
71.7%
[54.3% – 86.3%] · n=10
10 / 10 適用
-
案例 5ACA0ABB
紫色有現貨嗎?
第 1 次嘗試 · 已完成 19042ms載入詳情中…
-
案例 FB2FC82C
訂單要取消，訂單編號是什麼?
第 1 次嘗試 · 已完成 8662ms載入詳情中…
-
案例 8B6CCEB4
如果我收到有瑕疵的商品，訂購電話需要什麼格式?
第 1 次嘗試 · 已完成 12355ms載入詳情中…
-
案例 058C378A
我想取消訂單，請問需要提供什麼資訊呢？
第 1 次嘗試 · 已完成 9233ms載入詳情中…
-
案例 0A15A516
請問想要退貨的流程是怎樣的呀？
第 1 次嘗試 · 已完成 18550ms載入詳情中…
-
案例 308BEE6B
為什麼退貨需要提供訂單編號或收件人手機？
第 1 次嘗試 · 已完成 18949ms載入詳情中…
-
案例 FDD8FEF5
我想知道紫色的庫存還有幾個？
第 1 次嘗試 · 已完成 14039ms載入詳情中…
-
案例 FD70F904
請問我收到的商品有瑕疵，想要換貨，該怎麼做呢？
第 1 次嘗試 · 已完成 10555ms載入詳情中…
-
案例 FACF6D59
退貨怎麼辦？
第 1 次嘗試 · 已完成 14088ms載入詳情中…
-
案例 9548CFA1
請問有關平台規則的問題可以查詢嗎？
第 1 次嘗試 · 已完成 30527ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
87.5%
[62.5% – 100.0%] · n=8
F1 29.2% · 相關率 27.5% · 精確 17.5%
8 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
90.0%
[70.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
88.3%
[79.7% – 95.7%] · n=10
10 / 10 適用
-
案例 567D2230
已付款訂單要填什麼姓名？
第 1 次嘗試 · 已完成 12613ms載入詳情中…
-
案例 781F3F8A
HATOPLA普妮安娜電動飛機杯REAL有什麼模式？
第 1 次嘗試 · 已完成 19589ms載入詳情中…
-
案例 F43EFFD4
請問我可以用什麼資訊來搜尋訂單詳情？
第 1 次嘗試 · 已完成 20850ms載入詳情中…
-
案例 03E7A7A4
請問什麼情況下可以轉接真人客服？
第 1 次嘗試 · 已完成 19609ms載入詳情中…
-
案例 DD5514CD
滑潤凝露是什麼類型的潤滑液?
第 1 次嘗試 · 已完成 17869ms載入詳情中…
-
案例 A8A932F5
高領鏤空露胸連身毛衣裙觸感怎麼樣?
第 1 次嘗試 · 已完成 13901ms載入詳情中…
-
案例 D69426B5
清洗瑪麗娜蜜穴時要用什麼清潔劑?
第 1 次嘗試 · 已完成 37906ms載入詳情中…
-
案例 7766856A
使用男用遲延噴劑時要注意什麼？
第 1 次嘗試 · 已完成 24603ms載入詳情中…
-
案例 6F558A94
P.P.P 假陽具的重量是多少？
第 1 次嘗試 · 已完成 28375ms載入詳情中…
-
案例 E3B4D176
這款飛機杯的凸點設計有什麼特別之處?
第 1 次嘗試 · 已完成 26248ms載入詳情中…