執行 #58
AI醬 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:07
- 耗時
- 761.1s
Cost & Tokens
$0.2845
Total Bot Cost · USD
56.0%
Prompt Cache Hit
- cost per case
- $0.0095
- cost per 1k tokens
- $0.0013
- input tokens
- 210,801
- output tokens
- 5,019
- cached tokens — prompt-cache hit
- 118,144
- Total Tokens
- 215,820
- cost per correct
- $0.0013
- pass rate
- 76.7%
- 23 / 30
- judge cost
- $0.0294
設定快照（reproducibility）
Bot 設定快照
-
09995a74-7340-4ef2-802d-eb80b0d2ed21
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
7
13441 ms
$0.2845
215,820
$0.0294
220,608
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 22.2% · 精確 28.0%
10 / 10 適用
·
2 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
86.7%
[66.0% – 98.7%] · n=10
10 / 10 適用
-
案例 32DB4B70
可以寄送離島嗎？
第 1 次嘗試 · 已完成 31600ms載入詳情中…
-
案例 DFFA423F
P.P.P 舌舔龜頭套的顏色是什麼？
第 1 次嘗試 · 已完成 40262ms載入詳情中…
-
案例 01183B56
真人客服幾點到幾點服務?
第 1 次嘗試 · 已完成 53392ms載入詳情中…
-
案例 B396F79A
色女僕的煽情懲罰重量多少?
第 1 次嘗試 · 已完成 39493ms載入詳情中…
-
案例 E1216EFF
請問現在有什麼配送方式可以選擇？
第 1 次嘗試 · 已完成 34382ms載入詳情中…
-
案例 807BDE28
成為會員後的福利是什麼？
第 1 次嘗試 · 已完成 37957ms載入詳情中…
-
案例 77332487
滑潤凝露的質感是怎麼樣的？
第 1 次嘗試 · 已完成 38018ms載入詳情中…
-
案例 205384A6
飛機杯的保養粉和爽身粉的概念是一樣的嗎？
第 1 次嘗試 · 已完成 33711ms載入詳情中…
-
案例 38E12F44
鈴原露露這部漫畫的分級是什麼?
第 1 次嘗試 · 已完成 5504ms載入詳情中…
-
案例 231BD8B9
請問如果使用購物金後想改訂單，應該怎麼做？
第 1 次嘗試 · 已完成 45608ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
70.0%
[40.0% – 100.0%] · n=10
F1 66.7% · 召回 70.0% · 精確 65.0%
10 / 10 適用
用對工具
召回
tool_usage
20.0%
[0.0% – 50.0%] · n=10
F1 20.0% · 召回 20.0% · 精確 70.0%
10 / 10 適用
答得到位
平均
answer_quality
74.0%
[61.3% – 86.0%] · n=10
10 / 10 適用
-
案例 5ACA0ABB
紫色有現貨嗎?
第 1 次嘗試 · 已完成 28597ms載入詳情中…
-
案例 FB2FC82C
訂單要取消，訂單編號是什麼?
第 1 次嘗試 · 已完成 8806ms載入詳情中…
-
案例 8B6CCEB4
如果我收到有瑕疵的商品，訂購電話需要什麼格式?
第 1 次嘗試 · 已完成 33089ms載入詳情中…
-
案例 058C378A
我想取消訂單，請問需要提供什麼資訊呢？
第 1 次嘗試 · 已完成 19314ms載入詳情中…
-
案例 0A15A516
請問想要退貨的流程是怎樣的呀？
第 1 次嘗試 · 已完成 30962ms載入詳情中…
-
案例 308BEE6B
為什麼退貨需要提供訂單編號或收件人手機？
第 1 次嘗試 · 已完成 34237ms載入詳情中…
-
案例 FDD8FEF5
我想知道紫色的庫存還有幾個？
第 1 次嘗試 · 已完成 29166ms載入詳情中…
-
案例 FD70F904
請問我收到的商品有瑕疵，想要換貨，該怎麼做呢？
第 1 次嘗試 · 已完成 23881ms載入詳情中…
-
案例 FACF6D59
退貨怎麼辦？
第 1 次嘗試 · 已完成 22110ms載入詳情中…
-
案例 9548CFA1
請問有關平台規則的問題可以查詢嗎？
第 1 次嘗試 · 已完成 48896ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
87.5%
[62.5% – 100.0%] · n=8
F1 29.2% · 相關率 33.8% · 精確 17.5%
8 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
87.0%
[76.7% – 96.0%] · n=10
10 / 10 適用
-
案例 567D2230
已付款訂單要填什麼姓名？
第 1 次嘗試 · 已完成 44902ms載入詳情中…
-
案例 781F3F8A
HATOPLA普妮安娜電動飛機杯REAL有什麼模式？
第 1 次嘗試 · 已完成 47906ms載入詳情中…
-
案例 F43EFFD4
請問我可以用什麼資訊來搜尋訂單詳情？
第 1 次嘗試 · 已完成 35987ms載入詳情中…
-
案例 03E7A7A4
請問什麼情況下可以轉接真人客服？
第 1 次嘗試 · 已完成 33848ms載入詳情中…
-
案例 DD5514CD
滑潤凝露是什麼類型的潤滑液?
第 1 次嘗試 · 已完成 33852ms載入詳情中…
-
案例 A8A932F5
高領鏤空露胸連身毛衣裙觸感怎麼樣?
第 1 次嘗試 · 已完成 31465ms載入詳情中…
-
案例 D69426B5
清洗瑪麗娜蜜穴時要用什麼清潔劑?
第 1 次嘗試 · 已完成 34529ms載入詳情中…
-
案例 7766856A
使用男用遲延噴劑時要注意什麼？
第 1 次嘗試 · 已完成 39726ms載入詳情中…
-
案例 6F558A94
P.P.P 假陽具的重量是多少？
第 1 次嘗試 · 已完成 46265ms載入詳情中…
-
案例 E3B4D176
這款飛機杯的凸點設計有什麼特別之處?
第 1 次嘗試 · 已完成 42868ms載入詳情中…