執行 #117
Fandora 朵拉小幫手 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:36
- 耗時
- 216.1s
Cost & Tokens
$0.2638
Total Bot Cost · USD
53.6%
Prompt Cache Hit
- cost per case
- $0.0088
- cost per 1k tokens
- $0.0014
- input tokens
- 189,585
- output tokens
- 4,634
- cached tokens — prompt-cache hit
- 101,632
- Total Tokens
- 194,219
- cost per correct
- $0.0012
- pass rate
- 86.7%
- 26 / 30
- judge cost
- $0.0306
設定快照（reproducibility）
Bot 設定快照
-
548039ab-7bee-4f15-95dd-cdaca4af1948
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
6
4168 ms
$0.2638
194,219
$0.0306
230,316
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
80.0%
[50.0% – 100.0%] · n=10
F1 26.7% · 相關率 30.0% · 精確 36.0%
10 / 10 適用
·
2 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
95.7%
[91.3% – 99.0%] · n=10
10 / 10 適用
-
案例 ED089E9D
那拍攝情境圖中的家具和盆栽有在販售嗎?
第 1 次嘗試 · 已完成 14934ms載入詳情中…
-
案例 D63F30D8
如果方形陶瓷杯墊-龍打樣_Janet01提前完工，會不會提早出貨？
第 1 次嘗試 · 已完成 22118ms載入詳情中…
-
案例 1946D24E
這個商品的產地在哪裡？
第 1 次嘗試 · 已完成 15958ms載入詳情中…
-
案例 E0B5DC0D
出貨通知要留意什麼?
第 1 次嘗試 · 已完成 26635ms載入詳情中…
-
案例 0B01BD9D
收到退款成功通知信後多久可以查詢退款狀態?
第 1 次嘗試 · 已完成 17057ms載入詳情中…
-
案例 FAEA3234
肝沒說出的話需要等多久?
第 1 次嘗試 · 已完成 18142ms載入詳情中…
-
案例 FE58E2A7
可以貨到付款嗎？
第 1 次嘗試 · 已完成 15746ms載入詳情中…
-
案例 285A1980
貓插畫26的製作需要等待多久?
第 1 次嘗試 · 已完成 15287ms載入詳情中…
-
案例 82B10207
請問現貨商品下單後多久出貨？
第 1 次嘗試 · 已完成 18757ms載入詳情中…
-
案例 C958D815
這個訂製商品什麼時候會出貨?
第 1 次嘗試 · 已完成 18499ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
70.0%
[40.0% – 100.0%] · n=10
F1 53.3% · 召回 70.0% · 精確 45.0%
10 / 10 適用
用對工具
召回
tool_usage
25.0%
[0.0% – 62.5%] · n=8
F1 25.0% · 召回 25.0% · 精確 75.0%
8 / 10 適用
答得到位
平均
answer_quality
76.0%
[65.7% – 85.7%] · n=10
10 / 10 適用
-
案例 803FAB00
我訂的東西等太久了，可以取消嗎？
第 1 次嘗試 · 已完成 9948ms載入詳情中…
-
案例 D3EB5CBA
訂單編號是什麼格式啊?
第 1 次嘗試 · 已完成 13937ms載入詳情中…
-
案例 730A0E30
我的訂單目前狀況怎麼樣？需要提供什麼資訊才能查詢？
第 1 次嘗試 · 已完成 11353ms載入詳情中…
-
案例 568567E7
這款髮片還有貨嗎?
第 1 次嘗試 · 已完成 11523ms載入詳情中…
-
案例 D63E7E8F
我的訂單編號是2022512，可以查詢訂單進度嗎
第 1 次嘗試 · 已完成 16673ms載入詳情中…
-
案例 A8F40E40
我想查詢我的訂單狀態和物流進度，該怎麼做？
第 1 次嘗試 · 已完成 13361ms載入詳情中…
-
案例 EFC0CFA9
請問我想改地址，應該怎麼做？
第 1 次嘗試 · 已完成 10442ms載入詳情中…
-
案例 242303A0
我等太久了，想取消訂單，請問需要提供什麼資料?
第 1 次嘗試 · 已完成 10964ms載入詳情中…
-
案例 64390D78
查我的訂單時需要提供什麼個人資訊？
第 1 次嘗試 · 已完成 21049ms載入詳情中…
-
案例 FEEA6526
我想知道髮片的使用期限是多久?
第 1 次嘗試 · 已完成 13904ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
77.8%
[44.4% – 100.0%] · n=9
F1 25.9% · 相關率 44.3% · 精確 37.8%
9 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
95.8%
[87.5% – 100.0%] · n=8
10 / 10 適用
答得到位
平均
answer_quality
95.3%
[87.3% – 100.0%] · n=10
10 / 10 適用
-
案例 23F510E1
頁面顯示缺貨，這樣能下單嗎？
第 1 次嘗試 · 已完成 15865ms載入詳情中…
-
案例 BA9D09EA
皮諾丘需要等多久出貨?
第 1 次嘗試 · 已完成 17571ms載入詳情中…
-
案例 33BFB180
問號的查詢會怎樣處理?
第 1 次嘗試 · 已完成 19510ms載入詳情中…
-
案例 347A01FA
廢物星駐地球大使提前完工會怎樣?
第 1 次嘗試 · 已完成 15089ms載入詳情中…
-
案例 1C90E2CC
貓插畫27的製作需要等多久?
第 1 次嘗試 · 已完成 23603ms載入詳情中…
-
案例 86629AC1
銀文鳥大頭是訂製商品嗎?
第 1 次嘗試 · 已完成 18188ms載入詳情中…
-
案例 DF0E9E00
囂搞大補帖出貨通知要注意什麼?
第 1 次嘗試 · 已完成 18611ms載入詳情中…
-
案例 656C63CE
國王企鵝出貨通知要怎麼留意啊？
第 1 次嘗試 · 已完成 18373ms載入詳情中…
-
案例 214DBB89
2B or not 2B 要等多久？
第 1 次嘗試 · 已完成 16853ms載入詳情中…
-
案例 E326F67F
大白兔的呆萌馴鹿大頭提前完工嗎
第 1 次嘗試 · 已完成 18082ms載入詳情中…