執行 #118
Fandora 朵拉小幫手 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:36
- 耗時
- 816.3s
Cost & Tokens
$0.2000
Total Bot Cost · USD
78.6%
Prompt Cache Hit
- cost per case
- $0.0067
- cost per 1k tokens
- $0.0010
- input tokens
- 194,366
- output tokens
- 5,065
- cached tokens — prompt-cache hit
- 152,832
- Total Tokens
- 199,431
- cost per correct
- $0.0011
- pass rate
- 90.0%
- 27 / 30
- judge cost
- $0.03
設定快照（reproducibility）
Bot 設定快照
-
548039ab-7bee-4f15-95dd-cdaca4af1948
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
6
13689 ms
$0.2000
199,431
$0.0300
230,929
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
80.0%
[50.0% – 100.0%] · n=10
F1 26.7% · 相關率 34.0% · 精確 36.0%
10 / 10 適用
·
2 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
95.3%
[91.3% – 98.7%] · n=10
10 / 10 適用
-
案例 ED089E9D
那拍攝情境圖中的家具和盆栽有在販售嗎?
第 1 次嘗試 · 已完成 76721ms載入詳情中…
-
案例 D63F30D8
如果方形陶瓷杯墊-龍打樣_Janet01提前完工，會不會提早出貨？
第 1 次嘗試 · 已完成 63071ms載入詳情中…
-
案例 1946D24E
這個商品的產地在哪裡？
第 1 次嘗試 · 已完成 73260ms載入詳情中…
-
案例 E0B5DC0D
出貨通知要留意什麼?
第 1 次嘗試 · 已完成 31304ms載入詳情中…
-
案例 0B01BD9D
收到退款成功通知信後多久可以查詢退款狀態?
第 1 次嘗試 · 已完成 32832ms載入詳情中…
-
案例 FAEA3234
肝沒說出的話需要等多久?
第 1 次嘗試 · 已完成 32786ms載入詳情中…
-
案例 FE58E2A7
可以貨到付款嗎？
第 1 次嘗試 · 已完成 41894ms載入詳情中…
-
案例 285A1980
貓插畫26的製作需要等待多久?
第 1 次嘗試 · 已完成 39516ms載入詳情中…
-
案例 82B10207
請問現貨商品下單後多久出貨？
第 1 次嘗試 · 已完成 52425ms載入詳情中…
-
案例 C958D815
這個訂製商品什麼時候會出貨?
第 1 次嘗試 · 已完成 54601ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
70.0%
[40.0% – 100.0%] · n=10
F1 53.3% · 召回 70.0% · 精確 45.0%
10 / 10 適用
用對工具
召回
tool_usage
25.0%
[0.0% – 50.0%] · n=8
F1 33.3% · 召回 31.3% · 精確 75.0%
8 / 10 適用
答得到位
平均
answer_quality
80.3%
[71.0% – 88.3%] · n=10
10 / 10 適用
-
案例 803FAB00
我訂的東西等太久了，可以取消嗎？
第 1 次嘗試 · 已完成 39859ms載入詳情中…
-
案例 D3EB5CBA
訂單編號是什麼格式啊?
第 1 次嘗試 · 已完成 64964ms載入詳情中…
-
案例 730A0E30
我的訂單目前狀況怎麼樣？需要提供什麼資訊才能查詢？
第 1 次嘗試 · 已完成 34891ms載入詳情中…
-
案例 568567E7
這款髮片還有貨嗎?
第 1 次嘗試 · 已完成 32376ms載入詳情中…
-
案例 D63E7E8F
我的訂單編號是2022512，可以查詢訂單進度嗎
第 1 次嘗試 · 已完成 49845ms載入詳情中…
-
案例 A8F40E40
我想查詢我的訂單狀態和物流進度，該怎麼做？
第 1 次嘗試 · 已完成 30154ms載入詳情中…
-
案例 EFC0CFA9
請問我想改地址，應該怎麼做？
第 1 次嘗試 · 已完成 43178ms載入詳情中…
-
案例 242303A0
我等太久了，想取消訂單，請問需要提供什麼資料?
第 1 次嘗試 · 已完成 40267ms載入詳情中…
-
案例 64390D78
查我的訂單時需要提供什麼個人資訊？
第 1 次嘗試 · 已完成 47378ms載入詳情中…
-
案例 FEEA6526
我想知道髮片的使用期限是多久?
第 1 次嘗試 · 已完成 58843ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
77.8%
[55.6% – 100.0%] · n=9
F1 25.9% · 相關率 42.9% · 精確 37.8%
9 / 10 適用
·
4 提示
不亂編造
平均
faithfulness
97.9%
[93.8% – 100.0%] · n=8
10 / 10 適用
答得到位
平均
answer_quality
91.0%
[76.0% – 99.0%] · n=10
10 / 10 適用
-
案例 23F510E1
頁面顯示缺貨，這樣能下單嗎？
第 1 次嘗試 · 已完成 43277ms載入詳情中…
-
案例 BA9D09EA
皮諾丘需要等多久出貨?
第 1 次嘗試 · 已完成 27757ms載入詳情中…
-
案例 33BFB180
問號的查詢會怎樣處理?
第 1 次嘗試 · 已完成 46431ms載入詳情中…
-
案例 347A01FA
廢物星駐地球大使提前完工會怎樣?
第 1 次嘗試 · 已完成 36793ms載入詳情中…
-
案例 1C90E2CC
貓插畫27的製作需要等多久?
第 1 次嘗試 · 已完成 45809ms載入詳情中…
-
案例 86629AC1
銀文鳥大頭是訂製商品嗎?
第 1 次嘗試 · 已完成 58886ms載入詳情中…
-
案例 DF0E9E00
囂搞大補帖出貨通知要注意什麼?
第 1 次嘗試 · 已完成 50675ms載入詳情中…
-
案例 656C63CE
國王企鵝出貨通知要怎麼留意啊？
第 1 次嘗試 · 已完成 54058ms載入詳情中…
-
案例 214DBB89
2B or not 2B 要等多久？
第 1 次嘗試 · 已完成 41521ms載入詳情中…
-
案例 E326F67F
大白兔的呆萌馴鹿大頭提前完工嗎
第 1 次嘗試 · 已完成 54238ms載入詳情中…