執行 #225
Stacy (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:29
- 耗時
- 336.1s
Cost & Tokens
$0.4372
Total Bot Cost · USD
41.9%
Prompt Cache Hit
- cost per case
- $0.0146
- cost per 1k tokens
- $0.0015
- input tokens
- 289,689
- output tokens
- 5,000
- cached tokens — prompt-cache hit
- 121,472
- Total Tokens
- 294,689
- cost per correct
- $0.0013
- pass rate
- 76.7%
- 23 / 30
- judge cost
- $0.0288
設定快照（reproducibility）
Bot 設定快照
-
ef2c7746-b611-465d-9fe6-7c18c20cd865
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
4
2762 ms
$0.4372
294,689
$0.0288
217,867
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 34.4% · 精確 18.0%
10 / 10 適用
·
3 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
95.3%
[87.7% – 99.7%] · n=10
10 / 10 適用
-
案例 518135E0
會員資格什麼時候結算？
第 1 次嘗試 · 已完成 13317ms載入詳情中…
-
案例 02E439B7
項鍊默認搭配幾個字母扣?
第 1 次嘗試 · 已完成 49421ms載入詳情中…
-
案例 2D8CED53
海外訂單可以用 PayPal 嗎?
第 1 次嘗試 · 已完成 41933ms載入詳情中…
-
案例 9696AE1A
這款保護殼的重量是多少?
第 1 次嘗試 · 已完成 18241ms載入詳情中…
-
案例 F2A1A4D3
支援哪些行動支付方式？
第 1 次嘗試 · 已完成 15562ms載入詳情中…
-
案例 0C3BCEC0
點點羽絨磁吸皮革卡夾的材質是什麼?
第 1 次嘗試 · 已完成 16774ms載入詳情中…
-
案例 5B745879
皮革商品應該多久使用皮革油保養一次?
第 1 次嘗試 · 已完成 19171ms載入詳情中…
-
案例 5B0968D3
燕麥色 MacBook 全包防刮保護殼可以客製化嗎
第 1 次嘗試 · 已完成 27590ms載入詳情中…
-
案例 78A2373D
退貨完成後大概多久可以退款？
第 1 次嘗試 · 已完成 14328ms載入詳情中…
-
案例 818BFD00
選購經典荔枝皮錶帶要根據什麼尺寸?
第 1 次嘗試 · 已完成 27240ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
70.0%
[40.0% – 100.0%] · n=10
F1 56.7% · 召回 70.0% · 精確 50.0%
10 / 10 適用
用對工具
召回
tool_usage
20.0%
[0.0% – 50.0%] · n=10
F1 20.0% · 召回 20.0% · 精確 30.0%
10 / 10 適用
答得到位
平均
answer_quality
63.3%
[43.3% – 81.0%] · n=10
10 / 10 適用
-
案例 96113E6A
瑕疵退換貨需要提供什麼資料?
第 1 次嘗試 · 已完成 24372ms載入詳情中…
-
案例 9B066738
現貨商品要多久可以收到?
第 1 次嘗試 · 已完成 15071ms載入詳情中…
-
案例 F270A664
你們的官方網站是什麼？
第 1 次嘗試 · 已完成 12886ms載入詳情中…
-
案例 8956F376
這款手機殼有支援 iPhone 15 Plus 嗎
第 1 次嘗試 · 已完成 7694ms載入詳情中…
-
案例 1A5BFFF1
我想退貨，申請需要填寫什麼資訊？
第 1 次嘗試 · 已完成 22461ms載入詳情中…
-
案例 183BA27A
退貨的退款流程大概需要多久?
第 1 次嘗試 · 已完成 23182ms載入詳情中…
-
案例 A54A14ED
現在下單這個客製化的 MacBook 保護殼要等多久才會收到?
第 1 次嘗試 · 已完成 22956ms載入詳情中…
-
案例 95D329BB
最近有什麼優惠活動嗎?
第 1 次嘗試 · 已完成 25152ms載入詳情中…
-
案例 11BA3717
如果超過七天，還可以退換貨嗎?
第 1 次嘗試 · 已完成 29208ms載入詳情中…
-
案例 C3B50F97
收到有瑕疵的商品要怎麼退換?
第 1 次嘗試 · 已完成 23249ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
75.0%
[37.5% – 100.0%] · n=8
F1 29.2% · 相關率 48.8% · 精確 31.3%
8 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
65.0%
[35.0% – 90.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
87.3%
[74.3% – 98.0%] · n=10
10 / 10 適用
-
案例 F37726C3
客製化可以自行提供圖檔嗎
第 1 次嘗試 · 已完成 28695ms載入詳情中…
-
案例 C86B47B5
這款保護殼有防摔抗震功能嗎
第 1 次嘗試 · 已完成 21528ms載入詳情中…
-
案例 45A198B4
為什麼你們的搜尋產品功能不會生成三個向量查詢？
第 1 次嘗試 · 已完成 18762ms載入詳情中…
-
案例 0C075DD3
如果我問問題，會有什麼反應嗎?
第 1 次嘗試 · 已完成 3496ms載入詳情中…
-
案例 CC886249
極簡全白的 iPhone 保護殼設計風格是什麼？
第 1 次嘗試 · 已完成 16605ms載入詳情中…
-
案例 CF7EEB5B
Baby Cakes AirPods 透明矽膠保護套是什麼材質?
第 1 次嘗試 · 已完成 18548ms載入詳情中…
-
案例 C5570F38
銀刃 iPad 全包帶筆槽保護殼的印刷技術是什麼？
第 1 次嘗試 · 已完成 24485ms載入詳情中…
-
案例 7D70EA50
春野 MacBook 保護殼防摔嗎
第 1 次嘗試 · 已完成 27834ms載入詳情中…
-
案例 AAC02204
客製化預覽圖需要多久會發送呢？
第 1 次嘗試 · 已完成 21774ms載入詳情中…
-
案例 1BFEF09A
純白 Apple Watch 樹脂蝴蝶扣錶帶的材質是什麼?
第 1 次嘗試 · 已完成 22730ms載入詳情中…