執行 #207
SOKER 官方騎行顧問 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:16
- 耗時
- 983.8s
Cost & Tokens
$1.0403
Total Bot Cost · USD
51.7%
Prompt Cache Hit
- cost per case
- $0.0347
- cost per 1k tokens
- $0.0013
- input tokens
- 800,490
- output tokens
- 7,488
- cached tokens — prompt-cache hit
- 413,696
- Total Tokens
- 807,978
- cost per correct
- $0.0013
- pass rate
- 76.7%
- 23 / 30
- judge cost
- $0.0299
設定快照（reproducibility）
Bot 設定快照
-
056b78a4-2665-47d1-8bfb-475dbef6e1c8
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
4
3461 ms
$1.0403
807,978
$0.0299
219,506
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 43.3% · 相關率 30.0% · 精確 31.0%
10 / 10 適用
·
2 提示
不亂編造
平均
faithfulness
80.0%
[55.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.0%
[94.7% – 100.0%] · n=10
10 / 10 適用
-
案例 9C906073
使用車罩時需檢查其防水性嗎？
第 1 次嘗試 · 已完成 15333ms載入詳情中…
-
案例 89FAD2B7
大羚羊的座高是多少公分?
第 1 次嘗試 · 已完成 18960ms載入詳情中…
-
案例 6A7B6BE2
20x4.0外胎的更換價格是多少？
第 1 次嘗試 · 已完成 14585ms載入詳情中…
-
案例 0A552B19
SAMEBIKE C05 Pro 電動滑板車多少錢?
第 1 次嘗試 · 已完成 20565ms載入詳情中…
-
案例 ADE95C70
電動自行車要怎樣才能騎得更遠?
第 1 次嘗試 · 已完成 27543ms載入詳情中…
-
案例 C46585E6
CT20S 型號的電動自行車續航里程是多少?
第 1 次嘗試 · 已完成 15038ms載入詳情中…
-
案例 889D5642
如果電池顯示不準確，更新系統有用嗎?
第 1 次嘗試 · 已完成 20287ms載入詳情中…
-
案例 BF2F14BF
為什麼要登記防盜註冊?
第 1 次嘗試 · 已完成 21330ms載入詳情中…
-
案例 D91CB92A
電動輔助自行車最高速度是多少?
第 1 次嘗試 · 已完成 16828ms載入詳情中…
-
案例 0B52F643
煞車不靈要檢查煞車油量嗎
第 1 次嘗試 · 已完成 18273ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 90.0% · 召回 100.0% · 精確 85.0%
10 / 10 適用
用對工具
召回
tool_usage
70.0%
[40.0% – 90.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 70.0%
10 / 10 適用
答得到位
平均
answer_quality
30.3%
[8.0% – 57.7%] · n=10
10 / 10 適用
-
案例 E0F92BDE
你們的服務時間是什麼時候?
第 1 次嘗試 · 已完成 20838ms載入詳情中…
-
案例 432CC7E0
我想去看車，請問你們的實體店面在哪裡？
第 1 次嘗試 · 已完成 8675ms載入詳情中…
-
案例 5F7CEB90
我想查一下台北市的門市在哪裡？
第 1 次嘗試 · 已完成 22864ms載入詳情中…
-
案例 8F0E6602
電動自行車 Lite Street 價格多少?
第 1 次嘗試 · 已完成 21660ms載入詳情中…
-
案例 43337AEA
電動自行車的價格大概是多少?
第 1 次嘗試 · 已完成 24629ms載入詳情中…
-
案例 DDA91C87
貴公司的服務時間是幾點到幾點呢？另外有沒有聯絡方式？
第 1 次嘗試 · 已完成 30689ms載入詳情中…
-
案例 DCFD5807
請問我可以在哪裡試騎車？
第 1 次嘗試 · 已完成 39314ms載入詳情中…
-
案例 80FEDAB6
請問台北有試騎的門市嗎？
第 1 次嘗試 · 已完成 29107ms載入詳情中…
-
案例 7EB17C05
請問有關近期的活動優惠或折扣資訊嗎？
第 1 次嘗試 · 已完成 18154ms載入詳情中…
-
案例 3FFD6690
請問我想去台北市看車，最近的門市在哪裡？
第 1 次嘗試 · 已完成 25438ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 33.3% · 相關率 24.4% · 精確 20.0%
9 / 10 適用
不亂編造
平均
faithfulness
91.7%
[80.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
95.7%
[89.7% – 100.0%] · n=10
10 / 10 適用
-
案例 9F1896FA
煞車油的顏色可以是什麼顏色呢？
第 1 次嘗試 · 已完成 18839ms載入詳情中…
-
案例 99735282
SAMEBIKE C05 Pro 現在多少錢?
第 1 次嘗試 · 已完成 21684ms載入詳情中…
-
案例 3492BB58
查詢時可以用哪些問題詞？
第 1 次嘗試 · 已完成 22037ms載入詳情中…
-
案例 7D54B3D2
門市提供免費檢查服務嗎?
第 1 次嘗試 · 已完成 18762ms載入詳情中…
-
案例 F79EA16F
備用電池怎麼保養?
第 1 次嘗試 · 已完成 21085ms載入詳情中…
-
案例 F485885C
已出貨的訂單可以取消嗎
第 1 次嘗試 · 已完成 21509ms載入詳情中…
-
案例 7131C699
請問這款電池可以邊騎邊充電嗎?
第 1 次嘗試 · 已完成 19595ms載入詳情中…
-
案例 9D47E971
請問可以透過室內充電來改善電池續航嗎?
第 1 次嘗試 · 已完成 21888ms載入詳情中…
-
案例 713DE5F1
電動輔助自行車可以加裝兒童座椅嗎？
第 1 次嘗試 · 已完成 24996ms載入詳情中…
-
案例 C62F44DF
貨架的承重限制是什麼?
第 1 次嘗試 · 已完成 19950ms載入詳情中…