執行 #219
Simmpo AI 小幫手 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:25
- 耗時
- 374.6s
Cost & Tokens
$0.3661
Total Bot Cost · USD
53.1%
Prompt Cache Hit
- cost per case
- $0.0122
- cost per 1k tokens
- $0.0014
- input tokens
- 259,263
- output tokens
- 6,773
- cached tokens — prompt-cache hit
- 137,728
- Total Tokens
- 266,036
- cost per correct
- $0.0011
- pass rate
- 80.0%
- 24 / 30
- judge cost
- $0.027
設定快照（reproducibility）
Bot 設定快照
-
60d0d2c6-b6d4-4595-bb59-678233c41c24
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
1
7724 ms
$0.3661
266,036
$0.0270
203,205
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
50.0%
[20.0% – 80.0%] · n=10
F1 16.7% · 相關率 40.0% · 精確 60.0%
10 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
94.4%
[83.3% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
83.0%
[64.3% – 97.7%] · n=10
10 / 10 適用
-
案例 B3F1BCF6
預購商品需要等多久出貨?
第 1 次嘗試 · 已完成 13830ms載入詳情中…
-
案例 76D51745
為什麼不建議對同一個型號重複購買對位框？
第 1 次嘗試 · 已完成 17204ms載入詳情中…
-
案例 EDBDCAB1
退貨或換貨需要提供哪些資訊?
第 1 次嘗試 · 已完成 35912ms載入詳情中…
-
案例 C8AEE4DB
iPhone 保護貼抗藍光效果比較在哪裡看?
第 1 次嘗試 · 已完成 13407ms載入詳情中…
-
案例 A98F5E24
有任何疑問可以怎麼聯繫？
第 1 次嘗試 · 已完成 14086ms載入詳情中…
-
案例 1858A5F1
下單時要如何確認型號正確?
第 1 次嘗試 · 已完成 16545ms載入詳情中…
-
案例 C888E19C
訂單完成後多久會收到點數？
第 1 次嘗試 · 已完成 21689ms載入詳情中…
-
案例 60390E43
為什麼我買保護貼要選2片才能折扣1片？
第 1 次嘗試 · 已完成 15483ms載入詳情中…
-
案例 4B0DB7E9
請問 S-90 耐衝擊保護貼有黑邊嗎?
第 1 次嘗試 · 已完成 13278ms載入詳情中…
-
案例 C0512CE7
請問這款護眼保護貼的優惠可以跨載體和跨功能嗎？
第 1 次嘗試 · 已完成 13701ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 80.0% · 召回 90.0% · 精確 75.0%
10 / 10 適用
用對工具
召回
tool_usage
83.3%
[50.0% – 100.0%] · n=6
F1 96.7% · 召回 94.4% · 精確 100.0%
6 / 10 適用
答得到位
平均
answer_quality
74.0%
[61.3% – 85.7%] · n=10
10 / 10 適用
-
案例 46695099
為什麼我的防窺貼看起來好像有顆粒感？
第 1 次嘗試 · 已完成 9832ms載入詳情中…
-
案例 6E70ACD4
退換貨的商品需要保持什麼狀態？
第 1 次嘗試 · 已完成 13509ms載入詳情中…
-
案例 48A5A8EC
支付方式怎麼付錢?
第 1 次嘗試 · 已完成 13052ms載入詳情中…
-
案例 695F15FA
如果關閉注視螢幕的設定無效，該怎麼辦？
第 1 次嘗試 · 已完成 14302ms載入詳情中…
-
案例 F78B6D8A
請問使用防窺貼時，螢幕的顯示效果會不會變差？
第 1 次嘗試 · 已完成 10850ms載入詳情中…
-
案例 BD9984CB
我想查詢台北市有沒有實體門市？
第 1 次嘗試 · 已完成 74275ms載入詳情中…
-
案例 8A554846
我想知道有關保護貼的操作教學，有沒有教學可以參考?
第 1 次嘗試 · 已完成 16479ms載入詳情中…
-
案例 7BED8392
保護貼要怎麼貼？
第 1 次嘗試 · 已完成 17071ms載入詳情中…
-
案例 7CE4D2BA
請問我想找保護貼，適用的裝置是 iPhone 17 Pro，還有貨嗎？
第 1 次嘗試 · 已完成 34021ms載入詳情中…
-
案例 F448D7BC
請問中正區有什麼門市嗎？
第 1 次嘗試 · 已完成 19572ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
66.7%
[33.3% – 88.9%] · n=9
F1 22.2% · 相關率 25.7% · 精確 46.7%
9 / 10 適用
不亂編造
平均
faithfulness
98.4%
[95.2% – 100.0%] · n=7
10 / 10 適用
答得到位
平均
answer_quality
86.7%
[73.7% – 97.0%] · n=10
10 / 10 適用
-
案例 47C292C0
我的螢幕可以用VisionClear清潔噴霧嗎?
第 1 次嘗試 · 已完成 15721ms載入詳情中…
-
案例 D72CEB7E
這款手機殼可以防摔到多高?
第 1 次嘗試 · 已完成 15750ms載入詳情中…
-
案例 33C3EA20
有操作教學嗎
第 1 次嘗試 · 已完成 20677ms載入詳情中…
-
案例 6F02B468
請問如何確認收到商品與下單內容不一樣的問題？
第 1 次嘗試 · 已完成 12932ms載入詳情中…
-
案例 FF09B441
你們目前有什麼 Apple 產品的保護貼？
第 1 次嘗試 · 已完成 15476ms載入詳情中…
-
案例 984EA215
訂單狀態已確認，要怎麼取消?
第 1 次嘗試 · 已完成 13448ms載入詳情中…
-
案例 F70AAB1A
運送政策內容在哪裡可以查到?
第 1 次嘗試 · 已完成 14944ms載入詳情中…
-
案例 2FF68DFD
請問入塵的操作教學影片在哪裡可以找到？
第 1 次嘗試 · 已完成 18261ms載入詳情中…
-
案例 D49B909A
官網的 FAQ 頁面網址是什麼?
第 1 次嘗試 · 已完成 10888ms載入詳情中…
-
案例 1AD7A208
VisionClear 晶透螢幕清潔噴霧保存時要注意什麼?
第 1 次嘗試 · 已完成 16017ms載入詳情中…