執行 #53
AI尼蹦 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:06
- 耗時
- 680.8s
Cost & Tokens
$0.2340
Total Bot Cost · USD
18.1%
Prompt Cache Hit
- cost per case
- $0.0078
- cost per 1k tokens
- $0.0020
- input tokens
- 110,123
- output tokens
- 5,458
- cached tokens — prompt-cache hit
- 19,968
- Total Tokens
- 115,581
- cost per correct
- $0.0013
- pass rate
- 83.3%
- 25 / 30
- judge cost
- $0.0313
設定快照（reproducibility）
Bot 設定快照
-
feeec5c0-344c-4001-bb24-14e47d56b070
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
3
2922 ms
$0.2340
115,581
$0.0313
235,542
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 11.1% · 精確 10.0%
10 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
91.3%
[84.3% – 97.3%] · n=10
10 / 10 適用
-
案例 C685CB4F
怎麼更新未安裝最新版本的 iOS?
第 1 次嘗試 · 已完成 16849ms載入詳情中…
-
案例 AE76E8ED
插入 SIM 卡後真的可以直接使用嗎
第 1 次嘗試 · 已完成 15203ms載入詳情中…
-
案例 0CE6BE1E
eSIM 二維碼可以補發嗎
第 1 次嘗試 · 已完成 10618ms載入詳情中…
-
案例 E494B9A9
要怎麼登入到設置螢幕?
第 1 次嘗試 · 已完成 16372ms載入詳情中…
-
案例 05F0A0A0
如果我用的是無應用程序的產品，可以用網絡共享嗎？
第 1 次嘗試 · 已完成 14231ms載入詳情中…
-
案例 D23946F4
購買的 SIM 卡可以更換或退回嗎
第 1 次嘗試 · 已完成 7887ms載入詳情中…
-
案例 23B619D1
誤購eSIM可以換成實體SIM卡嗎
第 1 次嘗試 · 已完成 16486ms載入詳情中…
-
案例 814212DC
哪個產品會通知剩餘流量？
第 1 次嘗試 · 已完成 15098ms載入詳情中…
-
案例 A975A697
4G/LTE 數據使用有沒有限制?
第 1 次嘗試 · 已完成 13473ms載入詳情中…
-
案例 3B5B6E57
免費 SIM 是指什麼?
第 1 次嘗試 · 已完成 12273ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具
召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位
平均
answer_quality
84.0%
[66.7% – 96.7%] · n=10
10 / 10 適用
-
案例 73176898
你們可以告訴我關於 SIM 卡使用的資訊嗎？
第 1 次嘗試 · 已完成 24944ms載入詳情中…
-
案例 A1CFF6FD
可以推薦一下 SIM 卡嗎
第 1 次嘗試 · 已完成 26424ms載入詳情中…
-
案例 C7EB34C7
我可以在日本的哪些地方使用 SIM 卡？
第 1 次嘗試 · 已完成 21162ms載入詳情中…
-
案例 CE532FF5
我可以在哪些地方使用 SIM 卡?
第 1 次嘗試 · 已完成 19259ms載入詳情中…
-
案例 3D1ADAAC
能不能推薦我適合在日本使用的 SIM 卡？
第 1 次嘗試 · 已完成 23292ms載入詳情中…
-
案例 50853455
使用 SIM 卡的區域是哪些?
第 1 次嘗試 · 已完成 14520ms載入詳情中…
-
案例 83F8EFA2
請問 SIM 卡的使用範圍是什麼？
第 1 次嘗試 · 已完成 22587ms載入詳情中…
-
案例 2C8E4BDA
請問在日本使用的 SIM 卡有哪些區域可以用?
第 1 次嘗試 · 已完成 21795ms載入詳情中…
-
案例 23C08C55
進階統一搜尋是什麼？
第 1 次嘗試 · 已完成 12704ms載入詳情中…
-
案例 F559C96E
查詢 SIM 卡可以用在哪裡
第 1 次嘗試 · 已完成 18530ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 20.0% · 精確 10.0%
9 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
89.7%
[77.3% – 98.3%] · n=10
10 / 10 適用
-
案例 FBA36C86
下載描述檔後怎麼安裝?
第 1 次嘗試 · 已完成 20184ms載入詳情中…
-
案例 2BBC054C
可以轉接真人客服嗎
第 1 次嘗試 · 已完成 4945ms載入詳情中…
-
案例 54C97F23
如果在海外安裝日本的eSIM，會有問題嗎?
第 1 次嘗試 · 已完成 10944ms載入詳情中…
-
案例 26F7119B
如何設置 Wi-Fi 路由器？
第 1 次嘗試 · 已完成 14060ms載入詳情中…
-
案例 368C4591
SIM 卡插入後要怎麼用?
第 1 次嘗試 · 已完成 32343ms載入詳情中…
-
案例 0B8A43D3
預付費數據 SIM 卡可以用來撥打電話嗎
第 1 次嘗試 · 已完成 13235ms載入詳情中…
-
案例 D3233CEE
SIM卡的使用要在有效期之前嗎
第 1 次嘗試 · 已完成 11721ms載入詳情中…
-
案例 B217C47D
用AX/GD或DN開頭的SIM卡可以用Nippon SIM嗎
第 1 次嘗試 · 已完成 12859ms載入詳情中…
-
案例 DBC45A8F
日本 SIM 卡可以用來發 SMS 嗎?
第 1 次嘗試 · 已完成 14263ms載入詳情中…
-
案例 C9D3F687
如果重置後仍顯示NO SIM，我該怎麼辦?
第 1 次嘗試 · 已完成 17344ms載入詳情中…