執行 #54
AI尼蹦 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:06
- 耗時
- 609.3s
Cost & Tokens
$0.2055
Total Bot Cost · USD
36.6%
Prompt Cache Hit
- cost per case
- $0.0068
- cost per 1k tokens
- $0.0018
- input tokens
- 110,416
- output tokens
- 5,665
- cached tokens — prompt-cache hit
- 40,448
- Total Tokens
- 116,081
- cost per correct
- $0.0012
- pass rate
- 86.7%
- 26 / 30
- judge cost
- $0.0311
設定快照（reproducibility）
Bot 設定快照
-
feeec5c0-344c-4001-bb24-14e47d56b070
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
3
7481 ms
$0.2055
116,081
$0.0311
236,638
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 11.1% · 精確 10.0%
10 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
92.3%
[82.7% – 98.7%] · n=10
10 / 10 適用
-
案例 C685CB4F
怎麼更新未安裝最新版本的 iOS?
第 1 次嘗試 · 已完成 40261ms載入詳情中…
-
案例 AE76E8ED
插入 SIM 卡後真的可以直接使用嗎
第 1 次嘗試 · 已完成 28927ms載入詳情中…
-
案例 0CE6BE1E
eSIM 二維碼可以補發嗎
第 1 次嘗試 · 已完成 32632ms載入詳情中…
-
案例 E494B9A9
要怎麼登入到設置螢幕?
第 1 次嘗試 · 已完成 36842ms載入詳情中…
-
案例 05F0A0A0
如果我用的是無應用程序的產品，可以用網絡共享嗎？
第 1 次嘗試 · 已完成 21008ms載入詳情中…
-
案例 D23946F4
購買的 SIM 卡可以更換或退回嗎
第 1 次嘗試 · 已完成 16070ms載入詳情中…
-
案例 23B619D1
誤購eSIM可以換成實體SIM卡嗎
第 1 次嘗試 · 已完成 26311ms載入詳情中…
-
案例 814212DC
哪個產品會通知剩餘流量？
第 1 次嘗試 · 已完成 24715ms載入詳情中…
-
案例 A975A697
4G/LTE 數據使用有沒有限制?
第 1 次嘗試 · 已完成 27571ms載入詳情中…
-
案例 3B5B6E57
免費 SIM 是指什麼?
第 1 次嘗試 · 已完成 30211ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具
召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位
平均
answer_quality
83.0%
[65.0% – 97.3%] · n=10
10 / 10 適用
-
案例 73176898
你們可以告訴我關於 SIM 卡使用的資訊嗎？
第 1 次嘗試 · 已完成 37435ms載入詳情中…
-
案例 A1CFF6FD
可以推薦一下 SIM 卡嗎
第 1 次嘗試 · 已完成 27271ms載入詳情中…
-
案例 C7EB34C7
我可以在日本的哪些地方使用 SIM 卡？
第 1 次嘗試 · 已完成 28060ms載入詳情中…
-
案例 CE532FF5
我可以在哪些地方使用 SIM 卡?
第 1 次嘗試 · 已完成 34205ms載入詳情中…
-
案例 3D1ADAAC
能不能推薦我適合在日本使用的 SIM 卡？
第 1 次嘗試 · 已完成 34900ms載入詳情中…
-
案例 50853455
使用 SIM 卡的區域是哪些?
第 1 次嘗試 · 已完成 38481ms載入詳情中…
-
案例 83F8EFA2
請問 SIM 卡的使用範圍是什麼？
第 1 次嘗試 · 已完成 43138ms載入詳情中…
-
案例 2C8E4BDA
請問在日本使用的 SIM 卡有哪些區域可以用?
第 1 次嘗試 · 已完成 29166ms載入詳情中…
-
案例 23C08C55
進階統一搜尋是什麼？
第 1 次嘗試 · 已完成 31334ms載入詳情中…
-
案例 F559C96E
查詢 SIM 卡可以用在哪裡
第 1 次嘗試 · 已完成 36286ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=9
F1 18.2% · 相關率 25.6% · 精確 10.0%
9 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
93.3%
[86.3% – 99.0%] · n=10
10 / 10 適用
-
案例 FBA36C86
下載描述檔後怎麼安裝?
第 1 次嘗試 · 已完成 53657ms載入詳情中…
-
案例 2BBC054C
可以轉接真人客服嗎
第 1 次嘗試 · 已完成 18804ms載入詳情中…
-
案例 54C97F23
如果在海外安裝日本的eSIM，會有問題嗎?
第 1 次嘗試 · 已完成 35100ms載入詳情中…
-
案例 26F7119B
如何設置 Wi-Fi 路由器？
第 1 次嘗試 · 已完成 54364ms載入詳情中…
-
案例 368C4591
SIM 卡插入後要怎麼用?
第 1 次嘗試 · 已完成 37786ms載入詳情中…
-
案例 0B8A43D3
預付費數據 SIM 卡可以用來撥打電話嗎
第 1 次嘗試 · 已完成 27097ms載入詳情中…
-
案例 D3233CEE
SIM卡的使用要在有效期之前嗎
第 1 次嘗試 · 已完成 22591ms載入詳情中…
-
案例 B217C47D
用AX/GD或DN開頭的SIM卡可以用Nippon SIM嗎
第 1 次嘗試 · 已完成 26222ms載入詳情中…
-
案例 DBC45A8F
日本 SIM 卡可以用來發 SMS 嗎?
第 1 次嘗試 · 已完成 29686ms載入詳情中…
-
案例 C9D3F687
如果重置後仍顯示NO SIM，我該怎麼辦?
第 1 次嘗試 · 已完成 33529ms載入詳情中…