執行 #55
AI尼蹦 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:06
- 耗時
- 1298.3s
Cost & Tokens
$0.2081
Total Bot Cost · USD
23.4%
Prompt Cache Hit
- cost per case
- $0.0069
- cost per 1k tokens
- $0.0019
- input tokens
- 102,824
- output tokens
- 4,821
- cached tokens — prompt-cache hit
- 24,064
- Total Tokens
- 107,645
- cost per correct
- $0.0011
- pass rate
- 90.0%
- 27 / 30
- judge cost
- $0.0299
設定快照（reproducibility）
Bot 設定快照
-
8cbba6bd-b36b-40fb-8b36-538e112e587d
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
3
3957 ms
$0.2081
107,645
$0.0299
227,865
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 22.2% · 精確 10.0%
10 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
98.0%
[96.0% – 100.0%] · n=10
10 / 10 適用
-
案例 6DEB018A
無應用程序產品可以使用網絡共享嗎?
第 1 次嘗試 · 已完成 11992ms載入詳情中…
-
案例 CFCF0925
日本的 SIM 卡可以使用短信嗎?
第 1 次嘗試 · 已完成 10732ms載入詳情中…
-
案例 C6CB16BC
APN 是什麼意思？
第 1 次嘗試 · 已完成 9653ms載入詳情中…
-
案例 2026C839
SIM卡使用後要退還嗎？
第 1 次嘗試 · 已完成 10438ms載入詳情中…
-
案例 359E4735
填寫客服表單後多久會聯繫我?
第 1 次嘗試 · 已完成 13470ms載入詳情中…
-
案例 F94808B1
我可以為 SIM 卡充電嗎?
第 1 次嘗試 · 已完成 12512ms載入詳情中…
-
案例 BEB2E2CA
請問如果兼容的頻段很少，會有什麼影響？
第 1 次嘗試 · 已完成 17034ms載入詳情中…
-
案例 AC9506F2
不小心買成 eSIM 了，需提供哪些資訊?
第 1 次嘗試 · 已完成 15572ms載入詳情中…
-
案例 A176D8DB
可以用 WiFi 連接手機到 NEC Aterm 嗎?
第 1 次嘗試 · 已完成 19698ms載入詳情中…
-
案例 BE76BD7A
如何為 iPhone 設置 APN？
第 1 次嘗試 · 已完成 16983ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 88.3% · 召回 100.0% · 精確 83.3%
10 / 10 適用
用對工具
召回
tool_usage
100.0%
[100.0% – 100.0%] · n=5
F1 100.0% · 召回 100.0% · 精確 100.0%
5 / 10 適用
答得到位
平均
answer_quality
84.7%
[70.0% – 95.7%] · n=10
10 / 10 適用
-
案例 DC43614D
如果遇到很爛的服務可以轉接真人客服嗎
第 1 次嘗試 · 已完成 12742ms載入詳情中…
-
案例 1B78F363
我想知道在日本能使用 SIM 卡的地區有哪些?
第 1 次嘗試 · 已完成 21285ms載入詳情中…
-
案例 AE0DC189
為什麼我有意見要申訴，不能直接找主管?
第 1 次嘗試 · 已完成 17531ms載入詳情中…
-
案例 CDF4F3EF
我對之前的產品感到很不滿，請問要怎麼申訴呢？
第 1 次嘗試 · 已完成 12681ms載入詳情中…
-
案例 3A882147
我想查詢有關免費 SIM 卡的資訊，請問需要提供什麼代碼或型號嗎?
第 1 次嘗試 · 已完成 13739ms載入詳情中…
-
案例 544204BF
請問可否告訴我有關 SIM 卡適用的地區？
第 1 次嘗試 · 已完成 14396ms載入詳情中…
-
案例 3A0D056C
我對產品不滿意，想請問如果我抱怨的話，可以轉接真人客服處理嗎？
第 1 次嘗試 · 已完成 6780ms載入詳情中…
-
案例 FFBC342F
SIM 卡可以在哪些地方使用？
第 1 次嘗試 · 已完成 14737ms載入詳情中…
-
案例 7CB7BD7F
查詢 SIM 卡使用區域
第 1 次嘗試 · 已完成 15881ms載入詳情中…
-
案例 C7BAD1BA
我覺得服務真的很爛，怎麼辦？
第 1 次嘗試 · 已完成 8554ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 23.8% · 精確 10.0%
8 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
86.7%
[71.3% – 97.0%] · n=10
10 / 10 適用
-
案例 2843DB24
我如果有 docomo 手機，AX/GD 或 DN 開頭的 SIM 需不需要解鎖？
第 1 次嘗試 · 已完成 11969ms載入詳情中…
-
案例 030CE6B4
統一搜尋的向量查詢要生成幾個？
第 1 次嘗試 · 已完成 11470ms載入詳情中…
-
案例 2F490158
請問我該如何查詢產品的型號和標籤？
第 1 次嘗試 · 已完成 20398ms載入詳情中…
-
案例 94106B5E
iPhone 要怎麼刪除配置文件?
第 1 次嘗試 · 已完成 16316ms載入詳情中…
-
案例 C73E1D4D
WiFi 分享器的 APN 設定要看哪裡呢？
第 1 次嘗試 · 已完成 14039ms載入詳情中…
-
案例 9D045856
請問 APN 的設置過程在哪裡可以找到？
第 1 次嘗試 · 已完成 28648ms載入詳情中…
-
案例 F942F621
插入 SIM 卡後需要設置什麼嗎?
第 1 次嘗試 · 已完成 20593ms載入詳情中…
-
案例 63B9485F
天線圖示沒有顯示，怎麼辦？
第 1 次嘗試 · 已完成 25503ms載入詳情中…
-
案例 37B246BE
如何在iOS裝置上設定VPN和裝置管理?
第 1 次嘗試 · 已完成 25974ms載入詳情中…
-
案例 03C4294A
Nippon SIM 會有電話號碼嗎?
第 1 次嘗試 · 已完成 13672ms載入詳情中…