執行 #56
AI尼蹦 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:06
- 耗時
- 647.4s
Cost & Tokens
$0.1812
Total Bot Cost · USD
40.5%
Prompt Cache Hit
- cost per case
- $0.0060
- cost per 1k tokens
- $0.0017
- input tokens
- 102,067
- output tokens
- 4,881
- cached tokens — prompt-cache hit
- 41,344
- Total Tokens
- 106,948
- cost per correct
- $0.0011
- pass rate
- 86.7%
- 26 / 30
- judge cost
- $0.0291
設定快照（reproducibility）
Bot 設定快照
-
8cbba6bd-b36b-40fb-8b36-538e112e587d
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
3
9694 ms
$0.1812
106,948
$0.0291
227,727
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 21.1% · 精確 10.0%
10 / 10 適用
·
1 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
96.7%
[94.7% – 98.3%] · n=10
10 / 10 適用
-
案例 6DEB018A
無應用程序產品可以使用網絡共享嗎?
第 1 次嘗試 · 已完成 35181ms載入詳情中…
-
案例 CFCF0925
日本的 SIM 卡可以使用短信嗎?
第 1 次嘗試 · 已完成 20307ms載入詳情中…
-
案例 C6CB16BC
APN 是什麼意思？
第 1 次嘗試 · 已完成 34601ms載入詳情中…
-
案例 2026C839
SIM卡使用後要退還嗎？
第 1 次嘗試 · 已完成 15247ms載入詳情中…
-
案例 359E4735
填寫客服表單後多久會聯繫我?
第 1 次嘗試 · 已完成 27832ms載入詳情中…
-
案例 F94808B1
我可以為 SIM 卡充電嗎?
第 1 次嘗試 · 已完成 27813ms載入詳情中…
-
案例 BEB2E2CA
請問如果兼容的頻段很少，會有什麼影響？
第 1 次嘗試 · 已完成 29054ms載入詳情中…
-
案例 AC9506F2
不小心買成 eSIM 了，需提供哪些資訊?
第 1 次嘗試 · 已完成 38129ms載入詳情中…
-
案例 A176D8DB
可以用 WiFi 連接手機到 NEC Aterm 嗎?
第 1 次嘗試 · 已完成 43505ms載入詳情中…
-
案例 BE76BD7A
如何為 iPhone 設置 APN？
第 1 次嘗試 · 已完成 27616ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 88.3% · 召回 100.0% · 精確 83.3%
10 / 10 適用
用對工具
召回
tool_usage
100.0%
[100.0% – 100.0%] · n=5
F1 100.0% · 召回 100.0% · 精確 100.0%
5 / 10 適用
答得到位
平均
answer_quality
82.3%
[70.3% – 93.0%] · n=10
10 / 10 適用
-
案例 DC43614D
如果遇到很爛的服務可以轉接真人客服嗎
第 1 次嘗試 · 已完成 35933ms載入詳情中…
-
案例 1B78F363
我想知道在日本能使用 SIM 卡的地區有哪些?
第 1 次嘗試 · 已完成 40439ms載入詳情中…
-
案例 AE0DC189
為什麼我有意見要申訴，不能直接找主管?
第 1 次嘗試 · 已完成 26245ms載入詳情中…
-
案例 CDF4F3EF
我對之前的產品感到很不滿，請問要怎麼申訴呢？
第 1 次嘗試 · 已完成 17541ms載入詳情中…
-
案例 3A882147
我想查詢有關免費 SIM 卡的資訊，請問需要提供什麼代碼或型號嗎?
第 1 次嘗試 · 已完成 29514ms載入詳情中…
-
案例 544204BF
請問可否告訴我有關 SIM 卡適用的地區？
第 1 次嘗試 · 已完成 32926ms載入詳情中…
-
案例 3A0D056C
我對產品不滿意，想請問如果我抱怨的話，可以轉接真人客服處理嗎？
第 1 次嘗試 · 已完成 15249ms載入詳情中…
-
案例 FFBC342F
SIM 卡可以在哪些地方使用？
第 1 次嘗試 · 已完成 26018ms載入詳情中…
-
案例 7CB7BD7F
查詢 SIM 卡使用區域
第 1 次嘗試 · 已完成 33210ms載入詳情中…
-
案例 C7BAD1BA
我覺得服務真的很爛，怎麼辦？
第 1 次嘗試 · 已完成 22721ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 25.0% · 精確 10.0%
8 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=9
10 / 10 適用
答得到位
平均
answer_quality
87.7%
[73.0% – 98.0%] · n=10
10 / 10 適用
-
案例 2843DB24
我如果有 docomo 手機，AX/GD 或 DN 開頭的 SIM 需不需要解鎖？
第 1 次嘗試 · 已完成 31064ms載入詳情中…
-
案例 030CE6B4
統一搜尋的向量查詢要生成幾個？
第 1 次嘗試 · 已完成 31185ms載入詳情中…
-
案例 2F490158
請問我該如何查詢產品的型號和標籤？
第 1 次嘗試 · 已完成 24665ms載入詳情中…
-
案例 94106B5E
iPhone 要怎麼刪除配置文件?
第 1 次嘗試 · 已完成 30945ms載入詳情中…
-
案例 C73E1D4D
WiFi 分享器的 APN 設定要看哪裡呢？
第 1 次嘗試 · 已完成 32572ms載入詳情中…
-
案例 9D045856
請問 APN 的設置過程在哪裡可以找到？
第 1 次嘗試 · 已完成 28771ms載入詳情中…
-
案例 F942F621
插入 SIM 卡後需要設置什麼嗎?
第 1 次嘗試 · 已完成 44165ms載入詳情中…
-
案例 63B9485F
天線圖示沒有顯示，怎麼辦？
第 1 次嘗試 · 已完成 33774ms載入詳情中…
-
案例 37B246BE
如何在iOS裝置上設定VPN和裝置管理?
第 1 次嘗試 · 已完成 46007ms載入詳情中…
-
案例 03C4294A
Nippon SIM 會有電話號碼嗎?
第 1 次嘗試 · 已完成 19850ms載入詳情中…