執行 #253
Whoscall 小幫手 (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:42
- 耗時
- 442.5s
Cost & Tokens
$0.3103
Total Bot Cost · USD
51.0%
Prompt Cache Hit
- cost per case
- $0.0103
- cost per 1k tokens
- $0.0015
- input tokens
- 199,659
- output tokens
- 7,958
- cached tokens — prompt-cache hit
- 101,760
- Total Tokens
- 207,617
- cost per correct
- $0.0014
- pass rate
- 76.7%
- 23 / 30
- judge cost
- $0.0318
設定快照（reproducibility）
Bot 設定快照
-
82c119f9-e209-4f77-9c3e-ce171b73a848
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
1
3172 ms
$0.3103
207,617
$0.0318
233,847
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
70.0%
[40.0% – 100.0%] · n=10
F1 12.7% · 相關率 18.0% · 精確 7.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
93.3%
[88.7% – 97.3%] · n=10
10 / 10 適用
-
案例 6E20BC66
要怎麼啟用自動檢查簡訊連結功能？
第 1 次嘗試 · 已完成 20696ms載入詳情中…
-
案例 5685CCE6
無線電話要怎樣才能清除未接來電訊息?
第 1 次嘗試 · 已完成 25802ms載入詳情中…
-
案例 11C14386
Android 的進階版帳號可以轉移到 iPhone 嗎?
第 1 次嘗試 · 已完成 11643ms載入詳情中…
-
案例 6646A08D
啟用自動過濾簡訊後，Whoscall 會知道簡訊內容嗎?
第 1 次嘗試 · 已完成 27064ms載入詳情中…
-
案例 740E4BDD
Gogolook 如何確保資料安全?
第 1 次嘗試 · 已完成 19367ms載入詳情中…
-
案例 45DF67CC
如果「號碼識別」功能有問題，我該怎麼辦？
第 1 次嘗試 · 已完成 22566ms載入詳情中…
-
案例 07C2A60F
Whoscall Premium 版有自動拒絕功能嗎
第 1 次嘗試 · 已完成 31769ms載入詳情中…
-
案例 F5AD9367
簡訊驗證碼是為了什麼?
第 1 次嘗試 · 已完成 16458ms載入詳情中…
-
案例 75DCE919
被標示為垃圾的號碼後，收到的訊息會自動變成垃圾嗎?
第 1 次嘗試 · 已完成 16709ms載入詳情中…
-
案例 30A2851A
這個號碼在封鎖清單中嗎？
第 1 次嘗試 · 已完成 12879ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
60.0%
[30.0% – 90.0%] · n=10
F1 50.0% · 召回 60.0% · 精確 45.0%
10 / 10 適用
用對工具
召回
tool_usage
30.0%
[0.0% – 60.0%] · n=10
F1 30.0% · 召回 30.0% · 精確 40.0%
10 / 10 適用
答得到位
平均
answer_quality
67.7%
[56.0% – 78.7%] · n=10
10 / 10 適用
-
案例 6048BD16
要查詢我的訂單，我需要提供什麼個人資訊？
第 1 次嘗試 · 已完成 19863ms載入詳情中…
-
案例 9224316C
我想查詢之前的訂單，怎麼做?
第 1 次嘗試 · 已完成 22720ms載入詳情中…
-
案例 26860856
如果我查詢有多個相關訂單，系統會怎麼處理？
第 1 次嘗試 · 已完成 13155ms載入詳情中…
-
案例 8EF1AA66
我的訂單狀態怎麼樣?
第 1 次嘗試 · 已完成 11865ms載入詳情中…
-
案例 A8913461
常見問題可以查詢些什麼內容?
第 1 次嘗試 · 已完成 31572ms載入詳情中…
-
案例 D3EC6BDC
能不能查一下我的訂單狀態?
第 1 次嘗試 · 已完成 13231ms載入詳情中…
-
案例 8898FAEC
想查詢什麼產品，要提供什麼關鍵字嗎
第 1 次嘗試 · 已完成 11850ms載入詳情中…
-
案例 0934AD6D
我之前下的訂單狀態怎麼查?
第 1 次嘗試 · 已完成 9735ms載入詳情中…
-
案例 41A67380
我需要找髮片，有沒有推薦的？
第 1 次嘗試 · 已完成 9739ms載入詳情中…
-
案例 91440027
想查詢哪款髮片?
第 1 次嘗試 · 已完成 2673ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
75.0%
[37.5% – 100.0%] · n=8
F1 13.6% · 相關率 26.3% · 精確 7.5%
8 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
78.0%
[61.0% – 91.0%] · n=10
10 / 10 適用
-
案例 5EBD5041
可以幫我找三個不同的查詢方式嗎？
第 1 次嘗試 · 已完成 21742ms載入詳情中…
-
案例 A6E29D09
請問轉接真人客服的時候需要確認什麼情況？
第 1 次嘗試 · 已完成 30952ms載入詳情中…
-
案例 29442E70
如果更改密碼後還會有外洩警示嗎?
第 1 次嘗試 · 已完成 15127ms載入詳情中…
-
案例 3573E367
如果連上 Wi-Fi 看到沒有網際網路的訊息，該怎麼辦?
第 1 次嘗試 · 已完成 26047ms載入詳情中…
-
案例 279B47F0
怎麼解除定期訂閱啊？
第 1 次嘗試 · 已完成 31167ms載入詳情中…
-
案例 9A7C9C69
如果我還沒用Google帳戶登入Whoscall，怎麼恢復資料？
第 1 次嘗試 · 已完成 19076ms載入詳情中…
-
案例 75DE7A5F
SMS 도우미是什麼時候推出的？
第 1 次嘗試 · 已完成 12152ms載入詳情中…
-
案例 01990D65
為什麼不能隨便註冊認證商家號碼？是什麼情況？
第 1 次嘗試 · 已完成 19133ms載入詳情中…
-
案例 60FC1106
為什麼我被自動續訂了？這樣是代表我同意續訂嗎？
第 1 次嘗試 · 已完成 16395ms載入詳情中…
-
案例 51D6C08C
號碼資料庫目前支援日本地區嗎？
第 1 次嘗試 · 已完成 14578ms載入詳情中…