執行 #254
Whoscall 小幫手 (bulk R1) → production-canary (canary)
- 狀態
- 執行中
- 案例
- 25
- 開始時間
- 16 May 12:42
- 耗時
- —
Cost & Tokens
$0.1785
Total Bot Cost · USD
79.7%
Prompt Cache Hit
- cost per case
- $0.0074
- cost per 1k tokens
- $0.0011
- input tokens
- 154,539
- output tokens
- 6,769
- cached tokens — prompt-cache hit
- 123,136
- Total Tokens
- 161,308
- cost per correct
- $0.0014
- pass rate
- 73.9%
- 17 / 23
- judge cost
- $0.0241
設定快照（reproducibility）
Bot 設定快照
-
82c119f9-e209-4f77-9c3e-ce171b73a848
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
24 / 25
0
1
11952 ms
$0.1785
161,308
$0.0241
183,868
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
62.5%
[25.0% – 87.5%] · n=8
F1 11.4% · 相關率 21.3% · 精確 6.3%
8 / 8 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=8
8 / 8 適用
答得到位
平均
answer_quality
88.3%
[73.3% – 97.5%] · n=8
8 / 8 適用
-
案例 6E20BC66
要怎麼啟用自動檢查簡訊連結功能？
等候 orchestrator 處理此案例…
-
案例 5685CCE6
無線電話要怎樣才能清除未接來電訊息?
等候 orchestrator 處理此案例…
-
案例 11C14386
Android 的進階版帳號可以轉移到 iPhone 嗎?
第 1 次嘗試 · 已完成 26776ms載入詳情中…
-
案例 6646A08D
啟用自動過濾簡訊後，Whoscall 會知道簡訊內容嗎?
第 1 次嘗試 · 已完成 37080ms載入詳情中…
-
案例 740E4BDD
Gogolook 如何確保資料安全?
第 1 次嘗試 · 已完成 44609ms載入詳情中…
-
案例 45DF67CC
如果「號碼識別」功能有問題，我該怎麼辦？
第 1 次嘗試 · 已完成 50132ms載入詳情中…
-
案例 07C2A60F
Whoscall Premium 版有自動拒絕功能嗎
第 1 次嘗試 · 已完成 42608ms載入詳情中…
-
案例 F5AD9367
簡訊驗證碼是為了什麼?
第 1 次嘗試 · 已完成 44711ms載入詳情中…
-
案例 75DCE919
被標示為垃圾的號碼後，收到的訊息會自動變成垃圾嗎?
第 1 次嘗試 · 已完成 46925ms載入詳情中…
-
案例 30A2851A
這個號碼在封鎖清單中嗎？
第 1 次嘗試 · 已完成 45174ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
71.4%
[28.6% – 100.0%] · n=7
F1 61.9% · 召回 71.4% · 精確 57.1%
7 / 7 適用
用對工具
召回
tool_usage
42.9%
[14.3% – 71.4%] · n=7
F1 42.9% · 召回 42.9% · 精確 42.9%
7 / 7 適用
答得到位
平均
answer_quality
65.2%
[50.5% – 80.5%] · n=7
7 / 7 適用
-
案例 6048BD16
要查詢我的訂單，我需要提供什麼個人資訊？
等候 orchestrator 處理此案例…
-
案例 9224316C
我想查詢之前的訂單，怎麼做?
第 1 次嘗試 · 已完成 36945ms載入詳情中…
-
案例 26860856
如果我查詢有多個相關訂單，系統會怎麼處理？
第 1 次嘗試 · 已完成 40490ms載入詳情中…
-
案例 8EF1AA66
我的訂單狀態怎麼樣?
第 1 次嘗試 · 已完成 25382ms載入詳情中…
-
案例 A8913461
常見問題可以查詢些什麼內容?
第 1 次嘗試 · 已完成 56578ms載入詳情中…
-
案例 D3EC6BDC
能不能查一下我的訂單狀態?
第 1 次嘗試 · 已完成 39548ms載入詳情中…
-
案例 8898FAEC
想查詢什麼產品，要提供什麼關鍵字嗎
第 1 次嘗試 · 已完成 34239ms載入詳情中…
-
案例 0934AD6D
我之前下的訂單狀態怎麼查?
第 1 次嘗試 · 已完成 29880ms載入詳情中…
-
案例 41A67380
我需要找髮片，有沒有推薦的？
等候 orchestrator 處理此案例…
-
案例 91440027
想查詢哪款髮片?
等候 orchestrator 處理此案例…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
71.4%
[42.9% – 100.0%] · n=7
F1 13.0% · 相關率 24.3% · 精確 7.1%
8 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=8
10 / 10 適用
答得到位
平均
answer_quality
84.6%
[77.5% – 91.7%] · n=8
10 / 10 適用
-
案例 5EBD5041
可以幫我找三個不同的查詢方式嗎？
第 1 次嘗試 · 已完成 57918ms載入詳情中…
-
案例 A6E29D09
請問轉接真人客服的時候需要確認什麼情況？
第 1 次嘗試 · 已完成 47733ms載入詳情中…
-
案例 29442E70
如果更改密碼後還會有外洩警示嗎?
第 1 次嘗試 · 已完成 33442ms載入詳情中…
-
案例 3573E367
如果連上 Wi-Fi 看到沒有網際網路的訊息，該怎麼辦?
第 1 次嘗試 · 已完成 32940ms載入詳情中…
-
案例 279B47F0
怎麼解除定期訂閱啊？
第 1 次嘗試 · 已完成 51049ms載入詳情中…
-
案例 9A7C9C69
如果我還沒用Google帳戶登入Whoscall，怎麼恢復資料？
第 1 次嘗試 · 已完成 44281ms載入詳情中…
-
案例 75DE7A5F
SMS 도우미是什麼時候推出的？
第 1 次嘗試 · 已完成 24351ms載入詳情中…
-
案例 01990D65
為什麼不能隨便註冊認證商家號碼？是什麼情況？
第 1 次嘗試 · 已完成 41700ms載入詳情中…
-
案例 60FC1106
為什麼我被自動續訂了？這樣是代表我同意續訂嗎？
第 1 次嘗試 · 已完成 40182ms載入詳情中…
-
案例 51D6C08C
號碼資料庫目前支援日本地區嗎？
第 1 次嘗試 · 執行中載入詳情中…