執行 #80
BitoPro (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 11:18
- 耗時
- 568.8s
Cost & Tokens
$0.1935
Total Bot Cost · USD
74.3%
Prompt Cache Hit
- cost per case
- $0.0064
- cost per 1k tokens
- $0.0011
- input tokens
- 169,756
- output tokens
- 5,386
- cached tokens — prompt-cache hit
- 126,080
- Total Tokens
- 175,142
- cost per correct
- $0.0012
- pass rate
- 83.3%
- 25 / 30
- judge cost
- $0.0306
設定快照（reproducibility）
Bot 設定快照
-
97fef389-3e77-4a76-b7e8-b012fd3f38a1
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
0
11654 ms
$0.1935
175,142
$0.0306
228,519
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
90.0%
[70.0% – 100.0%] · n=10
F1 30.0% · 相關率 48.0% · 精確 18.0%
10 / 10 適用
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
94.7%
[91.0% – 97.7%] · n=10
10 / 10 適用
-
案例 7C3F9D8E
幣託 X 凱基幣享卡可以兌換什麼幣?
第 1 次嘗試 · 已完成 27683ms載入詳情中…
-
案例 36F15CEC
請問債權利息什麼時候會返回我帳號？
第 1 次嘗試 · 已完成 19975ms載入詳情中…
-
案例 667B0716
你們 BTC 支援什麼錢包地址格式？
第 1 次嘗試 · 已完成 31366ms載入詳情中…
-
案例 9B5F5103
請問我怎麼知道入帳的區塊確認數？
第 1 次嘗試 · 已完成 31209ms載入詳情中…
-
案例 45BA3AA3
退貨要拍冷錢包現況照片嗎
第 1 次嘗試 · 已完成 22902ms載入詳情中…
-
案例 A76FAB6D
註冊 BitoPro 需要準備什麼文件?
第 1 次嘗試 · 已完成 23214ms載入詳情中…
-
案例 9736AE48
我匯款後多久會收到通知?
第 1 次嘗試 · 已完成 18774ms載入詳情中…
-
案例 DD20D22E
提領虛擬貨幣時選錯主網要怎麼辦?
第 1 次嘗試 · 已完成 30100ms載入詳情中…
-
案例 739C8F0B
定期定額購買比特幣可以設定手機條碼載具嗎?
第 1 次嘗試 · 已完成 31043ms載入詳情中…
-
案例 D92D3BEB
帳號被鎖定要怎麼請求協助?
第 1 次嘗試 · 已完成 31684ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 90.0% · 召回 100.0% · 精確 85.0%
10 / 10 適用
用對工具
召回
tool_usage
88.9%
[66.7% – 100.0%] · n=9
F1 88.9% · 召回 88.9% · 精確 100.0%
9 / 10 適用
答得到位
平均
answer_quality
78.7%
[66.0% – 88.3%] · n=10
10 / 10 適用
-
案例 A6E6E380
請問我的訂單目前的狀態是什麼？
第 1 次嘗試 · 已完成 26466ms載入詳情中…
-
案例 B1067452
我想查詢我的訂單狀態，但是需要提供什麼個人資訊？
第 1 次嘗試 · 已完成 27889ms載入詳情中…
-
案例 4FBA69AC
審核結果會寄信嗎?
第 1 次嘗試 · 已完成 14615ms載入詳情中…
-
案例 554251D9
我可以查詢一下我的訂單狀態嗎？
第 1 次嘗試 · 已完成 26116ms載入詳情中…
-
案例 930E1DB4
怎麼查詢你們的產品資訊?
第 1 次嘗試 · 已完成 21473ms載入詳情中…
-
案例 635F15C2
目前有什麼活動或優惠嗎？
第 1 次嘗試 · 已完成 40054ms載入詳情中…
-
案例 346FFBF5
有聽人說在網路上打工要求註冊的事情，這樣會不會有詐騙啊?
第 1 次嘗試 · 已完成 43155ms載入詳情中…
-
案例 7E204CFE
我看到說登錄滿20張發票可以獲得全家點數3500點，這是真的嗎？
第 1 次嘗試 · 已完成 25054ms載入詳情中…
-
案例 83B2E61B
這款產品怎麼使用?
第 1 次嘗試 · 已完成 36489ms載入詳情中…
-
案例 9662F0B5
我的身分驗證結果會寄信通知嗎?
第 1 次嘗試 · 已完成 23335ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
75.0%
[37.5% – 100.0%] · n=8
F1 25.0% · 相關率 57.5% · 精確 15.0%
8 / 10 適用
不亂編造
平均
faithfulness
98.3%
[95.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
76.7%
[54.0% – 92.3%] · n=10
10 / 10 適用
-
案例 5D18A86C
為什麼無法直接轉接真人客服?
第 1 次嘗試 · 已完成 42568ms載入詳情中…
-
案例 D38F88D3
你們的知識來源可以搜尋嗎
第 1 次嘗試 · 已完成 33953ms載入詳情中…
-
案例 5A5344AF
使用注意事項有哪些?
第 1 次嘗試 · 已完成 33291ms載入詳情中…
-
案例 9B9D9E2A
虛擬貨幣的不可逆特質是什麼?
第 1 次嘗試 · 已完成 21251ms載入詳情中…
-
案例 04AEB540
債權認購後可以取消嗎?
第 1 次嘗試 · 已完成 26811ms載入詳情中…
-
案例 D188F5EB
提領虛擬貨幣沒有收到，要確認什麼?
第 1 次嘗試 · 已完成 24791ms載入詳情中…
-
案例 28C06F8F
提領加密貨幣後，審核要多久?
第 1 次嘗試 · 已完成 34104ms載入詳情中…
-
案例 492029A9
銀行驗證資料錯誤要怎麼處理?
第 1 次嘗試 · 已完成 23949ms載入詳情中…
-
案例 CBF2C2FC
重新登入時間內還錯誤，怎麼辦?
第 1 次嘗試 · 已完成 19744ms載入詳情中…
-
案例 0763B455
重設交易密碼的第二步是什麼？
第 1 次嘗試 · 已完成 33442ms載入詳情中…