執行 #240
TransBiz AI 小幫手 (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 30
- 開始時間
- 16 May 12:35
- 耗時
- 1105.9s
Cost & Tokens
$0.2299
Total Bot Cost · USD
80.5%
Prompt Cache Hit
- cost per case
- $0.0077
- cost per 1k tokens
- $0.0010
- input tokens
- 216,967
- output tokens
- 7,261
- cached tokens — prompt-cache hit
- 174,720
- Total Tokens
- 224,228
- cost per correct
- $0.0018
- pass rate
- 83.3%
- 25 / 30
- judge cost
- $0.0451
設定快照（reproducibility）
Bot 設定快照
-
addfc40e-d5e6-46bd-b481-18e19740caa1
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
30 / 30
0
3
11118 ms
$0.2299
224,228
$0.0451
326,546
知識庫精準度
知識庫精準度
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 22.5% · 精確 10.0%
10 / 10 適用
·
2 提示
不亂編造
平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
95.0%
[92.3% – 98.0%] · n=10
10 / 10 適用
-
案例 E66C918E
亞馬遜開通 ACCS 服務是什麼意思？
第 1 次嘗試 · 已完成 39486ms載入詳情中…
-
案例 203EAF2A
在 Amazon 上賣特殊商品要怎麼申請批准？
第 1 次嘗試 · 已完成 21523ms載入詳情中…
-
案例 17285C00
影片中有介紹 Amazon 的金物流處理方式嗎?
第 1 次嘗試 · 已完成 22697ms載入詳情中…
-
案例 232CF5F8
怎麼註冊美國商標?
第 1 次嘗試 · 已完成 29818ms載入詳情中…
-
案例 AC2ED1C0
可以針對我的現況給建議嗎?
第 1 次嘗試 · 已完成 58596ms載入詳情中…
-
案例 0239AFDC
第一階段的免費評估包含哪些內容？
第 1 次嘗試 · 已完成 38047ms載入詳情中…
-
案例 125AE0FA
請問在 Amazon 上可以賣什麼商品呢？
第 1 次嘗試 · 已完成 32286ms載入詳情中…
-
案例 B0D14F1F
使用 Amazon 物流 FBA 退貨時需要付費嗎?
第 1 次嘗試 · 已完成 45401ms載入詳情中…
-
案例 A4E3940F
開立亞馬遜賣家帳戶需要提供什麼信用卡?
第 1 次嘗試 · 已完成 26101ms載入詳情中…
-
案例 93E126EB
請問可以透過哪些平台把產品賣到全世界？
第 1 次嘗試 · 已完成 37877ms載入詳情中…
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 80.0% · 召回 90.0% · 精確 75.0%
10 / 10 適用
用對工具
召回
tool_usage
50.0%
[16.7% – 83.3%] · n=6
F1 50.0% · 召回 50.0% · 精確 50.0%
6 / 10 適用
答得到位
平均
answer_quality
80.7%
[65.7% – 93.3%] · n=10
10 / 10 適用
-
案例 FBB807CB
隱私政策包含哪些內容？
第 1 次嘗試 · 已完成 35653ms載入詳情中…
-
案例 ADA8A9E6
我的訂單現在狀態是什麼?
第 1 次嘗試 · 已完成 34668ms載入詳情中…
-
案例 807D5917
退貨的政策是什麼？
第 1 次嘗試 · 已完成 62849ms載入詳情中…
-
案例 EE9239D9
我想要預約諮詢，手機號碼需要什麼格式?
第 1 次嘗試 · 已完成 35367ms載入詳情中…
-
案例 949C6712
你們有什麼免費資源可以下載嗎？
第 1 次嘗試 · 已完成 25319ms載入詳情中…
-
案例 0E04B969
我想要預約免費諮詢，請問需要幾分鐘的時間？
第 1 次嘗試 · 已完成 33189ms載入詳情中…
-
案例 ED9D70D0
商品退回後怎麼處理？
第 1 次嘗試 · 已完成 33336ms載入詳情中…
-
案例 971B5581
請問可以查詢我的訂單狀態嗎？
第 1 次嘗試 · 已完成 31530ms載入詳情中…
-
案例 7B3D7215
查詢我的訂單需要提供什麼個人資訊?
第 1 次嘗試 · 已完成 33601ms載入詳情中…
-
案例 F9FE74CB
有沒有什麼免費的教學資源可以下載?
第 1 次嘗試 · 已完成 31072ms載入詳情中…
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 25.0% · 精確 10.0%
8 / 10 適用
不亂編造
平均
faithfulness
96.7%
[90.0% – 100.0%] · n=10
10 / 10 適用
答得到位
平均
answer_quality
86.7%
[72.7% – 96.0%] · n=10
10 / 10 適用
-
案例 B4A0522C
可以根據什麼資訊搜尋訂單詳情?
第 1 次嘗試 · 已完成 42720ms載入詳情中…
-
案例 69A137E8
我預約諮詢需要提供什麼資訊?
第 1 次嘗試 · 已完成 50290ms載入詳情中…
-
案例 904A4EF4
現在個人賣家怎麼在 Amazon 申請新帳號?
第 1 次嘗試 · 已完成 38177ms載入詳情中…
-
案例 8E7BEFA6
在 Amazon 賣東西有哪些特殊品類的規定？
第 1 次嘗試 · 已完成 44903ms載入詳情中…
-
案例 7B958642
請問 Amazon 的成交抽成大約是多少？
第 1 次嘗試 · 已完成 39587ms載入詳情中…
-
案例 B3AB6D71
請問使用亞馬遜賣家貨幣轉換器 ACCS 轉帳至台灣帳戶的匯率怎麼樣？
第 1 次嘗試 · 已完成 41161ms載入詳情中…
-
案例 987AE59E
跨境電商可以用什麼方式進行交易?
第 1 次嘗試 · 已完成 44170ms載入詳情中…
-
案例 9BB51FFC
開立亞馬遜賣家帳戶需要提供什麼文件啊
第 1 次嘗試 · 已完成 36674ms載入詳情中…
-
案例 2262A838
為什麼我在 Amazon 賣特殊商品時要聯繫賣家支援請求批准？
第 1 次嘗試 · 已完成 39932ms載入詳情中…
-
案例 BEF1B0A1
開 Amazon 全球開店需要繳幾個賣家月費？
第 1 次嘗試 · 已完成 20867ms載入詳情中…