執行 #240

TransBiz AI 小幫手 (bulk R1) → production-canary (canary)

狀態
已完成
案例
30
開始時間
16 May 12:35
耗時
1105.9s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2299
Total Bot Cost · USD
80.5%
Prompt Cache Hit
cost per case
$0.0077
cost per 1k tokens
$0.0010
input tokens
216,967
output tokens
7,261
cached tokens — prompt-cache hit
174,720
Total Tokens
224,228
economic efficiency
cost per correct
$0.0018
pass rate
83.3%
25 / 30
judge cost
$0.0451
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • addfc40e-d5e6-46bd-b481-18e19740caa1 38 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:7a9c96b6 Tools: sha256:cb414772 Scenarios: sha256:a4b8e5f2 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
3
首字延遲 p95
11118 ms
Bot 成本(Neptune)
$0.2299
Bot Tokens(Neptune)
224,228
Judge 成本(Eris)
$0.0451
Judge Tokens(Eris)
326,546
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 22.5% · 精確 10.0%
10 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
95.0%
[92.3% – 98.0%] · n=10
10 / 10 適用
  • 案例 E66C918E

    亞馬遜開通 ACCS 服務是什麼意思?

    已完成
    第 1 次嘗試 · 已完成 39486ms

    載入詳情中…

  • 案例 203EAF2A

    在 Amazon 上賣特殊商品要怎麼申請批准?

    已完成
    第 1 次嘗試 · 已完成 21523ms

    載入詳情中…

  • 案例 17285C00

    影片中有介紹 Amazon 的金物流處理方式嗎?

    已完成
    第 1 次嘗試 · 已完成 22697ms

    載入詳情中…

  • 案例 232CF5F8

    怎麼註冊美國商標?

    已完成
    第 1 次嘗試 · 已完成 29818ms

    載入詳情中…

  • 案例 AC2ED1C0

    可以針對我的現況給建議嗎?

    已完成
    第 1 次嘗試 · 已完成 58596ms

    載入詳情中…

  • 案例 0239AFDC

    第一階段的免費評估包含哪些內容?

    已完成
    第 1 次嘗試 · 已完成 38047ms

    載入詳情中…

  • 案例 125AE0FA

    請問在 Amazon 上可以賣什麼商品呢?

    已完成
    第 1 次嘗試 · 已完成 32286ms

    載入詳情中…

  • 案例 B0D14F1F

    使用 Amazon 物流 FBA 退貨時需要付費嗎?

    已完成
    第 1 次嘗試 · 已完成 45401ms

    載入詳情中…

  • 案例 A4E3940F

    開立亞馬遜賣家帳戶需要提供什麼信用卡?

    已完成
    第 1 次嘗試 · 已完成 26101ms

    載入詳情中…

  • 案例 93E126EB

    請問可以透過哪些平台把產品賣到全世界?

    已完成
    第 1 次嘗試 · 已完成 37877ms

    載入詳情中…

項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 80.0% · 召回 90.0% · 精確 75.0%
10 / 10 適用
用對工具 召回
tool_usage
50.0%
[16.7% – 83.3%] · n=6
F1 50.0% · 召回 50.0% · 精確 50.0%
6 / 10 適用
答得到位 平均
answer_quality
80.7%
[65.7% – 93.3%] · n=10
10 / 10 適用
  • 案例 FBB807CB

    隱私政策包含哪些內容?

    已完成
    第 1 次嘗試 · 已完成 35653ms

    載入詳情中…

  • 案例 ADA8A9E6

    我的訂單現在狀態是什麼?

    已完成
    第 1 次嘗試 · 已完成 34668ms

    載入詳情中…

  • 案例 807D5917

    退貨的政策是什麼?

    已完成
    第 1 次嘗試 · 已完成 62849ms

    載入詳情中…

  • 案例 EE9239D9

    我想要預約諮詢,手機號碼需要什麼格式?

    已完成
    第 1 次嘗試 · 已完成 35367ms

    載入詳情中…

  • 案例 949C6712

    你們有什麼免費資源可以下載嗎?

    已完成
    第 1 次嘗試 · 已完成 25319ms

    載入詳情中…

  • 案例 0E04B969

    我想要預約免費諮詢,請問需要幾分鐘的時間?

    已完成
    第 1 次嘗試 · 已完成 33189ms

    載入詳情中…

  • 案例 ED9D70D0

    商品退回後怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 33336ms

    載入詳情中…

  • 案例 971B5581

    請問可以查詢我的訂單狀態嗎?

    已完成
    第 1 次嘗試 · 已完成 31530ms

    載入詳情中…

  • 案例 7B3D7215

    查詢我的訂單需要提供什麼個人資訊?

    已完成
    第 1 次嘗試 · 已完成 33601ms

    載入詳情中…

  • 案例 F9FE74CB

    有沒有什麼免費的教學資源可以下載?

    已完成
    第 1 次嘗試 · 已完成 31072ms

    載入詳情中…

項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 25.0% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
96.7%
[90.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
86.7%
[72.7% – 96.0%] · n=10
10 / 10 適用
  • 案例 B4A0522C

    可以根據什麼資訊搜尋訂單詳情?

    已完成
    第 1 次嘗試 · 已完成 42720ms

    載入詳情中…

  • 案例 69A137E8

    我預約諮詢需要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 50290ms

    載入詳情中…

  • 案例 904A4EF4

    現在個人賣家怎麼在 Amazon 申請新帳號?

    已完成
    第 1 次嘗試 · 已完成 38177ms

    載入詳情中…

  • 案例 8E7BEFA6

    在 Amazon 賣東西有哪些特殊品類的規定?

    已完成
    第 1 次嘗試 · 已完成 44903ms

    載入詳情中…

  • 案例 7B958642

    請問 Amazon 的成交抽成大約是多少?

    已完成
    第 1 次嘗試 · 已完成 39587ms

    載入詳情中…

  • 案例 B3AB6D71

    請問使用亞馬遜賣家貨幣轉換器 ACCS 轉帳至台灣帳戶的匯率怎麼樣?

    已完成
    第 1 次嘗試 · 已完成 41161ms

    載入詳情中…

  • 案例 987AE59E

    跨境電商可以用什麼方式進行交易?

    已完成
    第 1 次嘗試 · 已完成 44170ms

    載入詳情中…

  • 案例 9BB51FFC

    開立亞馬遜賣家帳戶需要提供什麼文件啊

    已完成
    第 1 次嘗試 · 已完成 36674ms

    載入詳情中…

  • 案例 2262A838

    為什麼我在 Amazon 賣特殊商品時要聯繫賣家支援請求批准?

    已完成
    第 1 次嘗試 · 已完成 39932ms

    載入詳情中…

  • 案例 BEF1B0A1

    開 Amazon 全球開店需要繳幾個賣家月費?

    已完成
    第 1 次嘗試 · 已完成 20867ms

    載入詳情中…