執行 #247

WEEX 小助手 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:39
耗時
428.5s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2695
Total Bot Cost · USD
61.7%
Prompt Cache Hit
cost per case
$0.0090
cost per 1k tokens
$0.0012
input tokens
226,032
output tokens
3,310
cached tokens — prompt-cache hit
139,392
Total Tokens
229,342
economic efficiency
cost per correct
$0.0014
pass rate
56.7%
17 / 30
judge cost
$0.0239
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • f548601b-feb5-43e5-b0c5-772b7214c304 651 筆 KB
    SystemPrompt: sha256:dbda6361 KBContent: sha256:7509273b Tools: sha256:da07ff95 Scenarios: sha256:874c5ff3 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
2969 ms
Bot 成本（Neptune）
$0.2695
Bot Tokens（Neptune）
229,342
Judge 成本（Eris）
$0.0239
Judge Tokens（Eris）
184,668
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
60.0%
[30.0% – 90.0%] · n=10
F1 23.6% · 相關率 36.7% · 精確 48.0%
10 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
85.7%
[57.1% – 100.0%] · n=7
10 / 10 適用
答得到位 平均
answer_quality
77.0%
[57.0% – 94.3%] · n=10
10 / 10 適用
  • 案例 9EA3EB12

    有沒有強平手續費？

    已完成
    第 1 次嘗試 · 已完成 9694ms

    載入詳情中…
  • 案例 6BBEDCA6

    請問強平手續費怎麼計算？

    已完成
    第 1 次嘗試 · 已完成 12371ms

    載入詳情中…
  • 案例 CCB6309C

    充入的币种和平台支持的不一致怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 15993ms

    載入詳情中…
  • 案例 ED5F4296

    提款可以到支付寶或微信嗎？

    已完成
    第 1 次嘗試 · 已完成 7427ms

    載入詳情中…
  • 案例 6B118E54

    拖動止盈或止損線會有什麼變化?

    已完成
    第 1 次嘗試 · 已完成 10054ms

    載入詳情中…
  • 案例 85DCDEE0

    提幣慢是因為要審核嗎？

    已完成
    第 1 次嘗試 · 已完成 14351ms

    載入詳情中…
  • 案例 549F878C

    取消賣幣需要提供什麼?

    已完成
    第 1 次嘗試 · 已完成 10593ms

    載入詳情中…
  • 案例 1B2ACB56

    合约挖矿返还獎勵是即時發放的嗎？

    已完成
    第 1 次嘗試 · 已完成 12735ms

    載入詳情中…
  • 案例 238E4CD8

    黑夜模式要怎麼調整？

    已完成
    第 1 次嘗試 · 已完成 9847ms

    載入詳情中…
  • 案例 6EE3721C

    請問為什麼無法取得錢包地址或進行內轉？

    已完成
    第 1 次嘗試 · 已完成 12771ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
40.0%
[10.0% – 70.0%] · n=10
F1 30.0% · 召回 40.0% · 精確 25.0%
10 / 10 適用
用對工具 召回
tool_usage
10.0%
[0.0% – 30.0%] · n=10
F1 10.0% · 召回 10.0% · 精確 10.0%
10 / 10 適用
答得到位 平均
answer_quality
52.3%
[36.0% – 71.3%] · n=10
10 / 10 適用
  • 案例 42CDA99A

    我想查詢我的訂單詳情，請問應該怎麼做？

    已完成
    第 1 次嘗試 · 已完成 16376ms

    載入詳情中…
  • 案例 23F9402F

    你們有什麼適合夏天穿的產品推薦嗎

    已完成
    第 1 次嘗試 · 已完成 7242ms

    載入詳情中…
  • 案例 5181CC10

    髮片特性是什麼?

    已完成
    第 1 次嘗試 · 已完成 8665ms

    載入詳情中…
  • 案例 DEB90D5A

    我最近遇到一個仿冒網站，怎麼驗證這個平台是官方的嗎？

    已完成
    第 1 次嘗試 · 已完成 14340ms

    載入詳情中…
  • 案例 7069BEAA

    我的訂單查詢怎麼用？

    已完成
    第 1 次嘗試 · 已完成 14776ms

    載入詳情中…
  • 案例 15312A9B

    官方渠道怎麼驗證啊

    已完成
    第 1 次嘗試 · 已完成 12939ms

    載入詳情中…
  • 案例 94E9B071

    請問我的訂單狀態如何查詢？

    已完成
    第 1 次嘗試 · 已完成 11002ms

    載入詳情中…
  • 案例 3413346A

    查詢FAQ時，我需要提供什麼搜尋參數?

    已完成
    第 1 次嘗試 · 已完成 19623ms

    載入詳情中…
  • 案例 DD252854

    如果找不到我的訂單，該怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 8636ms

    載入詳情中…
  • 案例 DBD97F53

    查詢訂單要提供什麼個人資訊?

    已完成
    第 1 次嘗試 · 已完成 10474ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
44.4%
[11.1% – 77.8%] · n=9
F1 14.3% · 相關率 16.1% · 精確 19.6%
9 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
77.8%
[44.4% – 100.0%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
69.3%
[48.3% – 89.0%] · n=10
10 / 10 適用
  • 案例 59984CA8

    分仓最多可以開幾筆委託?

    已完成
    第 1 次嘗試 · 已完成 7259ms

    載入詳情中…
  • 案例 0796A9BB

    有什麼推薦的商品啊？

    已完成
    第 1 次嘗試 · 已完成 11072ms

    載入詳情中…
  • 案例 61EB7A7D

    如何切換不同法幣顯示？

    已完成
    第 1 次嘗試 · 已完成 14449ms

    載入詳情中…
  • 案例 7B46F3F7

    充入不支持的幣種怎麼辦

    已完成
    第 1 次嘗試 · 已完成 14794ms

    載入詳情中…
  • 案例 E7A3782E

    請問我在 App 中要怎麼綁定錢包？

    已完成
    第 1 次嘗試 · 已完成 35412ms

    載入詳情中…
  • 案例 E671E8E7

    WEEX的官方X社群網址是多少？

    已完成
    第 1 次嘗試 · 已完成 10986ms

    載入詳情中…
  • 案例 AB0AE271

    我已經設定的止盈止損可以改嗎？

    已完成
    第 1 次嘗試 · 已完成 13873ms

    載入詳情中…
  • 案例 867B1E80

    為什麼抽獎活動的獎勵無法領取？

    已完成
    第 1 次嘗試 · 已完成 12693ms

    載入詳情中…
  • 案例 998B588F

    現貨價格保護是根據什麼設定的？

    已完成
    第 1 次嘗試 · 已完成 11111ms

    載入詳情中…
  • 案例 1393C1A2

    我邀请的好友為什麼沒拿到獎勵？

    已完成
    第 1 次嘗試 · 已完成 20299ms

    載入詳情中…