執行 #248

WEEX 小助手 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:39
耗時
401.6s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2476
Total Bot Cost · USD
68.8%
Prompt Cache Hit
cost per case
$0.0083
cost per 1k tokens
$0.0011
input tokens
229,143
output tokens
3,235
cached tokens — prompt-cache hit
157,696
Total Tokens
232,378
economic efficiency
cost per correct
$0.0014
pass rate
56.7%
17 / 30
judge cost
$0.0237
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • f548601b-feb5-43e5-b0c5-772b7214c304 651 筆 KB
    SystemPrompt: sha256:dbda6361 KBContent: sha256:7509273b Tools: sha256:da07ff95 Scenarios: sha256:874c5ff3 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
14325 ms
Bot 成本（Neptune）
$0.2476
Bot Tokens（Neptune）
232,378
Judge 成本（Eris）
$0.0237
Judge Tokens（Eris）
185,325
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
60.0%
[30.0% – 90.0%] · n=10
F1 17.0% · 相關率 23.3% · 精確 40.0%
10 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
85.7%
[57.1% – 100.0%] · n=7
10 / 10 適用
答得到位 平均
answer_quality
77.7%
[58.7% – 93.0%] · n=10
10 / 10 適用
  • 案例 9EA3EB12

    有沒有強平手續費？

    已完成
    第 1 次嘗試 · 已完成 29457ms

    載入詳情中…
  • 案例 6BBEDCA6

    請問強平手續費怎麼計算？

    已完成
    第 1 次嘗試 · 已完成 26436ms

    載入詳情中…
  • 案例 CCB6309C

    充入的币种和平台支持的不一致怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 31514ms

    載入詳情中…
  • 案例 ED5F4296

    提款可以到支付寶或微信嗎？

    已完成
    第 1 次嘗試 · 已完成 24146ms

    載入詳情中…
  • 案例 6B118E54

    拖動止盈或止損線會有什麼變化?

    已完成
    第 1 次嘗試 · 已完成 19634ms

    載入詳情中…
  • 案例 85DCDEE0

    提幣慢是因為要審核嗎？

    已完成
    第 1 次嘗試 · 已完成 32906ms

    載入詳情中…
  • 案例 549F878C

    取消賣幣需要提供什麼?

    已完成
    第 1 次嘗試 · 已完成 22624ms

    載入詳情中…
  • 案例 1B2ACB56

    合约挖矿返还獎勵是即時發放的嗎？

    已完成
    第 1 次嘗試 · 已完成 41878ms

    載入詳情中…
  • 案例 238E4CD8

    黑夜模式要怎麼調整？

    已完成
    第 1 次嘗試 · 已完成 35244ms

    載入詳情中…
  • 案例 6EE3721C

    請問為什麼無法取得錢包地址或進行內轉？

    已完成
    第 1 次嘗試 · 已完成 34514ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
40.0%
[10.0% – 70.0%] · n=10
F1 30.0% · 召回 40.0% · 精確 25.0%
10 / 10 適用
用對工具 召回
tool_usage
10.0%
[0.0% – 30.0%] · n=10
F1 10.0% · 召回 10.0% · 精確 10.0%
10 / 10 適用
答得到位 平均
answer_quality
56.7%
[39.0% – 73.7%] · n=10
10 / 10 適用
  • 案例 42CDA99A

    我想查詢我的訂單詳情，請問應該怎麼做？

    已完成
    第 1 次嘗試 · 已完成 37226ms

    載入詳情中…
  • 案例 23F9402F

    你們有什麼適合夏天穿的產品推薦嗎

    已完成
    第 1 次嘗試 · 已完成 30035ms

    載入詳情中…
  • 案例 5181CC10

    髮片特性是什麼?

    已完成
    第 1 次嘗試 · 已完成 32684ms

    載入詳情中…
  • 案例 DEB90D5A

    我最近遇到一個仿冒網站，怎麼驗證這個平台是官方的嗎？

    已完成
    第 1 次嘗試 · 已完成 27562ms

    載入詳情中…
  • 案例 7069BEAA

    我的訂單查詢怎麼用？

    已完成
    第 1 次嘗試 · 已完成 21593ms

    載入詳情中…
  • 案例 15312A9B

    官方渠道怎麼驗證啊

    已完成
    第 1 次嘗試 · 已完成 40101ms

    載入詳情中…
  • 案例 94E9B071

    請問我的訂單狀態如何查詢？

    已完成
    第 1 次嘗試 · 已完成 37766ms

    載入詳情中…
  • 案例 3413346A

    查詢FAQ時，我需要提供什麼搜尋參數?

    已完成
    第 1 次嘗試 · 已完成 36397ms

    載入詳情中…
  • 案例 DD252854

    如果找不到我的訂單，該怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 30124ms

    載入詳情中…
  • 案例 DBD97F53

    查詢訂單要提供什麼個人資訊?

    已完成
    第 1 次嘗試 · 已完成 30952ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
44.4%
[11.1% – 77.8%] · n=9
F1 14.3% · 相關率 19.4% · 精確 19.6%
9 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
66.7%
[33.3% – 88.9%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
68.7%
[48.0% – 87.7%] · n=10
10 / 10 適用
  • 案例 59984CA8

    分仓最多可以開幾筆委託?

    已完成
    第 1 次嘗試 · 已完成 23454ms

    載入詳情中…
  • 案例 0796A9BB

    有什麼推薦的商品啊？

    已完成
    第 1 次嘗試 · 已完成 26954ms

    載入詳情中…
  • 案例 61EB7A7D

    如何切換不同法幣顯示？

    已完成
    第 1 次嘗試 · 已完成 22558ms

    載入詳情中…
  • 案例 7B46F3F7

    充入不支持的幣種怎麼辦

    已完成
    第 1 次嘗試 · 已完成 36569ms

    載入詳情中…
  • 案例 E7A3782E

    請問我在 App 中要怎麼綁定錢包？

    已完成
    第 1 次嘗試 · 已完成 36260ms

    載入詳情中…
  • 案例 E671E8E7

    WEEX的官方X社群網址是多少？

    已完成
    第 1 次嘗試 · 已完成 32801ms

    載入詳情中…
  • 案例 AB0AE271

    我已經設定的止盈止損可以改嗎？

    已完成
    第 1 次嘗試 · 已完成 36131ms

    載入詳情中…
  • 案例 867B1E80

    為什麼抽獎活動的獎勵無法領取？

    已完成
    第 1 次嘗試 · 已完成 33958ms

    載入詳情中…
  • 案例 998B588F

    現貨價格保護是根據什麼設定的？

    已完成
    第 1 次嘗試 · 已完成 29777ms

    載入詳情中…
  • 案例 1393C1A2

    我邀请的好友為什麼沒拿到獎勵？

    已完成
    第 1 次嘗試 · 已完成 34197ms

    載入詳情中…