執行 #212

SWAG Creator AI bot (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:19
耗時
1008.7s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1371
Total Bot Cost · USD
81.3%
Prompt Cache Hit
cost per case
$0.0046
cost per 1k tokens
$0.0010
input tokens
132,259
output tokens
4,236
cached tokens — prompt-cache hit
107,520
Total Tokens
136,495
economic efficiency
cost per correct
$0.0013
pass rate
73.3%
22 / 30
judge cost
$0.0285
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 34eb669a-4362-4481-8f19-6dbf611d5215 168 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:9842c6dc Tools: sha256:cb414772 Scenarios: sha256:7924da8e AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
1
首字延遲 p95
12609 ms
Bot 成本（Neptune）
$0.1371
Bot Tokens（Neptune）
136,495
Judge 成本（Eris）
$0.0285
Judge Tokens（Eris）
216,797
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 13.3% · 精確 10.0%
10 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
94.0%
[89.3% – 98.0%] · n=10
10 / 10 適用
  • 案例 C468F59D

    推薦獎金是怎麼計算的?

    已完成
    第 1 次嘗試 · 已完成 38216ms

    載入詳情中…
  • 案例 38133277

    固定時段直播多少時候可以改?

    已完成
    第 1 次嘗試 · 已完成 37927ms

    載入詳情中…
  • 案例 842D7E26

    請問怎麼在貼文選單中找到刪除選項？

    已完成
    第 1 次嘗試 · 已完成 29786ms

    載入詳情中…
  • 案例 AA913BF6

    新主播報備前要注意什麼?

    已完成
    第 1 次嘗試 · 已完成 50740ms

    載入詳情中…
  • 案例 694FD9B9

    如何使用置頂（限時動態）功能?

    已完成
    第 1 次嘗試 · 已完成 18669ms

    載入詳情中…
  • 案例 D1C4C365

    請問主播後援站的網址是什麼？

    已完成
    第 1 次嘗試 · 已完成 32221ms

    載入詳情中…
  • 案例 EEE8A6EF

    如果在出款公告截止時間前收到實體發票，請問可以何時出款？

    已完成
    第 1 次嘗試 · 已完成 43168ms

    載入詳情中…
  • 案例 73863AF5

    Hashtag 是什麼?

    已完成
    第 1 次嘗試 · 已完成 25852ms

    載入詳情中…
  • 案例 3303B75F

    限時動態要怎麼刪除？

    已完成
    第 1 次嘗試 · 已完成 28821ms

    載入詳情中…
  • 案例 15FEC529

    編輯內文（限時動態）要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 34056ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=5
F1 100.0% · 召回 100.0% · 精確 100.0%
5 / 10 適用
答得到位 平均
answer_quality
74.7%
[62.7% – 85.3%] · n=10
10 / 10 適用
  • 案例 0BC3BD62

    我要回報問題，出錯了

    已完成
    第 1 次嘗試 · 已完成 37650ms

    載入詳情中…
  • 案例 D7126101

    我遇到系統錯誤，想請問需要提供什麼資訊來回報呢？

    已完成
    第 1 次嘗試 · 已完成 21311ms

    載入詳情中…
  • 案例 D79671DB

    我發現系統有問題，怎麼報告？

    已完成
    第 1 次嘗試 · 已完成 20739ms

    載入詳情中…
  • 案例 E85BB0B9

    我遇到錯誤要怎麼回報?

    已完成
    第 1 次嘗試 · 已完成 31903ms

    載入詳情中…
  • 案例 7DB45E5C

    請問我可以查詢我的訂單詳情嗎？

    已完成
    第 1 次嘗試 · 已完成 26138ms

    載入詳情中…
  • 案例 7967DCD2

    我想查詢一下我的訂單狀態，請問需要提供什麼資料呢？

    已完成
    第 1 次嘗試 · 已完成 23467ms

    載入詳情中…
  • 案例 4E7B16DF

    我想查詢我的訂單狀態，可以幫我看看嗎?

    已完成
    第 1 次嘗試 · 已完成 23392ms

    載入詳情中…
  • 案例 E9ED93A9

    那個髮片怎麼用啊？

    已完成
    第 1 次嘗試 · 已完成 25040ms

    載入詳情中…
  • 案例 658DB87F

    我想回報系統有問題，可以怎麼做？

    已完成
    第 1 次嘗試 · 已完成 20672ms

    載入詳情中…
  • 案例 0C72C275

    我的訂單有沒有找到？

    已完成
    第 1 次嘗試 · 已完成 31242ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 36.3% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
85.2%
[63.0% – 100.0%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
76.7%
[56.7% – 92.7%] · n=10
10 / 10 適用
  • 案例 5893E528

    請問怎麼參加主題直播呢？

    已完成
    第 1 次嘗試 · 已完成 30477ms

    載入詳情中…
  • 案例 7AED09C7

    統一搜尋是怎麼運作的？

    已完成
    第 1 次嘗試 · 已完成 30288ms

    載入詳情中…
  • 案例 27E9C502

    如何回報系統的錯誤問題?

    已完成
    第 1 次嘗試 · 已完成 47152ms

    載入詳情中…
  • 案例 90EA00A3

    請問收到勞報單回填的gmail信箱要怎麼確認？

    已完成
    第 1 次嘗試 · 已完成 38087ms

    載入詳情中…
  • 案例 B5713928

    請問我可以主動私訊其他用戶嗎？

    已完成
    第 1 次嘗試 · 已完成 37093ms

    載入詳情中…
  • 案例 D8A9C217

    行為分數是什麼啊？

    已完成
    第 1 次嘗試 · 已完成 38659ms

    載入詳情中…
  • 案例 827D1E7E

    編輯內文的詳細資訊在哪裡找?

    已完成
    第 1 次嘗試 · 已完成 34261ms

    載入詳情中…
  • 案例 0E3F5F66

    如果我有加入工會，可以免扣補充保險費嗎?

    已完成
    第 1 次嘗試 · 已完成 34344ms

    載入詳情中…
  • 案例 709CD50D

    上傳有什麼規則限制？

    已完成
    第 1 次嘗試 · 已完成 29428ms

    載入詳情中…
  • 案例 66F37062

    貼文介紹的網址是什麼？

    已完成
    第 1 次嘗試 · 已完成 22834ms

    載入詳情中…