執行 #211

SWAG Creator AI bot (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:18
耗時
334.4s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1743
Total Bot Cost · USD
65.1%
Prompt Cache Hit
cost per case
$0.0058
cost per 1k tokens
$0.0012
input tokens
136,263
output tokens
4,351
cached tokens — prompt-cache hit
88,704
Total Tokens
140,614
economic efficiency
cost per correct
$0.0012
pass rate
80.0%
24 / 30
judge cost
$0.03
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 34eb669a-4362-4481-8f19-6dbf611d5215 168 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:9842c6dc Tools: sha256:cb414772 Scenarios: sha256:7924da8e AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
1
首字延遲 p95
2969 ms
Bot 成本（Neptune）
$0.1743
Bot Tokens（Neptune）
140,614
Judge 成本（Eris）
$0.0300
Judge Tokens（Eris）
222,535
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 15.6% · 精確 10.0%
10 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
94.7%
[90.0% – 99.0%] · n=10
10 / 10 適用
  • 案例 C468F59D

    推薦獎金是怎麼計算的?

    已完成
    第 1 次嘗試 · 已完成 15785ms

    載入詳情中…
  • 案例 38133277

    固定時段直播多少時候可以改?

    已完成
    第 1 次嘗試 · 已完成 13277ms

    載入詳情中…
  • 案例 842D7E26

    請問怎麼在貼文選單中找到刪除選項？

    已完成
    第 1 次嘗試 · 已完成 14947ms

    載入詳情中…
  • 案例 AA913BF6

    新主播報備前要注意什麼?

    已完成
    第 1 次嘗試 · 已完成 16234ms

    載入詳情中…
  • 案例 694FD9B9

    如何使用置頂（限時動態）功能?

    已完成
    第 1 次嘗試 · 已完成 19425ms

    載入詳情中…
  • 案例 D1C4C365

    請問主播後援站的網址是什麼？

    已完成
    第 1 次嘗試 · 已完成 16874ms

    載入詳情中…
  • 案例 EEE8A6EF

    如果在出款公告截止時間前收到實體發票，請問可以何時出款？

    已完成
    第 1 次嘗試 · 已完成 11027ms

    載入詳情中…
  • 案例 73863AF5

    Hashtag 是什麼?

    已完成
    第 1 次嘗試 · 已完成 8132ms

    載入詳情中…
  • 案例 3303B75F

    限時動態要怎麼刪除？

    已完成
    第 1 次嘗試 · 已完成 16231ms

    載入詳情中…
  • 案例 15FEC529

    編輯內文（限時動態）要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 20903ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 96.7% · 召回 100.0% · 精確 95.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=5
F1 100.0% · 召回 100.0% · 精確 100.0%
5 / 10 適用
答得到位 平均
answer_quality
71.7%
[54.0% – 86.3%] · n=10
10 / 10 適用
  • 案例 0BC3BD62

    我要回報問題，出錯了

    已完成
    第 1 次嘗試 · 已完成 11316ms

    載入詳情中…
  • 案例 D7126101

    我遇到系統錯誤，想請問需要提供什麼資訊來回報呢？

    已完成
    第 1 次嘗試 · 已完成 14616ms

    載入詳情中…
  • 案例 D79671DB

    我發現系統有問題，怎麼報告？

    已完成
    第 1 次嘗試 · 已完成 12146ms

    載入詳情中…
  • 案例 E85BB0B9

    我遇到錯誤要怎麼回報?

    已完成
    第 1 次嘗試 · 已完成 21291ms

    載入詳情中…
  • 案例 7DB45E5C

    請問我可以查詢我的訂單詳情嗎？

    已完成
    第 1 次嘗試 · 已完成 12118ms

    載入詳情中…
  • 案例 7967DCD2

    我想查詢一下我的訂單狀態，請問需要提供什麼資料呢？

    已完成
    第 1 次嘗試 · 已完成 10193ms

    載入詳情中…
  • 案例 4E7B16DF

    我想查詢我的訂單狀態，可以幫我看看嗎?

    已完成
    第 1 次嘗試 · 已完成 14180ms

    載入詳情中…
  • 案例 E9ED93A9

    那個髮片怎麼用啊？

    已完成
    第 1 次嘗試 · 已完成 11319ms

    載入詳情中…
  • 案例 658DB87F

    我想回報系統有問題，可以怎麼做？

    已完成
    第 1 次嘗試 · 已完成 10718ms

    載入詳情中…
  • 案例 0C72C275

    我的訂單有沒有找到？

    已完成
    第 1 次嘗試 · 已完成 12188ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 40.0% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
86.7%
[66.7% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
81.7%
[65.3% – 94.3%] · n=10
10 / 10 適用
  • 案例 5893E528

    請問怎麼參加主題直播呢？

    已完成
    第 1 次嘗試 · 已完成 11700ms

    載入詳情中…
  • 案例 7AED09C7

    統一搜尋是怎麼運作的？

    已完成
    第 1 次嘗試 · 已完成 12406ms

    載入詳情中…
  • 案例 27E9C502

    如何回報系統的錯誤問題?

    已完成
    第 1 次嘗試 · 已完成 18012ms

    載入詳情中…
  • 案例 90EA00A3

    請問收到勞報單回填的gmail信箱要怎麼確認？

    已完成
    第 1 次嘗試 · 已完成 18941ms

    載入詳情中…
  • 案例 B5713928

    請問我可以主動私訊其他用戶嗎？

    已完成
    第 1 次嘗試 · 已完成 20835ms

    載入詳情中…
  • 案例 D8A9C217

    行為分數是什麼啊？

    已完成
    第 1 次嘗試 · 已完成 11680ms

    載入詳情中…
  • 案例 827D1E7E

    編輯內文的詳細資訊在哪裡找?

    已完成
    第 1 次嘗試 · 已完成 19843ms

    載入詳情中…
  • 案例 0E3F5F66

    如果我有加入工會，可以免扣補充保險費嗎?

    已完成
    第 1 次嘗試 · 已完成 18000ms

    載入詳情中…
  • 案例 709CD50D

    上傳有什麼規則限制？

    已完成
    第 1 次嘗試 · 已完成 15524ms

    載入詳情中…
  • 案例 66F37062

    貼文介紹的網址是什麼？

    已完成
    第 1 次嘗試 · 已完成 12616ms

    載入詳情中…