執行 #210

SWAG AI Bot (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:17
耗時
877.1s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1613
Total Bot Cost · USD
81.5%
Prompt Cache Hit
cost per case
$0.0054
cost per 1k tokens
$0.0010
input tokens
157,695
output tokens
4,837
cached tokens — prompt-cache hit
128,512
Total Tokens
162,532
economic efficiency
cost per correct
$0.0017
pass rate
63.3%
19 / 30
judge cost
$0.0321
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 8c188cbc-4145-4ad0-afed-40199c4e9057 211 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:c4138394 Tools: sha256:867fceed Scenarios: sha256:22987116 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
4
首字延遲 p95
9800 ms
Bot 成本（Neptune）
$0.1613
Bot Tokens（Neptune）
162,532
Judge 成本（Eris）
$0.0321
Judge Tokens（Eris）
241,647
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
80.0%
[50.0% – 100.0%] · n=10
F1 14.5% · 相關率 17.5% · 精確 8.0%
10 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
85.7%
[72.0% – 95.7%] · n=10
10 / 10 適用
  • 案例 FFC0BB1D

    主播帳號為什麼會有***?

    已完成
    第 1 次嘗試 · 已完成 40594ms

    載入詳情中…
  • 案例 E23715B2

    傳送圖片或影片時訊息會怎樣顯示？

    已完成
    第 1 次嘗試 · 已完成 33659ms

    載入詳情中…
  • 案例 95CABF3A

    限定表演要怎麼買啊？

    已完成
    第 1 次嘗試 · 已完成 25019ms

    載入詳情中…
  • 案例 1D944497

    主播會看到我的樣子嗎

    已完成
    第 1 次嘗試 · 已完成 32491ms

    載入詳情中…
  • 案例 C63C5EB5

    SWAG App 什麼時候再推出?

    已完成
    第 1 次嘗試 · 已完成 33504ms

    載入詳情中…
  • 案例 A5B8221C

    如果鑽石餘額顯示不正確，該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 40788ms

    載入詳情中…
  • 案例 DA592DB8

    告訴我先付款的事情是不是詐騙？

    已完成
    第 1 次嘗試 · 已完成 34937ms

    載入詳情中…
  • 案例 6994E398

    請問我該如何報告不正行為呢？

    已完成
    第 1 次嘗試 · 已完成 39853ms

    載入詳情中…
  • 案例 47B5A198

    檢舉主播需要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 46851ms

    載入詳情中…
  • 案例 B6B8CCED

    為什麼我會被主播禁言?

    已完成
    第 1 次嘗試 · 已完成 45812ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 73.3% · 召回 80.0% · 精確 70.0%
10 / 10 適用
用對工具 召回
tool_usage
50.0%
[16.7% – 83.3%] · n=6
F1 50.0% · 召回 50.0% · 精確 83.3%
6 / 10 適用
答得到位 平均
answer_quality
54.3%
[34.7% – 74.7%] · n=10
10 / 10 適用
  • 案例 93969C67

    有優惠活動嗎?

    已完成
    第 1 次嘗試 · 已完成 24658ms

    載入詳情中…
  • 案例 761D126F

    請問貴公司有哪幾個社群媒體平台可以關注呢？

    已完成
    第 1 次嘗試 · 已完成 24262ms

    載入詳情中…
  • 案例 31A7B5F4

    我想開立發票，需要提供什麼資訊？

    已完成
    第 1 次嘗試 · 已完成 22632ms

    載入詳情中…
  • 案例 228CE16F

    我遇到問題，怎麼回報呢？

    已完成
    第 1 次嘗試 · 已完成 21728ms

    載入詳情中…
  • 案例 A91A6777

    直播表演黑畫面要怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 19015ms

    載入詳情中…
  • 案例 C2589159

    我上傳了身分證，請問這樣可以開通超商代碼付款嗎？

    已完成
    第 1 次嘗試 · 已完成 20712ms

    載入詳情中…
  • 案例 994EE4ED

    遇到錯誤該怎麼回報?

    已完成
    第 1 次嘗試 · 已完成 30285ms

    載入詳情中…
  • 案例 B1023613

    遇到系統問題要回報，需要提供什麼資訊啊？

    已完成
    第 1 次嘗試 · 已完成 25344ms

    載入詳情中…
  • 案例 72D2F40A

    開立發票要填收信 E-mail 嗎

    已完成
    第 1 次嘗試 · 已完成 22231ms

    載入詳情中…
  • 案例 963E6687

    付款後沒有收到鑽石怎麼辦

    已完成
    第 1 次嘗試 · 已完成 21221ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 37.1% · 精確 10.0%
8 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
84.7%
[68.7% – 97.7%] · n=10
10 / 10 適用
  • 案例 94075BB3

    可以幫我查之前的對話記錄嗎?

    已完成
    第 1 次嘗試 · 已完成 33195ms

    載入詳情中…
  • 案例 2207544F

    現在有什麼活動或優惠嗎?

    已完成
    第 1 次嘗試 · 已完成 43834ms

    載入詳情中…
  • 案例 F47A0E50

    SWAG 官方推特登入還能用嗎

    已完成
    第 1 次嘗試 · 已完成 38426ms

    載入詳情中…
  • 案例 0CC16D9D

    點擊刷新之後，可以確認收到鑽石嗎

    已完成
    第 1 次嘗試 · 已完成 36956ms

    載入詳情中…
  • 案例 9567011C

    驗證碼不對的時候要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 24822ms

    載入詳情中…
  • 案例 5ABEDCDD

    再次回顧觀看紀錄需要花費鑽石嗎

    已完成
    第 1 次嘗試 · 已完成 13903ms

    載入詳情中…
  • 案例 7F805B54

    參加 S CLUB 的花費是多少?

    已完成
    第 1 次嘗試 · 已完成 15569ms

    載入詳情中…
  • 案例 170A8B3C

    沒有暢遊卷怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 33132ms

    載入詳情中…
  • 案例 4C0F5A0F

    我用 iPhone 怎麼傳截圖給主播?

    已完成
    第 1 次嘗試 · 已完成 41460ms

    載入詳情中…
  • 案例 0B47276A

    已購的動態和影片再回顧觀看是否需要再次花費鑽石？

    已完成
    第 1 次嘗試 · 已完成 26388ms

    載入詳情中…