執行 #175

MatrixCloud AI Agent (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
20
開始時間
16 May 12:04
耗時
448.0s
¶ Economics · Bot-side N=20 attempts

Cost & Tokens

$0.1811
Total Bot Cost · USD
49.0%
Prompt Cache Hit
cost per case
$0.0091
cost per 1k tokens
$0.0015
input tokens
121,422
output tokens
3,443
cached tokens — prompt-cache hit
59,520
Total Tokens
124,865
economic efficiency
cost per correct
$0.0026
pass rate
45.0%
9 / 20
judge cost
$0.0233
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 2ebddf81-c4c2-4f7f-9f3a-c4843cd13954 110 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:6959acd9 Tools: sha256:cb414772 Scenarios: sha256:00311244 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
20 / 20
錯誤
0
失敗維度
2
首字延遲 p95
3347 ms
Bot 成本（Neptune）
$0.1811
Bot Tokens（Neptune）
124,865
Judge 成本（Eris）
$0.0233
Judge Tokens（Eris）
171,997
項目 I.

知識庫精準度

kb_accuracy 5 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=5
F1 18.2% · 相關率 13.3% · 精確 10.0%
5 / 5 適用 · 2 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=5
5 / 5 適用
答得到位 平均
answer_quality
85.3%
[58.7% – 100.0%] · n=5
5 / 5 適用
  • 案例 48FCE1DF

    使用 MatrixCloud 服務需要多少記憶體?

    已完成
    第 1 次嘗試 · 已完成 14524ms

    載入詳情中…
  • 案例 D26728D2

    MIIT 審查要多久?

    已完成
    第 1 次嘗試 · 已完成 13415ms

    載入詳情中…
  • 案例 CA98524E

    請問回撥結果會記錄在哪裡呢？

    已完成
    第 1 次嘗試 · 已完成 14976ms

    載入詳情中…
  • 案例 E6948824

    推薦的 USB 頭戴式耳機是什麼?

    已完成
    第 1 次嘗試 · 已完成 10645ms

    載入詳情中…
  • 案例 1BB48134

    最新版的軟體是什麼版本？

    已完成
    第 1 次嘗試 · 已完成 12005ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[60.0% – 100.0%] · n=10
F1 73.3% · 召回 80.0% · 精確 70.0%
10 / 10 適用
用對工具 召回
tool_usage
70.0%
[40.0% – 100.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 70.0%
10 / 10 適用
答得到位 平均
answer_quality
56.3%
[42.0% – 70.3%] · n=10
10 / 10 適用
  • 案例 317E1A5F

    請問我的訂單狀態是什麼呢？

    已完成
    第 1 次嘗試 · 已完成 11748ms

    載入詳情中…
  • 案例 6284C901

    你們社群媒體有什麼?

    已完成
    第 1 次嘗試 · 已完成 19509ms

    載入詳情中…
  • 案例 B3AA3A34

    請問我可以查詢我的訂單狀態嗎？

    已完成
    第 1 次嘗試 · 已完成 23679ms

    載入詳情中…
  • 案例 C875F978

    訂單查詢要怎麼做啊

    已完成
    第 1 次嘗試 · 已完成 19100ms

    載入詳情中…
  • 案例 2D01C7CD

    我之前下的訂單查詢一下，能不能合併資訊?

    已完成
    第 1 次嘗試 · 已完成 9821ms

    載入詳情中…
  • 案例 5715F2F7

    這款髮片功能是什麼?

    已完成
    第 1 次嘗試 · 已完成 11887ms

    載入詳情中…
  • 案例 BD0A260E

    我想查詢我的訂單狀態，請問要提供什麼資訊呢？

    已完成
    第 1 次嘗試 · 已完成 10370ms

    載入詳情中…
  • 案例 FDD18BB7

    這個產品多少錢?

    已完成
    第 1 次嘗試 · 已完成 16654ms

    載入詳情中…
  • 案例 6036CB5B

    查詢我的訂單要提供什麼個人資訊?

    已完成
    第 1 次嘗試 · 已完成 20475ms

    載入詳情中…
  • 案例 9008502A

    你們的粉絲團和官網是什麼?

    已完成
    第 1 次嘗試 · 已完成 17341ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 5 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=3
F1 18.2% · 相關率 13.3% · 精確 10.0%
3 / 5 適用
不亂編造 平均
faithfulness
86.7%
[60.0% – 100.0%] · n=5
5 / 5 適用
答得到位 平均
answer_quality
63.3%
[34.0% – 92.7%] · n=5
5 / 5 適用
  • 案例 F0F09F5B

    統一搜尋要生成什麼關鍵字?

    已完成
    第 1 次嘗試 · 已完成 18317ms

    載入詳情中…
  • 案例 B1B58861

    請問貴公司的粉絲團可以在哪裡找到呢？

    已完成
    第 1 次嘗試 · 已完成 12405ms

    載入詳情中…
  • 案例 A3CE4D6F

    請問 Standard 及以上計畫的錄音檔案保留多久？

    已完成
    第 1 次嘗試 · 已完成 19395ms

    載入詳情中…
  • 案例 CCC23D98

    網站的詢問表單提交後會怎樣?

    已完成
    第 1 次嘗試 · 已完成 17857ms

    載入詳情中…
  • 案例 25E76A5E

    MatrixCloud v1.1.6 版本的使用者需要等待多久才能更新到 v1.1.7？

    已完成
    第 1 次嘗試 · 已完成 17027ms

    載入詳情中…