執行 #228

Sunny's AI (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:30
耗時
572.6s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1493
Total Bot Cost · USD
74.9%
Prompt Cache Hit
cost per case
$0.0050
cost per 1k tokens
$0.0010
input tokens
139,514
output tokens
3,371
cached tokens — prompt-cache hit
104,448
Total Tokens
142,885
economic efficiency
cost per correct
$0.0012
pass rate
73.3%
22 / 30
judge cost
$0.0261
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • b5989ae4-8086-42aa-b260-68840af64f06 18 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:5129bf68 Tools: sha256:cb414772 Scenarios: sha256:bbaf5799 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
0
首字延遲 p95
11214 ms
Bot 成本（Neptune）
$0.1493
Bot Tokens（Neptune）
142,885
Judge 成本（Eris）
$0.0261
Judge Tokens（Eris）
199,992
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 15.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
98.7%
[96.0% – 100.0%] · n=10
10 / 10 適用
  • 案例 08F71775

    不會滑雪的人能參加觀光行程嗎

    已完成
    第 1 次嘗試 · 已完成 30563ms

    載入詳情中…
  • 案例 B7F207F9

    專業教練可以減少滑雪受傷風險嗎

    已完成
    第 1 次嘗試 · 已完成 19462ms

    載入詳情中…
  • 案例 17AFABC1

    去熱門雪場需要會日文嗎?

    已完成
    第 1 次嘗試 · 已完成 23568ms

    載入詳情中…
  • 案例 CF2493B0

    滑雪裝備租借大約要多少預算?

    已完成
    第 1 次嘗試 · 已完成 34559ms

    載入詳情中…
  • 案例 FECAE74C

    冬季自駕前往日本滑雪場需要什麼嗎?

    已完成
    第 1 次嘗試 · 已完成 48585ms

    載入詳情中…
  • 案例 1B232C8B

    北海道的滑雪地區有哪些?

    已完成
    第 1 次嘗試 · 已完成 32226ms

    載入詳情中…
  • 案例 0BD13515

    富良野適合初學者滑雪嗎

    已完成
    第 1 次嘗試 · 已完成 33043ms

    載入詳情中…
  • 案例 4B46BAE4

    請問滑雪者應遵守什麼規定？

    已完成
    第 1 次嘗試 · 已完成 23239ms

    載入詳情中…
  • 案例 D55325E7

    滑雪課程的語言選擇有哪些？

    已完成
    第 1 次嘗試 · 已完成 17333ms

    載入詳情中…
  • 案例 D6C7C5A9

    有適合小孩的雪場嗎?

    已完成
    第 1 次嘗試 · 已完成 38210ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 66.7% · 召回 80.0% · 精確 60.0%
10 / 10 適用
用對工具 召回
tool_usage
40.0%
[10.0% – 70.0%] · n=10
F1 40.0% · 召回 40.0% · 精確 40.0%
10 / 10 適用
答得到位 平均
answer_quality
56.0%
[42.3% – 69.3%] · n=10
10 / 10 適用
  • 案例 D53AECEF

    我的訂單查詢是怎麼進行的?

    已完成
    第 1 次嘗試 · 已完成 30605ms

    載入詳情中…
  • 案例 A375AA18

    我想查詢我的訂單狀態，請問該怎麼做？

    已完成
    第 1 次嘗試 · 已完成 31371ms

    載入詳情中…
  • 案例 85C5ABB5

    有關於政策的問題要怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 33097ms

    載入詳情中…
  • 案例 F79A9F33

    請問在查詢訂單時需要提供哪些個人資訊呢？

    已完成
    第 1 次嘗試 · 已完成 36463ms

    載入詳情中…
  • 案例 4C5BC184

    為什麼你們網站上沒有政策相關的信息？

    已完成
    第 1 次嘗試 · 已完成 25698ms

    載入詳情中…
  • 案例 CD466BDB

    我查詢一下我的訂單，因為沒有找到相關資訊，應該怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 25266ms

    載入詳情中…
  • 案例 0621AB6B

    有關公司的資訊在哪裡可以找到?

    已完成
    第 1 次嘗試 · 已完成 25726ms

    載入詳情中…
  • 案例 8B80C2AC

    我想查詢我的訂單，為什麼只看到一部分的資訊？

    已完成
    第 1 次嘗試 · 已完成 24577ms

    載入詳情中…
  • 案例 E96B41DF

    有查到我之前的訂單嗎?

    已完成
    第 1 次嘗試 · 已完成 23028ms

    載入詳情中…
  • 案例 EFDED8E2

    我的訂單運送狀態怎麼樣？

    已完成
    第 1 次嘗試 · 已完成 20205ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 22.5% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
80.0%
[50.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
84.3%
[63.0% – 99.3%] · n=10
10 / 10 適用
  • 案例 8FDAB562

    滑雪課程的語言選擇有哪些?

    已完成
    第 1 次嘗試 · 已完成 22742ms

    載入詳情中…
  • 案例 E614B1EB

    不提供參數時 get_history 會怎麼樣?

    已完成
    第 1 次嘗試 · 已完成 48440ms

    載入詳情中…
  • 案例 39C54915

    情緒升級的時候會怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 42356ms

    載入詳情中…
  • 案例 D01D2B0E

    日本滑雪季的 1 月和 2 月雪況怎樣?

    已完成
    第 1 次嘗試 · 已完成 45154ms

    載入詳情中…
  • 案例 56A5E2C9

    初學者什麼時候去比較好啊?

    已完成
    第 1 次嘗試 · 已完成 29068ms

    載入詳情中…
  • 案例 C8813B7F

    請問富良野適合初學者滑雪嗎？

    已完成
    第 1 次嘗試 · 已完成 29603ms

    載入詳情中…
  • 案例 BDB7DC5B

    為什麼初學者需要上滑雪課？

    已完成
    第 1 次嘗試 · 已完成 34458ms

    載入詳情中…
  • 案例 ED4B99A9

    滑雪旅遊大概要多少預算？

    已完成
    第 1 次嘗試 · 已完成 31811ms

    載入詳情中…
  • 案例 E8B91B87

    不會滑雪的人可以購物嗎?

    已完成
    第 1 次嘗試 · 已完成 23621ms

    載入詳情中…
  • 案例 A32F1E97

    長野縣有名的滑雪地區是什麼？

    已完成
    第 1 次嘗試 · 已完成 29422ms

    載入詳情中…