執行 #227

Sunny's AI (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 12:30
耗時
413.0s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1346
Total Bot Cost · USD
82.8%
Prompt Cache Hit
cost per case
$0.0045
cost per 1k tokens
$0.0009
input tokens
142,536
output tokens
3,318
cached tokens — prompt-cache hit
118,016
Total Tokens
145,854
economic efficiency
cost per correct
$0.0012
pass rate
73.3%
22 / 30
judge cost
$0.0261
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • b5989ae4-8086-42aa-b260-68840af64f06 18 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:5129bf68 Tools: sha256:cb414772 Scenarios: sha256:bbaf5799 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
0
首字延遲 p95
5510 ms
Bot 成本（Neptune）
$0.1346
Bot Tokens（Neptune）
145,854
Judge 成本（Eris）
$0.0261
Judge Tokens（Eris）
200,233
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 15.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
97.0%
[93.3% – 100.0%] · n=10
10 / 10 適用
  • 案例 08F71775

    不會滑雪的人能參加觀光行程嗎

    已完成
    第 1 次嘗試 · 已完成 13811ms

    載入詳情中…
  • 案例 B7F207F9

    專業教練可以減少滑雪受傷風險嗎

    已完成
    第 1 次嘗試 · 已完成 16194ms

    載入詳情中…
  • 案例 17AFABC1

    去熱門雪場需要會日文嗎?

    已完成
    第 1 次嘗試 · 已完成 14882ms

    載入詳情中…
  • 案例 CF2493B0

    滑雪裝備租借大約要多少預算?

    已完成
    第 1 次嘗試 · 已完成 16945ms

    載入詳情中…
  • 案例 FECAE74C

    冬季自駕前往日本滑雪場需要什麼嗎?

    已完成
    第 1 次嘗試 · 已完成 20921ms

    載入詳情中…
  • 案例 1B232C8B

    北海道的滑雪地區有哪些?

    已完成
    第 1 次嘗試 · 已完成 12709ms

    載入詳情中…
  • 案例 0BD13515

    富良野適合初學者滑雪嗎

    已完成
    第 1 次嘗試 · 已完成 12115ms

    載入詳情中…
  • 案例 4B46BAE4

    請問滑雪者應遵守什麼規定？

    已完成
    第 1 次嘗試 · 已完成 9788ms

    載入詳情中…
  • 案例 D55325E7

    滑雪課程的語言選擇有哪些？

    已完成
    第 1 次嘗試 · 已完成 14272ms

    載入詳情中…
  • 案例 D6C7C5A9

    有適合小孩的雪場嗎?

    已完成
    第 1 次嘗試 · 已完成 16538ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 66.7% · 召回 80.0% · 精確 60.0%
10 / 10 適用
用對工具 召回
tool_usage
50.0%
[20.0% – 80.0%] · n=10
F1 46.7% · 召回 50.0% · 精確 45.0%
10 / 10 適用
答得到位 平均
answer_quality
61.3%
[48.0% – 74.7%] · n=10
10 / 10 適用
  • 案例 D53AECEF

    我的訂單查詢是怎麼進行的?

    已完成
    第 1 次嘗試 · 已完成 9173ms

    載入詳情中…
  • 案例 A375AA18

    我想查詢我的訂單狀態，請問該怎麼做？

    已完成
    第 1 次嘗試 · 已完成 18684ms

    載入詳情中…
  • 案例 85C5ABB5

    有關於政策的問題要怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 15031ms

    載入詳情中…
  • 案例 F79A9F33

    請問在查詢訂單時需要提供哪些個人資訊呢？

    已完成
    第 1 次嘗試 · 已完成 13540ms

    載入詳情中…
  • 案例 4C5BC184

    為什麼你們網站上沒有政策相關的信息？

    已完成
    第 1 次嘗試 · 已完成 15856ms

    載入詳情中…
  • 案例 CD466BDB

    我查詢一下我的訂單，因為沒有找到相關資訊，應該怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 19261ms

    載入詳情中…
  • 案例 0621AB6B

    有關公司的資訊在哪裡可以找到?

    已完成
    第 1 次嘗試 · 已完成 9786ms

    載入詳情中…
  • 案例 8B80C2AC

    我想查詢我的訂單，為什麼只看到一部分的資訊？

    已完成
    第 1 次嘗試 · 已完成 13906ms

    載入詳情中…
  • 案例 E96B41DF

    有查到我之前的訂單嗎?

    已完成
    第 1 次嘗試 · 已完成 21420ms

    載入詳情中…
  • 案例 EFDED8E2

    我的訂單運送狀態怎麼樣？

    已完成
    第 1 次嘗試 · 已完成 12001ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 22.5% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
80.0%
[50.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
85.0%
[65.0% – 99.3%] · n=10
10 / 10 適用
  • 案例 8FDAB562

    滑雪課程的語言選擇有哪些?

    已完成
    第 1 次嘗試 · 已完成 10732ms

    載入詳情中…
  • 案例 E614B1EB

    不提供參數時 get_history 會怎麼樣?

    已完成
    第 1 次嘗試 · 已完成 29841ms

    載入詳情中…
  • 案例 39C54915

    情緒升級的時候會怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 11891ms

    載入詳情中…
  • 案例 D01D2B0E

    日本滑雪季的 1 月和 2 月雪況怎樣?

    已完成
    第 1 次嘗試 · 已完成 10846ms

    載入詳情中…
  • 案例 56A5E2C9

    初學者什麼時候去比較好啊?

    已完成
    第 1 次嘗試 · 已完成 13276ms

    載入詳情中…
  • 案例 C8813B7F

    請問富良野適合初學者滑雪嗎？

    已完成
    第 1 次嘗試 · 已完成 16046ms

    載入詳情中…
  • 案例 BDB7DC5B

    為什麼初學者需要上滑雪課？

    已完成
    第 1 次嘗試 · 已完成 13959ms

    載入詳情中…
  • 案例 ED4B99A9

    滑雪旅遊大概要多少預算？

    已完成
    第 1 次嘗試 · 已完成 16971ms

    載入詳情中…
  • 案例 E8B91B87

    不會滑雪的人可以購物嗎?

    已完成
    第 1 次嘗試 · 已完成 13812ms

    載入詳情中…
  • 案例 A32F1E97

    長野縣有名的滑雪地區是什麼？

    已完成
    第 1 次嘗試 · 已完成 19799ms

    載入詳情中…