執行 #105

Coach Ivy 留學教練 (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告
狀態
已完成
案例
30
開始時間
16 May 11:28
耗時
942.6s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1370
Total Bot Cost · USD
79.7%
Prompt Cache Hit
cost per case
$0.0046
cost per 1k tokens
$0.0010
input tokens
134,988
output tokens
3,533
cached tokens — prompt-cache hit
107,520
Total Tokens
138,521
economic efficiency
cost per correct
$0.0013
pass rate
70.0%
21 / 30
judge cost
$0.0269
設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

  • 9a0a4a48-8ab6-4394-9f16-99c7edbca779 48 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:d3f980e3 Tools: sha256:13e5aa51 Scenarios: sha256:4cbd496f AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
1
首字延遲 p95
2420 ms
Bot 成本（Neptune）
$0.1370
Bot Tokens（Neptune）
138,521
Judge 成本（Eris）
$0.0269
Judge Tokens（Eris）
206,447
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 17.0% · 精確 10.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
95.0%
[92.0% – 98.0%] · n=10
10 / 10 適用
  • 案例 C3856972

    怎麼判斷自己是否適合留學？

    已完成
    第 1 次嘗試 · 已完成 16037ms

    載入詳情中…
  • 案例 FEF75DA8

    有工作經驗但學歷普通，還適合留學嗎?

    已完成
    第 1 次嘗試 · 已完成 14334ms

    載入詳情中…
  • 案例 A826F204

    語言成績要多高才安全？

    已完成
    第 1 次嘗試 · 已完成 12534ms

    載入詳情中…
  • 案例 05A639D2

    出國前需要了解哪些簽證政策？

    已完成
    第 1 次嘗試 · 已完成 17181ms

    載入詳情中…
  • 案例 FC35E0F7

    成績單上有被當的紀錄不可以隱瞞嗎

    已完成
    第 1 次嘗試 · 已完成 16669ms

    載入詳情中…
  • 案例 628694C8

    請問年紀較大申請留學需要怎麼解釋和職涯的連結？

    已完成
    第 1 次嘗試 · 已完成 11776ms

    載入詳情中…
  • 案例 6BC6F5EE

    我成績普通，還能出國留學嗎？

    已完成
    第 1 次嘗試 · 已完成 10939ms

    載入詳情中…
  • 案例 4756998B

    留學算不算逃避現狀？

    已完成
    第 1 次嘗試 · 已完成 29214ms

    載入詳情中…
  • 案例 ED90A06B

    實務導向科系的推薦信要怎麼寫？

    已完成
    第 1 次嘗試 · 已完成 11026ms

    載入詳情中…
  • 案例 3A3CFBDF

    留學的投資報酬率高嗎？

    已完成
    第 1 次嘗試 · 已完成 13308ms

    載入詳情中…
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位 平均
answer_quality
42.0%
[32.7% – 53.3%] · n=10
10 / 10 適用
  • 案例 AB320DD9

    髮片的價格大概是多少?

    已完成
    第 1 次嘗試 · 已完成 10990ms

    載入詳情中…
  • 案例 97BE9F81

    你們的服務時間是多久?

    已完成
    第 1 次嘗試 · 已完成 15334ms

    載入詳情中…
  • 案例 B4932A3B

    你們有什麼活動嗎？

    已完成
    第 1 次嘗試 · 已完成 9741ms

    載入詳情中…
  • 案例 4F578122

    這個產品怎麼使用啊？

    已完成
    第 1 次嘗試 · 已完成 11225ms

    載入詳情中…
  • 案例 BE3F9945

    你們有什麼優惠活動嗎?

    已完成
    第 1 次嘗試 · 已完成 9498ms

    載入詳情中…
  • 案例 BC05DAF3

    想請教這個髮片的價格和特色是什麼呢？

    已完成
    第 1 次嘗試 · 已完成 12279ms

    載入詳情中…
  • 案例 788709D0

    服務時間是幾點到幾點？

    已完成
    第 1 次嘗試 · 已完成 10232ms

    載入詳情中…
  • 案例 AC56770D

    相片的大小限制是多少?

    已完成
    第 1 次嘗試 · 已完成 17066ms

    載入詳情中…
  • 案例 A7ED1B9E

    有什麼活動嗎?

    已完成
    第 1 次嘗試 · 已完成 16123ms

    載入詳情中…
  • 案例 61B53574

    最近有什麼活動嗎?

    已完成
    第 1 次嘗試 · 已完成 18457ms

    載入詳情中…
項目 III.

對話素養（混合問答）

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 15.0% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
88.9%
[66.7% – 100.0%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
88.7%
[74.0% – 98.0%] · n=10
10 / 10 適用
  • 案例 F02B8C9F

    留學是不是逃避現狀啊？

    已完成
    第 1 次嘗試 · 已完成 15440ms

    載入詳情中…
  • 案例 FEC5F31C

    如果 AI 沒辦法回答問題，可以轉接人類客服嗎

    已完成
    第 1 次嘗試 · 已完成 5314ms

    載入詳情中…
  • 案例 CC8268FF

    轉接真人客服的回覆要怎麼回?

    已完成
    第 1 次嘗試 · 已完成 14913ms

    載入詳情中…
  • 案例 14906C9B

    預算有限的情況下，留學適合嗎？

    已完成
    第 1 次嘗試 · 已完成 14341ms

    載入詳情中…
  • 案例 1BACCC7E

    請問中途想放棄該怎麼辦？

    已完成
    第 1 次嘗試 · 已完成 17992ms

    載入詳情中…
  • 案例 C2E14186

    讀完後不一定要留在當地嗎

    已完成
    第 1 次嘗試 · 已完成 9286ms

    載入詳情中…
  • 案例 0814BB51

    GPA 不高，可以進修學分補救嗎?

    已完成
    第 1 次嘗試 · 已完成 12871ms

    載入詳情中…
  • 案例 89F27099

    申請的時候可以完全自己控管嗎

    已完成
    第 1 次嘗試 · 已完成 13031ms

    載入詳情中…
  • 案例 DED72415

    同時申請多個國家會有什麼困難?

    已完成
    第 1 次嘗試 · 已完成 20763ms

    載入詳情中…
  • 案例 4A2AB542

    休學或空白年會影響申請嗎？

    已完成
    第 1 次嘗試 · 已完成 10981ms

    載入詳情中…