執行 #106

Coach Ivy 留學教練 (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面

狀態: 執行中
案例: 8
開始時間: 16 May 11:28
耗時: —

¶ Economics · Bot-side N=5 attempts

Cost & Tokens

$0.0166

Total Bot Cost · USD

86.1%

Prompt Cache Hit

cost per case: $0.0033
cost per 1k tokens: $0.0008
input tokens: 19,320
output tokens: 367
cached tokens — prompt-cache hit: 16,640
Total Tokens: 19,687

economic efficiency

cost per correct: $0.0010
pass rate: 80.0%; 4 / 5
judge cost: $0.0041

設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

9a0a4a48-8ab6-4394-9f16-99c7edbca779 48 筆 KB

SystemPrompt: sha256:a147cf42 KBContent: sha256:d3f980e3 Tools: sha256:13e5aa51 Scenarios: sha256:4cbd496f AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1

已完成

5 / 8

錯誤

失敗維度

首字延遲 p95

5546 ms

Bot 成本（Neptune）

$0.0166

Bot Tokens（Neptune）

19,687

Judge 成本（Eris）

$0.0041

Judge Tokens（Eris）

31,995

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

100.0%

[100.0% – 100.0%] · n=2

F1 18.2% · 相關率 45.0% · 精確 10.0%

3 / 3 適用

不亂編造平均

faithfulness

100.0%

[100.0% – 100.0%] · n=2

3 / 3 適用

答得到位平均

answer_quality

100.0%

[100.0% – 100.0%] · n=2

3 / 3 適用

案例 C3856972

怎麼判斷自己是否適合留學？

已完成

第 1 次嘗試 · 已完成 24160ms

載入詳情中…
案例 FEF75DA8

有工作經驗但學歷普通，還適合留學嗎?

pending

等候 orchestrator 處理此案例…
案例 A826F204

語言成績要多高才安全？

已完成

第 1 次嘗試 · 已完成 35271ms

載入詳情中…
案例 05A639D2

出國前需要了解哪些簽證政策？

執行中

第 1 次嘗試 · 執行中

載入詳情中…
案例 FC35E0F7

成績單上有被當的紀錄不可以隱瞞嗎

pending

等候 orchestrator 處理此案例…
案例 628694C8

請問年紀較大申請留學需要怎麼解釋和職涯的連結？

pending

等候 orchestrator 處理此案例…
案例 6BC6F5EE

我成績普通，還能出國留學嗎？

pending

等候 orchestrator 處理此案例…
案例 4756998B

留學算不算逃避現狀？

pending

等候 orchestrator 處理此案例…
案例 ED90A06B

實務導向科系的推薦信要怎麼寫？

pending

等候 orchestrator 處理此案例…
案例 3A3CFBDF

留學的投資報酬率高嗎？

pending

等候 orchestrator 處理此案例…

維度總表

各維度品質分 · 覆蓋率

走對流程召回

scenario

100.0%

[100.0% – 100.0%] · n=2

F1 100.0% · 召回 100.0% · 精確 100.0%

3 / 3 適用

用對工具召回

tool_usage

100.0%

[100.0% – 100.0%] · n=2

F1 100.0% · 召回 100.0% · 精確 100.0%

3 / 3 適用

答得到位平均

answer_quality

50.0%

[26.7% – 73.3%] · n=2

3 / 3 適用

案例 AB320DD9

髮片的價格大概是多少?

已完成

第 1 次嘗試 · 已完成 32534ms

載入詳情中…
案例 97BE9F81

你們的服務時間是多久?

已完成

第 1 次嘗試 · 已完成 20845ms

載入詳情中…
案例 B4932A3B

你們有什麼活動嗎？

執行中

第 1 次嘗試 · 執行中

載入詳情中…
案例 4F578122

這個產品怎麼使用啊？

pending

等候 orchestrator 處理此案例…
案例 BE3F9945

你們有什麼優惠活動嗎?

pending

等候 orchestrator 處理此案例…
案例 BC05DAF3

想請教這個髮片的價格和特色是什麼呢？

pending

等候 orchestrator 處理此案例…
案例 788709D0

服務時間是幾點到幾點？

pending

等候 orchestrator 處理此案例…
案例 AC56770D

相片的大小限制是多少?

pending

等候 orchestrator 處理此案例…
案例 A7ED1B9E

有什麼活動嗎?

pending

等候 orchestrator 處理此案例…
案例 61B53574

最近有什麼活動嗎?

pending

等候 orchestrator 處理此案例…

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

—

不亂編造平均

faithfulness

—

2 / 2 適用

答得到位平均

answer_quality

100.0%

2 / 2 適用

案例 F02B8C9F

留學是不是逃避現狀啊？

pending

等候 orchestrator 處理此案例…
案例 FEC5F31C

如果 AI 沒辦法回答問題，可以轉接人類客服嗎

已完成

第 1 次嘗試 · 已完成 8267ms

載入詳情中…
案例 CC8268FF

轉接真人客服的回覆要怎麼回?

執行中

第 1 次嘗試 · 執行中

載入詳情中…
案例 14906C9B

預算有限的情況下，留學適合嗎？

pending

等候 orchestrator 處理此案例…
案例 1BACCC7E

請問中途想放棄該怎麼辦？

pending

等候 orchestrator 處理此案例…
案例 C2E14186

讀完後不一定要留在當地嗎

pending

等候 orchestrator 處理此案例…
案例 0814BB51

GPA 不高，可以進修學分補救嗎?

pending

等候 orchestrator 處理此案例…
案例 89F27099

申請的時候可以完全自己控管嗎

pending

等候 orchestrator 處理此案例…
案例 DED72415

同時申請多個國家會有什麼困難?

pending

等候 orchestrator 處理此案例…
案例 4A2AB542

休學或空白年會影響申請嗎？

pending

等候 orchestrator 處理此案例…

執行 #106

Cost & Tokens

Bot 設定快照

Judge 設定快照

知識庫精準度

維度總表

怎麼判斷自己是否適合留學？

有工作經驗但學歷普通，還適合留學嗎?

語言成績要多高才安全？

出國前需要了解哪些簽證政策？

成績單上有被當的紀錄不可以隱瞞嗎

請問年紀較大申請留學需要怎麼解釋和職涯的連結？

我成績普通，還能出國留學嗎？

留學算不算逃避現狀？

實務導向科系的推薦信要怎麼寫？

留學的投資報酬率高嗎？

情境調用與完成

維度總表

髮片的價格大概是多少?

你們的服務時間是多久?

你們有什麼活動嗎？

這個產品怎麼使用啊？

你們有什麼優惠活動嗎?

想請教這個髮片的價格和特色是什麼呢？

服務時間是幾點到幾點？

相片的大小限制是多少?

有什麼活動嗎?

最近有什麼活動嗎?

對話素養（混合問答）

維度總表

留學是不是逃避現狀啊？

如果 AI 沒辦法回答問題，可以轉接人類客服嗎

轉接真人客服的回覆要怎麼回?

預算有限的情況下，留學適合嗎？

請問中途想放棄該怎麼辦？

讀完後不一定要留在當地嗎

GPA 不高，可以進修學分補救嗎?

申請的時候可以完全自己控管嗎

同時申請多個國家會有什麼困難?

休學或空白年會影響申請嗎？