情境路由
0.0%- 0.0%
- 0.0%
- 0.0%
-
✗ early_return · early_return
意料之外 (1)
-
! 知識與產品查詢
0
1
1
執行 #236
Test Bot - Neptune (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 4
- 開始時間
- 16 May 12:32
- 耗時
- 565.7s
- cost per correct
- —
- pass rate
- 0.0%
- 0 / 4
- judge cost
- $0.0017
設定快照（reproducibility）
Bot 設定快照
-
test_only_bot
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
4 / 4
0
0
5245 ms
—
—
$0.0017
14,670
Bot 成本 / Tokens（左兩張）— production endpoint 不公開、都會回 0；要看真實 bot inference 成本請 點此打開其中一筆 Langfuse trace ↗。Judge 成本 / Tokens（右兩張）是 Eris 端真實數據，詳情可看評估報告的 Run Economics 章節。
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
0.0%
[0.0% – 0.0%] · n=2
F1 0.0% · 召回 0.0% · 精確 0.0%
2 / 2 適用
用對工具
召回
tool_usage
0.0%
[0.0% – 0.0%] · n=2
F1 0.0% · 召回 0.0% · 精確 100.0%
2 / 2 適用
答得到位
平均
answer_quality
21.7%
[10.0% – 33.3%] · n=2
2 / 2 適用
-
案例 43F2980B
為什麼我不能轉接到人類客服?
第 1 次嘗試 · 已完成 19399ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER為什麼我不能轉接到人類客服?收到您的問題，馬上為您處理！工具使用
0.0%- —
- 0.0%
- 0.0%
-
✗ transfer_to_human_agent
001回答品質
10.0%- 30.0%
- 0.0%
- 0.0%
- 0.0%
- 可以幫你轉接到人類客服
收到您的問題，馬上為您處理！- I 核心必答
-
- 可以幫你轉接到人類客服
回覆未能針對用戶的問題提供具體的解釋，且完全未提及轉接到人類客服的條件，導致回答不完整且不正確。
-
案例 54CB3F04
請問可以檢索最近 7 輪之前的對話嗎？
第 1 次嘗試 · 已完成 33314ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER請問可以檢索最近 7 輪之前的對話嗎？稍等一下，正在為您查詢中...情境路由
0.0%- 0.0%
- 0.0%
- 0.0%
-
✗ early_return · early_return
意料之外 (1)-
! 知識與產品查詢
011工具使用
0.0%- —
- 0.0%
- 0.0%
-
✗ get_history
001回答品質
33.3%- 70.0%
- 30.0%
- 0.0%
- 0.0%
- 使用 get_history 工具可檢索最近 7 輪之前的對話
- 沒有參數時，它將提供簡要摘要
- 若需要完整內容可以設定 trace 和 end_trace 參數
稍等一下，正在為您查詢中...- I 核心必答
-
- 使用 get_history 工具可檢索最近 7 輪之前的對話
- 沒有參數時，它將提供簡要摘要
- 若需要完整內容可以設定 trace 和 end_trace 參數
回覆未提供具體的操作步驟，缺少了關鍵的資訊，無法滿足使用者的需求。
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
—
—
不亂編造
平均
faithfulness
—
2 / 2 適用
答得到位
平均
answer_quality
21.7%
[0.0% – 43.3%] · n=2
2 / 2 適用
-
案例 8EC6B4EA
請問可以檢索最近 7 輪之前的對話嗎？
第 1 次嘗試 · 已完成 22359ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER請問可以檢索最近 7 輪之前的對話嗎？稍等一下，正在為您查詢中...回答品質
43.3%- 80.0%
- 50.0%
- 0.0%
- 0.0%
- 透過 get_history 功能可以檢索最近 7 輪之前的對話
- 沒有參數的情況下將顯示精簡摘要
- 使用 trace 和 end_trace 可以查看完整內容
稍等一下，正在為您查詢中...- I 核心必答
-
- 透過 get_history 功能可以檢索最近 7 輪之前的對話
- 沒有參數的情況下將顯示精簡摘要
- 使用 trace 和 end_trace 可以查看完整內容
AI的回覆未能提供具體的功能說明，缺少了關鍵的資訊，導致回答不完整且不正確。
-
案例 7EC82911
負面情緒的時候要怎麼處理?
第 1 次嘗試 · 已完成 6780ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER負面情緒的時候要怎麼處理?收到您的問題，馬上為您處理！回答品質
0.0%- 0.0%
- 0.0%
- 0.0%
- 0.0%
- 當用戶表現出強烈的負面情緒時，應轉接給人類客服代理
收到您的問題，馬上為您處理！- I 核心必答
-
- 當用戶表現出強烈的負面情緒時，應轉接給人類客服代理
回覆完全沒有針對用戶的問題進行回答，未提供任何有用的資訊或建議，因此在相關性、完整性和正確性上均得分為零。