情境路由
0.0%- 0.0%
- 0.0%
- 0.0%
-
✗ early_return · early_return
意料之外 (1)
-
! 知識與產品查詢
0
1
1
執行 #235
Test Bot - Neptune (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 4
- 開始時間
- 16 May 12:32
- 耗時
- 549.7s
- cost per correct
- —
- pass rate
- 0.0%
- 0 / 4
- judge cost
- $0.0017
設定快照（reproducibility）
Bot 設定快照
-
test_only_bot
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
4 / 4
0
0
997 ms
—
—
$0.0017
14,687
Bot 成本 / Tokens（左兩張）— production endpoint 不公開、都會回 0；要看真實 bot inference 成本請 點此打開其中一筆 Langfuse trace ↗。Judge 成本 / Tokens（右兩張）是 Eris 端真實數據，詳情可看評估報告的 Run Economics 章節。
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
0.0%
[0.0% – 0.0%] · n=2
F1 0.0% · 召回 0.0% · 精確 0.0%
2 / 2 適用
用對工具
召回
tool_usage
0.0%
[0.0% – 0.0%] · n=2
F1 0.0% · 召回 0.0% · 精確 100.0%
2 / 2 適用
答得到位
平均
answer_quality
30.0%
[26.7% – 33.3%] · n=2
2 / 2 適用
-
案例 43F2980B
為什麼我不能轉接到人類客服?
第 1 次嘗試 · 已完成 6632ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER為什麼我不能轉接到人類客服?稍等一下，正在為您查詢中...工具使用
0.0%- —
- 0.0%
- 0.0%
-
✗ transfer_to_human_agent
001回答品質
26.7%- 50.0%
- 30.0%
- 0.0%
- 0.0%
- 可以幫你轉接到人類客服
稍等一下，正在為您查詢中...- I 核心必答
-
- 可以幫你轉接到人類客服
回覆未能直接回答為何無法轉接到人類客服，且缺少了關鍵的轉接條件，導致回答不完整。
-
案例 54CB3F04
請問可以檢索最近 7 輪之前的對話嗎？
第 1 次嘗試 · 已完成 4291ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER請問可以檢索最近 7 輪之前的對話嗎？稍等一下，正在為您查詢中...情境路由
0.0%- 0.0%
- 0.0%
- 0.0%
-
✗ early_return · early_return
意料之外 (1)-
! 知識與產品查詢
011工具使用
0.0%- —
- 0.0%
- 0.0%
-
✗ get_history
001回答品質
33.3%- 70.0%
- 30.0%
- 0.0%
- 0.0%
- 使用 get_history 工具可檢索最近 7 輪之前的對話
- 沒有參數時，它將提供簡要摘要
- 若需要完整內容可以設定 trace 和 end_trace 參數
稍等一下，正在為您查詢中...- I 核心必答
-
- 使用 get_history 工具可檢索最近 7 輪之前的對話
- 沒有參數時，它將提供簡要摘要
- 若需要完整內容可以設定 trace 和 end_trace 參數
回覆未提供具體的檢索方法，缺乏關鍵資訊，且未正確回答用戶的問題。
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
—
—
不亂編造
平均
faithfulness
—
2 / 2 適用
答得到位
平均
answer_quality
20.0%
[0.0% – 40.0%] · n=2
2 / 2 適用
-
案例 8EC6B4EA
請問可以檢索最近 7 輪之前的對話嗎？
第 1 次嘗試 · 已完成 4437ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER請問可以檢索最近 7 輪之前的對話嗎？稍等一下，正在為您查詢中...回答品質
40.0%- 80.0%
- 40.0%
- 0.0%
- 0.0%
- 透過 get_history 功能可以檢索最近 7 輪之前的對話
- 沒有參數的情況下將顯示精簡摘要
- 使用 trace 和 end_trace 可以查看完整內容
稍等一下，正在為您查詢中...- I 核心必答
-
- 透過 get_history 功能可以檢索最近 7 輪之前的對話
- 沒有參數的情況下將顯示精簡摘要
- 使用 trace 和 end_trace 可以查看完整內容
AI的回覆雖然有回應用戶的查詢，但並未提供具體的功能說明，缺乏關鍵資訊，導致完整性和正確性都很低。
-
案例 7EC82911
負面情緒的時候要怎麼處理?
第 1 次嘗試 · 已完成 4233ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER負面情緒的時候要怎麼處理?收到您的問題，馬上為您處理！回答品質
0.0%- 0.0%
- 0.0%
- 0.0%
- 0.0%
- 當用戶表現出強烈的負面情緒時，應轉接給人類客服代理
收到您的問題，馬上為您處理！- I 核心必答
-
- 當用戶表現出強烈的負面情緒時，應轉接給人類客服代理
AI的回覆完全沒有針對用戶的問題進行回答，缺乏相關性和完整性。根據正確的回答，應該將用戶轉接給人類客服代理，但AI並未執行此操作。