情境路由
0.0%- 0.0%
- 0.0%
- 0.0%
-
✗ early_return · early_return
意料之外 (1)
-
! 知識與產品查詢
0
1
1
執行 #234
Test Bot - Neptune (bulk R1) → production-canary (canary)
- 狀態
- 已完成
- 案例
- 4
- 開始時間
- 16 May 12:32
- 耗時
- 754.0s
- cost per correct
- $0.0016
- pass rate
- 25.0%
- 1 / 4
- judge cost
- $0.0016
設定快照（reproducibility）
Bot 設定快照
-
test_only_bot_4
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
4 / 4
0
0
7619 ms
—
—
$0.0016
14,465
Bot 成本 / Tokens（左兩張）— production endpoint 不公開、都會回 0；要看真實 bot inference 成本請 點此打開其中一筆 Langfuse trace ↗。Judge 成本 / Tokens（右兩張）是 Eris 端真實數據，詳情可看評估報告的 Run Economics 章節。
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
0.0%
[0.0% – 0.0%] · n=2
F1 0.0% · 召回 0.0% · 精確 0.0%
2 / 2 適用
用對工具
召回
tool_usage
0.0%
[0.0% – 0.0%] · n=2
F1 0.0% · 召回 0.0% · 精確 100.0%
2 / 2 適用
答得到位
平均
answer_quality
68.3%
[60.0% – 76.7%] · n=2
2 / 2 適用
-
案例 7CDC0611
可以查之前的對話嗎
第 1 次嘗試 · 已完成 10176ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER可以查之前的對話嗎稍等一下我來幫您查詢 💡工具使用
0.0%- —
- 0.0%
- 0.0%
-
✗ get_history
001回答品質
76.7%- 90.0%
- 50.0%
- 90.0%
- 50.0%
- 可以查詢最近 7 輪之前的對話記錄
- 可以選擇摘要或全內容
稍等一下我來幫您查詢 💡- I 核心必答
-
- 可以查詢最近 7 輪之前的對話記錄
- 可以選擇摘要或全內容
回覆雖然有回應查詢的意圖，但未提供具體的查詢內容，缺少了關鍵的資訊，導致完整性得分偏低。
-
案例 8917AEAD
請問當問題超出你們的能力範圍時，可以轉接給人類客服代理嗎？
第 1 次嘗試 · 已完成 26198ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER請問當問題超出你們的能力範圍時，可以轉接給人類客服代理嗎？讓我幫您查詢一下相關資訊 🔍情境路由
0.0%- 0.0%
- 0.0%
- 0.0%
-
✗ early_return · early_return
意料之外 (1)-
! 知識與產品查詢
011工具使用
0.0%- —
- 0.0%
- 0.0%
-
✗ transfer_to_human_agent
001回答品質
60.0%- 50.0%
- 30.0%
- 100.0%
- 0.0%
- 可以轉接給人類客服代理
讓我幫您查詢一下相關資訊 🔍- I 核心必答
-
- 可以轉接給人類客服代理
回覆未直接回答用戶的問題，缺少了關鍵的核心內容，未能提供明確的轉接資訊。
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
—
—
不亂編造
平均
faithfulness
—
2 / 2 適用
答得到位
平均
answer_quality
26.7%
[26.7% – 26.7%] · n=2
2 / 2 適用
-
案例 681B694D
請問使用 get_history 時，要帶入什麼參數才能取得完整內容？
第 1 次嘗試 · 已完成 24669ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER請問使用 get_history 時，要帶入什麼參數才能取得完整內容？馬上為您找找看相關內容 📋回答品質
26.7%- 50.0%
- 30.0%
- 0.0%
- 0.0%
- 使用 get_history 時，必須帶入 trace 或 end_trace 參數才能返回完整內容
馬上為您找找看相關內容 📋- I 核心必答
-
- 使用 get_history 時，必須帶入 trace 或 end_trace 參數才能返回完整內容
AI 的回覆未能直接回答使用者的問題，缺乏必要的參數資訊，導致相關性和完整性得分低。
-
案例 E2D4FE46
問題超出 AI 能力了，怎麼轉接給人啊？
第 1 次嘗試 · 已完成 16044ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER問題超出 AI 能力了，怎麼轉接給人啊？讓我幫您查詢一下相關資訊 🔍回答品質
26.7%- 50.0%
- 30.0%
- 0.0%
- 0.0%
- 可以直接請求轉接給人類客服代理
- 如果 AI 無法回答問題多次，也會自動轉接
讓我幫您查詢一下相關資訊 🔍- I 核心必答
-
- 可以直接請求轉接給人類客服代理
- 如果 AI 無法回答問題多次，也會自動轉接
AI 的回覆未能直接回答用戶的問題，且缺少了轉接給人類客服的具體指示，導致回答不完整。