情境路由
0.0%- 0.0%
- 0.0%
- 0.0%
-
✗ early_return · early_return
意料之外 (1)
-
! 知識與產品查詢
0
1
1
執行 #233
Test Bot - Neptune (bulk R1) → production-baseline
- 狀態
- 已完成
- 案例
- 4
- 開始時間
- 16 May 12:31
- 耗時
- 306.1s
- cost per correct
- $0.0015
- pass rate
- 25.0%
- 1 / 4
- judge cost
- $0.0015
設定快照（reproducibility）
Bot 設定快照
-
test_only_bot_4
Judge 設定快照
model: gpt-4o-mini
T=0.0
max=4096
prompt: v1
4 / 4
0
0
1214 ms
—
—
$0.0015
14,455
Bot 成本 / Tokens（左兩張）— production endpoint 不公開、都會回 0；要看真實 bot inference 成本請 點此打開其中一筆 Langfuse trace ↗。Judge 成本 / Tokens（右兩張）是 Eris 端真實數據，詳情可看評估報告的 Run Economics 章節。
情境調用與完成
情境調用與完成
維度總表
走對流程
召回
scenario
0.0%
[0.0% – 0.0%] · n=2
F1 0.0% · 召回 0.0% · 精確 0.0%
2 / 2 適用
用對工具
召回
tool_usage
0.0%
[0.0% – 0.0%] · n=2
F1 0.0% · 召回 0.0% · 精確 100.0%
2 / 2 適用
答得到位
平均
answer_quality
50.0%
[40.0% – 60.0%] · n=2
2 / 2 適用
-
案例 7CDC0611
可以查之前的對話嗎
第 1 次嘗試 · 已完成 4474ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER可以查之前的對話嗎讓我幫您查詢一下相關資訊 🔍工具使用
0.0%- —
- 0.0%
- 0.0%
-
✗ get_history
001回答品質
40.0%- 70.0%
- 50.0%
- 0.0%
- 50.0%
- 可以查詢最近 7 輪之前的對話記錄
- 可以選擇摘要或全內容
讓我幫您查詢一下相關資訊 🔍- I 核心必答
-
- 可以查詢最近 7 輪之前的對話記錄
- 可以選擇摘要或全內容
回覆未能提供具體的查詢內容，缺少了關於查詢對話記錄的具體資訊，導致完整性和正確性都受到影響。
-
案例 8917AEAD
請問當問題超出你們的能力範圍時，可以轉接給人類客服代理嗎？
第 1 次嘗試 · 已完成 5038ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER請問當問題超出你們的能力範圍時，可以轉接給人類客服代理嗎？讓我幫您查詢一下相關資訊 🔍情境路由
0.0%- 0.0%
- 0.0%
- 0.0%
-
✗ early_return · early_return
意料之外 (1)-
! 知識與產品查詢
011工具使用
0.0%- —
- 0.0%
- 0.0%
-
✗ transfer_to_human_agent
001回答品質
60.0%- 50.0%
- 30.0%
- 100.0%
- 0.0%
- 可以轉接給人類客服代理
讓我幫您查詢一下相關資訊 🔍- I 核心必答
-
- 可以轉接給人類客服代理
回覆未直接回答用戶的問題，缺少了關鍵的核心內容，未能提供所需的資訊。
對話素養（混合問答）
對話素養（混合問答）
維度總表
找對資料
召回
retrieval
—
—
不亂編造
平均
faithfulness
—
2 / 2 適用
答得到位
平均
answer_quality
35.0%
[0.0% – 70.0%] · n=2
2 / 2 適用
-
案例 681B694D
請問使用 get_history 時，要帶入什麼參數才能取得完整內容？
第 1 次嘗試 · 已完成 5908ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER請問使用 get_history 時，要帶入什麼參數才能取得完整內容？正在為您搜尋最新資料 ⏳回答品質
0.0%- 0.0%
- 0.0%
- 0.0%
- 0.0%
- 使用 get_history 時，必須帶入 trace 或 end_trace 參數才能返回完整內容
正在為您搜尋最新資料 ⏳- I 核心必答
-
- 使用 get_history 時，必須帶入 trace 或 end_trace 參數才能返回完整內容
AI 的回覆完全沒有針對使用者的問題進行回答，缺乏相關性、完整性和正確性。
-
案例 E2D4FE46
問題超出 AI 能力了，怎麼轉接給人啊？
第 1 次嘗試 · 已完成 6523ms腳本進度 · early_return ✗ 卡關
01觸發條件
✗ 未進入 early_return02資訊收集
— 此案例不測03API 工具
✗ 已呼叫 0 / 1 個工具04回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）測試 3 步 · 此案例不測 1 步對話流程 · 1 turn
USER問題超出 AI 能力了，怎麼轉接給人啊？稍等一下我來幫您查詢 💡回答品質
70.0%- 70.0%
- 50.0%
- 90.0%
- 50.0%
- 可以直接請求轉接給人類客服代理
- 如果 AI 無法回答問題多次，也會自動轉接
稍等一下我來幫您查詢 💡- I 核心必答
-
- 可以直接請求轉接給人類客服代理
- 如果 AI 無法回答問題多次，也會自動轉接
AI 的回覆雖然有回應用戶的需求，但未能提供具體的轉接方式，導致回答不完整。