執行 #410

欣寶XianBot (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告

狀態: 已完成
案例: 12
開始時間: 16 May 13:53
耗時: 511.9s

¶ Economics · Bot-side N=12 attempts

Cost & Tokens

$0.0260

Total Bot Cost · USD

72.1%

Prompt Cache Hit

cost per case: $0.0022
cost per 1k tokens: $0.0011
input tokens: 21,847
output tokens: 736
cached tokens — prompt-cache hit: 15,744
Total Tokens: 22,583

economic efficiency

cost per correct: $0.0022
pass rate: 25.0%; 3 / 12
judge cost: $0.0067

設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

00281e2f-11c8-430b-8362-029fb28ee590 0 筆 KB

SystemPrompt: sha256:e4a7be06 KBContent: sha256:e3b0c442 Tools: sha256:e3b0c442 Scenarios: sha256:ba6f960c AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1

已完成

12 / 12

錯誤

失敗維度

首字延遲 p95

6398 ms

Bot 成本（Neptune）

$0.0260

Bot Tokens（Neptune）

22,583

Judge 成本（Eris）

$0.0067

Judge Tokens（Eris）

57,523

維度總表

各維度品質分 · 覆蓋率

走對流程召回

scenario

70.0%

[40.0% – 100.0%] · n=10

F1 70.0% · 召回 70.0% · 精確 70.0%

10 / 10 適用

用對工具召回

tool_usage

70.0%

[40.0% – 90.0%] · n=10

F1 70.0% · 召回 70.0% · 精確 100.0%

10 / 10 適用

答得到位平均

answer_quality

43.7%

[24.0% – 64.3%] · n=10

10 / 10 適用

案例 5FC3ED98

最近有什麼新產品推薦嗎?

已完成

第 1 次嘗試 · 已完成 20431ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER最近有什麼新產品推薦嗎?

BOT正在為您搜尋最新資料 ⏳ 您好，我是欣寶XianBot，很高興為您服務！目前查詢結果中沒有找到近期的新產品推薦資訊。如果您有特定的產品類型或需求，歡迎再提供更詳細的說明，我會協助您進一步查詢或推薦合適的產品。請問有沒有特定的服務或功能是您特別感興趣的呢？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5934 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

40.0%

相關性: 70.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是欣寶XianBot，很高興為您服務！目前查詢結果中沒有找到近期的新產品推薦資訊。如果您有特定的產品類型或需求，歡迎再提供更詳細的說明，我會協助您進一步查詢或推薦合適的產品。請問有沒有特定的服務或功能是您特別感興趣的呢？

預期答案 · 加權拆解

I 核心必答 w 60%: 我們最近推出了一些新產品
包括先進的髮片技術和最新的假髮樣式
III 補充說明 w 10%: 如果有特定的需求或想了解的產品，請告訴我，我可以提供詳細的資訊

Judge 推理

回覆未能提供任何新產品的具體資訊，且錯誤地聲稱沒有找到相關資料。根據規則，應該提供新產品的名稱、價格和特色。

錯誤陳述 (1)

目前查詢結果中沒有找到近期的新產品推薦資訊

案例 38DE170E

有什麼產品推薦嗎?

已完成

第 1 次嘗試 · 已完成 29480ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER有什麼產品推薦嗎?

BOT讓我幫您查詢一下相關資訊 🔍 很抱歉，目前查無相關產品推薦的資訊。如果您有特定需求或想了解某類型的產品，歡迎告訴我您的需求，我會再為您查詢最合適的產品資訊！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5934 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: —
II 重要: —
III 補充: 10.0% · w 10%

AI 回覆

讓我幫您查詢一下相關資訊 🔍 很抱歉，目前查無相關產品推薦的資訊。如果您有特定需求或想了解某類型的產品，歡迎告訴我您的需求，我會再為您查詢最合適的產品資訊！

預期答案 · 加權拆解

III 補充說明 w 10%: 請稍候，我為您查詢中

Judge 推理

回覆未能提供用戶所要求的產品名稱、價格和特色，且錯誤地表示查無相關產品推薦的資訊。根據規則，應該提供相關產品的資訊。

錯誤陳述 (1)

查無相關產品推薦的資訊

案例 53AC576A

為什麼我問的問題不會推薦產品?

已完成

第 1 次嘗試 · 已完成 26785ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER為什麼我問的問題不會推薦產品?

BOT稍等一下我來幫您查詢 💡 您好，我是欣寶XianBot，很高興為您服務！根據目前的資料，當您詢問資訊類問題時，我會專注於提供知識內容，不會主動推薦產品。只有在您明確要求推薦時，才會提供產品名稱、價格與特色。這樣做是為了讓資訊回應更精確，也避免干擾您的主要查詢需求。如果您有需要產品推薦，歡迎直接告訴我，我會立即為您提供相關資訊！請問還有其他想了解的地方嗎？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5934 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: 100.0% · w 30%
III 補充: 100.0% · w 10%

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是欣寶XianBot，很高興為您服務！根據目前的資料，當您詢問資訊類問題時，我會專注於提供知識內容，不會主動推薦產品。只有在您明確要求推薦時，才會提供產品名稱、價格與特色。這樣做是為了讓資訊回應更精確，也避免干擾您的主要查詢需求。如果您有需要產品推薦，歡迎直接告訴我，我會立即為您提供相關資訊！請問還有其他想了解的地方嗎？

預期答案 · 加權拆解

I 核心必答 w 60%: 系統僅會回答知識內容
不會主動推薦產品
II 重要限制 w 30%: 如果您需要推薦，請明確提出您的需求
III 補充說明 w 10%: 我們將提供相關的產品名稱、價格和特色

Judge 推理

這個回答完全符合用戶的問題，清楚解釋了系統不主動推薦產品的原因，並且提供了明確的指引，讓用戶知道如何獲得產品推薦。所有關鍵點都被涵蓋，且沒有錯誤的陳述。

案例 FA3AFF6F

我想知道假髮的種類有哪些

已完成

第 1 次嘗試 · 已完成 14149ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

✗ 未進入知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER我想知道假髮的種類有哪些

BOT這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 5934 · 知識與產品查詢

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

0.0%

相關性: 0.0%
完整性: 0.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 假髮的種類包括全頭假髮、局部假髮、醫療假髮
III 補充說明 w 10%: 若要了解更詳細的資訊，請告訴我您具體想查詢的類別

Judge 推理

這個回答完全沒有針對用戶的問題提供任何資訊，反而要求用戶重新描述問題，未能滿足用戶的需求。

案例 DDFA8E2E

請問有關最新的髮片資訊可以查詢哪些內容呢？

已完成

第 1 次嘗試 · 已完成 23759ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER請問有關最新的髮片資訊可以查詢哪些內容呢？

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是欣寶XianBot，很高興為您服務！目前查詢不到有關「最新髮片資訊可查詢內容」的相關資料。如果您有特定想了解的髮片品牌、型號或其他細節，歡迎提供更明確的資訊，我會協助您進一步查詢。請問您想了解哪方面的髮片資訊呢？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5934 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

73.3%

相關性: 80.0%
完整性: 50.0%
正確性: 90.0%

加權拆解 · 三層 coverage

I 核心: 60.0% · w 60%
II 重要: —
III 補充: 10.0% · w 10%

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是欣寶XianBot，很高興為您服務！目前查詢不到有關「最新髮片資訊可查詢內容」的相關資料。如果您有特定想了解的髮片品牌、型號或其他細節，歡迎提供更明確的資訊，我會協助您進一步查詢。請問您想了解哪方面的髮片資訊呢？

預期答案 · 加權拆解

I 核心必答 w 60%: 可以查詢有關髮片的各種資訊
III 補充說明 w 10%: 請告訴我具體想了解的內容

Judge 推理

回覆中提到無法查詢到最新髮片資訊，雖然有詢問用戶的具體需求，但未能提供任何髮片的基本資訊，導致回答不完整。

案例 F3F6CF58

推介一下你們的假髮有哪些？

已完成

第 1 次嘗試 · 已完成 13310ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

✗ 未進入知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER推介一下你們的假髮有哪些？

BOT這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 5934 · 知識與產品查詢

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

0.0%

相關性: 0.0%
完整性: 0.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 我們的假髮系列有多種選擇，包括不同的顏色和款式
III 補充說明 w 10%: 如果你想要具體的推薦，可以告訴我你的需求，我會提供相關的名稱、價格和特色

Judge 推理

回覆未能回答用戶的問題，且未提供任何假髮的選擇資訊，完全偏離了用戶的需求。

案例 C0A19F5E

有什麼髮片嗎？

已完成

第 1 次嘗試 · 已完成 6441ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

✗ 未進入知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER有什麼髮片嗎？

BOT這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 5934 · 知識與產品查詢

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

56.7%

相關性: 50.0%
完整性: 30.0%
正確性: 90.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 可以查詢各種髮片的資訊
III 補充說明 w 10%: 您想了解哪一種髮片呢

Judge 推理

回覆未能提供髮片的資訊，且未詢問用戶想了解的髮片類型，導致回答不完整。

案例 379326FF

我想知道你們的知識查詢是怎麼運作的？

已完成

第 1 次嘗試 · 已完成 19135ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我想知道你們的知識查詢是怎麼運作的？

BOT讓我幫您查詢一下相關資訊 🔍 很高興為您服務！目前查無關於「知識查詢運作方式」的相關資料。如果您有更具體的問題或想了解哪一部分的運作流程，歡迎再補充說明，我會盡力協助您！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5934 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

33.3%

相關性: 70.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

讓我幫您查詢一下相關資訊 🔍 很高興為您服務！目前查無關於「知識查詢運作方式」的相關資料。如果您有更具體的問題或想了解哪一部分的運作流程，歡迎再補充說明，我會盡力協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 會觸發知識與產品查詢
統一處理知識庫與產品資訊查詢
使用並發搜尋提供完整資訊

Judge 推理

回覆未能提供用戶所需的知識查詢運作方式的具體資訊，且未遵循規則僅回答知識內容，導致相關性和完整性得分偏低。

案例 C9E1AF54

我想知道你們有哪些產品

已完成

第 1 次嘗試 · 已完成 20469ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我想知道你們有哪些產品

BOT正在為您搜尋最新資料 ⏳ 您好，我是欣寶XianBot，很高興為您服務！目前查詢不到我們產品的相關資訊。為了更精確協助您，請問您有特定想了解的產品類型或服務內容嗎？也歡迎您提供更詳細的需求，我會盡力為您查詢或安排專人協助。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5934 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

73.3%

相關性: 80.0%
完整性: 50.0%
正確性: 90.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 100.0% · w 10%

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是欣寶XianBot，很高興為您服務！目前查詢不到我們產品的相關資訊。為了更精確協助您，請問您有特定想了解的產品類型或服務內容嗎？也歡迎您提供更詳細的需求，我會盡力為您查詢或安排專人協助。

預期答案 · 加權拆解

I 核心必答 w 60%: 我們提供多款產品，包括髮片、假髮等
III 補充說明 w 10%: 如果有特定需求或想詢問的產品，請告訴我

Judge 推理

回覆中提到正在搜尋資料，但未提供任何產品資訊，未能滿足用戶的查詢需求。雖然有詢問用戶的具體需求，但仍缺乏核心產品資訊，導致完整性不足。

案例 75389657

這個搜尋工具是什麼?

已完成

第 1 次嘗試 · 已完成 19858ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER這個搜尋工具是什麼?

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是欣寶XianBot，很高興為您服務！目前查無「搜尋工具」的相關說明資料。如果您能提供更詳細的描述或具體想了解的功能內容，我會更精確地協助您。請問您想詢問的是哪一種搜尋工具呢？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5934 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

33.3%

相關性: 70.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是欣寶XianBot，很高興為您服務！目前查無「搜尋工具」的相關說明資料。如果您能提供更詳細的描述或具體想了解的功能內容，我會更精確地協助您。請問您想詢問的是哪一種搜尋工具呢？

預期答案 · 加權拆解

I 核心必答 w 60%: 搜索統一是一個進階統一搜尋工具
支援跨知識庫、產品與連結資料的搜尋
可以提供完整的資訊

Judge 推理

這個回覆未能提供用戶所需的具體資訊，且錯誤地聲稱查無相關資料。回覆中缺少了關鍵的內容，未能回答用戶的問題。

錯誤陳述 (1)

查無「搜尋工具」的相關說明資料

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

—

不亂編造平均

faithfulness

0.0%

[0.0% – 0.0%] · n=2

2 / 2 適用

答得到位平均

answer_quality

35.0%

[33.3% – 36.7%] · n=2

2 / 2 適用

案例 39B9919C

我想要轉接真人客服，可以嗎

已完成
第 1 次嘗試 · 已完成 33699ms
腳本進度 · 轉接真人客服 ✓ 已走完

STEP

01

觸發條件
● 已觸發轉接真人客服

腳本規則

- 當用戶要求轉接真人客服，例如：線上客服、真人客服、轉真人、找真人轉接真人客服的 Agent 情景

STEP

02

資訊收集
— 依規則行為（由「回答品質」評分）

此情境無結構化欄位需收集，但 spec rules 約束 bot 行為（驗證關卡、禁止外洩等）— 評分由 answer_quality + spec_rules 維度承擔

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 直接觸發轉接真人

測試 2 步 · 此案例不測 2 步
對話流程 · 1 turn

Turn 1 STEP 04

USER我想要轉接真人客服，可以嗎

BOT目前僅提供線上協助，您可點此填寫表單留資料
PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質
36.7%

相關性

80.0%

完整性

30.0%

正確性

0.0%

加權拆解 · 三層 coverage

I 核心

0.0% · w 60%

轉接真人客服

II 重要

—

III 補充

—

AI 回覆

目前僅提供線上協助，您可點此填寫表單留資料

預期答案 · 加權拆解

I 核心必答 w 60%

轉接真人客服

Judge 推理

回覆未能直接轉接真人客服，且提供的資訊與用戶需求不符，因此在相關性和完整性上得分較低。

錯誤陳述 (1)

目前僅提供線上協助，您可點此填寫表單留資料

案例 0B469E27

可以推薦一下產品嗎?

已完成

第 1 次嘗試 · 已完成 29968ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER可以推薦一下產品嗎?

BOT正在為您搜尋最新資料 ⏳ 目前查無可推薦的產品資訊。請問您有特定的需求或想了解哪一類型的產品嗎？歡迎提供更詳細的說明，我會盡力協助您！

PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質

33.3%

相關性: 70.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

正在為您搜尋最新資料 ⏳ 目前查無可推薦的產品資訊。請問您有特定的需求或想了解哪一類型的產品嗎？歡迎提供更詳細的說明，我會盡力協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 可以提供產品名稱、價格和特色

Judge 推理

回覆未能提供用戶所需的產品名稱、價格和特色，且未遵循規則要求主動推薦產品。

Cost & Tokens

Bot 設定快照

Judge 設定快照

情境調用與完成

維度總表

最近有什麼新產品推薦嗎?

觸發條件

資訊收集

API 工具

回覆規則

有什麼產品推薦嗎?

觸發條件

資訊收集

API 工具

回覆規則

為什麼我問的問題不會推薦產品?

觸發條件

資訊收集

API 工具

回覆規則

我想知道假髮的種類有哪些

觸發條件

資訊收集

API 工具

回覆規則

請問有關最新的髮片資訊可以查詢哪些內容呢？

觸發條件

資訊收集

API 工具

回覆規則

推介一下你們的假髮有哪些？

觸發條件

資訊收集

API 工具

回覆規則

有什麼髮片嗎？

觸發條件

資訊收集

API 工具

回覆規則

我想知道你們的知識查詢是怎麼運作的？

觸發條件

資訊收集

API 工具

回覆規則

我想知道你們有哪些產品

觸發條件

資訊收集

API 工具

回覆規則

這個搜尋工具是什麼?

觸發條件

資訊收集

API 工具

回覆規則

對話素養（混合問答）

維度總表

我想要轉接真人客服，可以嗎

觸發條件

資訊收集

API 工具

回覆規則

可以推薦一下產品嗎?

觸發條件

資訊收集

API 工具

回覆規則