執行 #137

IM Motor (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告

狀態: 已完成
案例: 11
開始時間: 16 May 11:44
耗時: 816.9s

¶ Economics · Bot-side N=11 attempts

Cost & Tokens

$0.0689

Total Bot Cost · USD

14.4%

Prompt Cache Hit

cost per case: $0.0063
cost per 1k tokens: $0.0021
input tokens: 32,109
output tokens: 1,445
cached tokens — prompt-cache hit: 4,608
Total Tokens: 33,554

economic efficiency

cost per correct: $0.0032
pass rate: 18.2%; 2 / 11
judge cost: $0.0064

設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

85ebd775-68be-4a66-ac2b-2fcd652eaa25 0 筆 KB

SystemPrompt: sha256:e4a7be06 KBContent: sha256:e3b0c442 Tools: sha256:e3b0c442 Scenarios: sha256:4362e39c AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1

已完成

11 / 11

錯誤

失敗維度

首字延遲 p95

11825 ms

Bot 成本（Neptune）

$0.0689

Bot Tokens（Neptune）

33,554

Judge 成本（Eris）

$0.0064

Judge Tokens（Eris）

53,646

維度總表

各維度品質分 · 覆蓋率

走對流程召回

scenario

70.0%

[40.0% – 100.0%] · n=10

F1 70.0% · 召回 70.0% · 精確 70.0%

10 / 10 適用

用對工具召回

tool_usage

30.0%

[0.0% – 60.0%] · n=10

F1 30.0% · 召回 30.0% · 精確 100.0%

10 / 10 適用

答得到位平均

answer_quality

40.3%

[24.0% – 56.0%] · n=10

10 / 10 適用

案例 6265E0F2

你們的產品查詢是怎麼進行的？

已完成

第 1 次嘗試 · 已完成 12497ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER你們的產品查詢是怎麼進行的？

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！我們的產品查詢流程非常簡單且高效，旨在讓您快速獲得所需資訊。以下是我們的查詢方式： 1. 您只需告訴我您的需求，例如想了解哪一款車型、功能、規格或優惠等。 2. 我會根據您的描述，並發搜尋我們的知識庫與產品資料，為您提供最完整、最新的官方資訊。 3. 若您需要推薦車款，我會先了解您的預算、用車需求（如家庭、通勤或性能）、以及偏好的動力系統（純電/油電/燃油），再為您精選合適車型。請問您目前有特別想查詢的車款或功能嗎？還是需要我協助推薦適合您的 IM Motor 車型呢？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

73.3%

相關性: 90.0%
完整性: 60.0%
正確性: 70.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！我們的產品查詢流程非常簡單且高效，旨在讓您快速獲得所需資訊。以下是我們的查詢方式： 1. 您只需告訴我您的需求，例如想了解哪一款車型、功能、規格或優惠等。 2. 我會根據您的描述，並發搜尋我們的知識庫與產品資料，為您提供最完整、最新的官方資訊。 3. 若您需要推薦車款，我會先了解您的預算、用車需求（如家庭、通勤或性能）、以及偏好的動力系統（純電/油電/燃油），再為您精選合適車型。請問您目前有特別想查詢的車款或功能嗎？還是需要我協助推薦適合您的 IM Motor 車型呢？

預期答案 · 加權拆解

I 核心必答 w 60%: 我們的產品查詢是透過統一搜尋系統進行的
會同時查詢知識庫、產品資訊與網頁資料
III 補充說明 w 10%: 為您提供完整資訊

Judge 推理

回覆中提到的查詢流程雖然相關，但未能準確描述查詢是透過統一搜尋系統進行的，且未提及同時查詢知識庫、產品資訊與網頁資料的部分，因此在完整性上有所欠缺。

案例 8BE95071

如何查詢產品的詳細資訊?

已完成

第 1 次嘗試 · 已完成 14548ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER如何查詢產品的詳細資訊?

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您想查詢 IM Motor 產品的詳細資訊，您可以直接告訴我您感興趣的車型名稱、產品型號，或是描述您的需求（例如：家庭用車、電動車、性能車等）。我會根據您的需求，為您提供最適合的產品資訊與推薦。請問您目前有特定想了解的車款或產品嗎？還是需要我根據您的使用情境來推薦？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

46.7%

相關性: 90.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您想查詢 IM Motor 產品的詳細資訊，您可以直接告訴我您感興趣的車型名稱、產品型號，或是描述您的需求（例如：家庭用車、電動車、性能車等）。我會根據您的需求，為您提供最適合的產品資訊與推薦。請問您目前有特定想了解的車款或產品嗎？還是需要我根據您的使用情境來推薦？

預期答案 · 加權拆解

I 核心必答 w 60%: 我們的知識庫與產品查詢系統可以使用並發搜尋來提供完整資訊
III 補充說明 w 10%: 請告訴我你想查詢的具體內容或問題

Judge 推理

這個回覆雖然有針對用戶的查詢進行回應，但未能提供知識庫的具體資訊，且主動推薦產品違反了規則。

錯誤陳述 (1)

主動推薦產品

案例 571D1728

你們可以幫我查詢產品資訊嗎？

已完成

第 1 次嘗試 · 已完成 8420ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER你們可以幫我查詢產品資訊嗎？

BOT您好，我是IM Motor虛擬禮賓專員，很高興為您服務！我們可以協助您查詢IM Motor的產品資訊，包括車型、規格、配備、優惠方案等。請問您想了解哪一款車型或有特定的需求嗎？例如：預算範圍、用車習慣（家庭、通勤、性能）、或是偏好電動車/油電混合/傳統汽油車等，讓我能更精準地為您推薦或提供資訊。請告訴我您的需求！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

46.7%

相關性: 90.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是IM Motor虛擬禮賓專員，很高興為您服務！我們可以協助您查詢IM Motor的產品資訊，包括車型、規格、配備、優惠方案等。請問您想了解哪一款車型或有特定的需求嗎？例如：預算範圍、用車習慣（家庭、通勤、性能）、或是偏好電動車/油電混合/傳統汽油車等，讓我能更精準地為您推薦或提供資訊。請告訴我您的需求！

預期答案 · 加權拆解

I 核心必答 w 60%: 我們會統一處理知識庫查詢與產品資訊查詢
使用同步搜尋提供完整資訊

Judge 推理

這個回覆雖然針對使用者的查詢提供了相關的資訊，但未能完全符合知識庫的要求，且主動推薦產品的行為違反了規則。

錯誤陳述 (1)

主動推薦產品

案例 EDD93A92

你們的搜尋工具支援什麼功能？

已完成

第 1 次嘗試 · 已完成 15904ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER你們的搜尋工具支援什麼功能？

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！根據目前的資料，搜尋工具主要支援以下功能： - 可以查詢 IM Motor 相關產品資訊、車型規格、配備細節（如外觀、舒適性、智能駕駛輔助系統等）。 - 能夠搜尋公司政策、隱私條款、數據保護與個人資料使用說明。 - 支援查詢促銷活動、推薦計畫及客戶服務流程。 - 可協助您找到聯絡方式或填寫線上諮詢表單。如果您有特定想查詢的內容或功能需求，歡迎告訴我，我會更精準地協助您！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

50.0%

相關性: 100.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！根據目前的資料，搜尋工具主要支援以下功能： - 可以查詢 IM Motor 相關產品資訊、車型規格、配備細節（如外觀、舒適性、智能駕駛輔助系統等）。 - 能夠搜尋公司政策、隱私條款、數據保護與個人資料使用說明。 - 支援查詢促銷活動、推薦計畫及客戶服務流程。 - 可協助您找到聯絡方式或填寫線上諮詢表單。如果您有特定想查詢的內容或功能需求，歡迎告訴我，我會更精準地協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 搜尋工具支援統一處理知識庫查詢與產品資訊查詢
使用並發搜尋提供完整資訊
支援自適應三通道智能排序

Judge 推理

回覆中提到的搜尋工具功能與事實不符，未涵蓋所有關鍵點，特別是並發搜尋和智能排序的功能缺失，導致完整性得分偏低。

案例 A45C1470

有關知識庫的問題怎麼問?

已完成

第 1 次嘗試 · 已完成 10130ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER有關知識庫的問題怎麼問?

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您有關於知識庫的問題，您可以直接描述您的疑問或想查詢的主題，例如： - 「IM Motor 的電動車有哪些安全配備？」 - 「請問 IM Motor 的保養週期是多久？」 - 「IM Motor 在新加坡有哪些優惠政策？」只要清楚說明您的問題或想了解的產品資訊，我就能幫您查詢並提供最合適的答案。如果您有特定型號、產品代碼或關鍵字，也可以一併告訴我，這樣能更精準地找到相關資訊。請問您目前想了解哪方面的內容呢？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

53.3%

相關性: 100.0%
完整性: 60.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 60.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您有關於知識庫的問題，您可以直接描述您的疑問或想查詢的主題，例如： - 「IM Motor 的電動車有哪些安全配備？」 - 「請問 IM Motor 的保養週期是多久？」 - 「IM Motor 在新加坡有哪些優惠政策？」只要清楚說明您的問題或想了解的產品資訊，我就能幫您查詢並提供最合適的答案。如果您有特定型號、產品代碼或關鍵字，也可以一併告訴我，這樣能更精準地找到相關資訊。請問您目前想了解哪方面的內容呢？

預期答案 · 加權拆解

I 核心必答 w 60%: 回覆時僅提供知識內容
III 補充說明 w 10%: 不主動推薦產品

Judge 推理

這個回覆雖然針對用戶的問題提供了相關的建議，但違反了規則中不主動推薦產品的要求，因此在正確性上得分為零。

錯誤陳述 (1)

主動推薦產品

案例 A406E040

請問統一搜尋工具是怎麼運作的？

已完成

第 1 次嘗試 · 已完成 15994ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER請問統一搜尋工具是怎麼運作的？

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您解答。根據我們的資料，「統一搜尋工具」主要是指網站上使用的各種技術（如 cookies、web beacons 及類似技術），用來收集和儲存資訊，提升您的使用體驗。這些技術會記錄您如何進入網站、瀏覽器類型、作業系統、IP 位址、瀏覽行為等資訊，但不會在 cookies 或其他技術中儲存您的個人資料。主要運作方式如下： - Cookies：小型文字檔案，分為「工作階段 cookies」（瀏覽器關閉即失效）和「持久性 cookies」（可跨多次瀏覽記住偏好設定）。 - Web Beacons：小型圖像（像素標籤），通常與 cookies 搭配，用於分析用戶行為。 - 類似技術：如本地儲存（local storage）、Flash cookies 等，也用於提升網站功能。您可以透過瀏覽器設定停用或刪除這些技術，但部分網站功能可能因此受限。如果您想了解更詳細的運作流程或有特定需求，歡迎隨時告知！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您解答。根據我們的資料，「統一搜尋工具」主要是指網站上使用的各種技術（如 cookies、web beacons 及類似技術），用來收集和儲存資訊，提升您的使用體驗。這些技術會記錄您如何進入網站、瀏覽器類型、作業系統、IP 位址、瀏覽行為等資訊，但不會在 cookies 或其他技術中儲存您的個人資料。主要運作方式如下： - Cookies：小型文字檔案，分為「工作階段 cookies」（瀏覽器關閉即失效）和「持久性 cookies」（可跨多次瀏覽記住偏好設定）。 - Web Beacons：小型圖像（像素標籤），通常與 cookies 搭配，用於分析用戶行為。 - 類似技術：如本地儲存（local storage）、Flash cookies 等，也用於提升網站功能。您可以透過瀏覽器設定停用或刪除這些技術，但部分網站功能可能因此受限。如果您想了解更詳細的運作流程或有特定需求，歡迎隨時告知！

預期答案 · 加權拆解

I 核心必答 w 60%: 統一搜尋工具支援自適應三通道智能排序
能夠統一處理知識庫查詢與產品資訊查詢
使用並發搜尋以提供完整資訊

Judge 推理

回覆內容與使用者的問題不相關，並且未涵蓋任何關於統一搜尋工具的核心功能，完全偏離了問題的主題。

案例 2DEE41CF

這個搜尋工具可以怎麼使用啊

已完成

第 1 次嘗試 · 已完成 16493ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER這個搜尋工具可以怎麼使用啊

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！根據目前的資料，這個搜尋工具主要是用來查詢 IM Motor 相關的知識庫、產品資訊與網頁內容。您只需要輸入您的問題或想查詢的產品名稱、型號等關鍵字，系統就會自動搜尋並提供相關的答案或資訊。如果您有特定想了解的內容，例如車款規格、購車流程、隱私政策等，都可以直接輸入問題，我會協助您找到最合適的答案。請問您現在有什麼想查詢或需要協助的主題嗎？歡迎隨時告訴我！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

80.0%

相關性: 100.0%
完整性: 60.0%
正確性: 80.0%

加權拆解 · 三層 coverage

I 核心: 60.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！根據目前的資料，這個搜尋工具主要是用來查詢 IM Motor 相關的知識庫、產品資訊與網頁內容。您只需要輸入您的問題或想查詢的產品名稱、型號等關鍵字，系統就會自動搜尋並提供相關的答案或資訊。如果您有特定想了解的內容，例如車款規格、購車流程、隱私政策等，都可以直接輸入問題，我會協助您找到最合適的答案。請問您現在有什麼想查詢或需要協助的主題嗎？歡迎隨時告訴我！

預期答案 · 加權拆解

I 核心必答 w 60%: 統一搜尋工具支援自適應三通道智能排序
可以處理知識庫與產品資訊的查詢
提供完整的資訊

Judge 推理

回覆中提到的搜尋工具功能與使用方式符合問題，但未完整涵蓋所有關鍵點，特別是關於智能排序的部分缺失，導致完整性得分偏低。

案例 14551F29

能不能推薦一款適合夏天的髮片?

已完成

第 1 次嘗試 · 已完成 3047ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

✗ 未進入 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER能不能推薦一款適合夏天的髮片?

BOT您的問題超出服務範圍，請換個方式詢問，我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 7363 · Knowledge and Product Search

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

0.0%

相關性: 0.0%
完整性: 0.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 推薦使用輕盈的髮片
價格大約在 1500 元左右
主要特徵是透氣舒適，不易過熱
非常適合夏天使用

Judge 推理

AI 回覆完全未回答用戶的問題，且錯誤地表示問題超出服務範圍，未提供任何相關資訊，導致完全不符合用戶需求。

案例 11DA5A82

請問可以推薦一下髮片嗎？

已完成

第 1 次嘗試 · 已完成 3160ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

✗ 未進入 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER請問可以推薦一下髮片嗎？

BOT這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 7363 · Knowledge and Product Search

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 微增髮片價格為 $1500，主要特徵為自然厚度和舒適感
醫療假髮價格為 $3000，主要特徵為接近真髮的質感，提供良好的遮蓋效果

Judge 推理

回覆未能提供任何髮片的資訊，且錯誤地聲稱問題不在服務範圍內。根據規則，應該提供髮片的名稱、價格和主要特徵。

錯誤陳述 (1)

這個問題不在目前的服務範圍內

案例 DD5C8291

請問有關髮片的資訊可以提供嗎？

已完成

第 1 次嘗試 · 已完成 5791ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

✗ 未進入 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER請問有關髮片的資訊可以提供嗎？

BOT您的問題超出服務範圍，請換個方式詢問，我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 7363 · Knowledge and Product Search

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

0.0%

相關性: 0.0%
完整性: 0.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 我們可以提供有關髮片的詳細資訊
包括用途、材質、顏色選擇等
III 補充說明 w 10%: 請問您想了解哪一方面呢

Judge 推理

AI的回覆完全未回應用戶的問題，且錯誤地表示問題超出服務範圍，這與用戶的需求不符。回覆中缺乏任何有關髮片的資訊，導致相關性、完整性和正確性均為零。

錯誤陳述 (1)

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

—

不亂編造平均

faithfulness

0.0%

1 / 1 適用

答得到位平均

answer_quality

40.0%

1 / 1 適用

案例 D91AF71F

要怎麼轉接到真人客服?

已完成
第 1 次嘗試 · 已完成 10229ms
腳本進度 · Transfer to Human Agent ✓ 已走完

STEP

01

觸發條件
● 已觸發 Transfer to Human Agent

腳本規則

- When user requests to speak with a live agent, e.g.: live chat, real person, talk to agent 轉接真人客服的 Agent 情景

STEP

02

資訊收集
— 依規則行為（由「回答品質」評分）

此情境無結構化欄位需收集，但 spec rules 約束 bot 行為（驗證關卡、禁止外洩等）— 評分由 answer_quality + spec_rules 維度承擔

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Transfer to live agent immediately

測試 2 步 · 此案例不測 2 步
對話流程 · 1 turn

Turn 1 STEP 04

USER要怎麼轉接到真人客服?

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您需要轉接到真人客服，請告知您的聯絡方式（如電話或電子郵件），或說明您希望聯繫的時間與需求內容，我會立即為您安排專人與您聯繫。請問您需要哪方面的協助？例如：新車諮詢、售後服務、試駕預約等。提供更多資訊能幫助我們更快為您安排合適的專員。
PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質
40.0%

相關性

90.0%

完整性

30.0%

正確性

0.0%

加權拆解 · 三層 coverage

I 核心

0.0% · w 60%

會立即轉接到真人客服

II 重要

—

III 補充

—

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您需要轉接到真人客服，請告知您的聯絡方式（如電話或電子郵件），或說明您希望聯繫的時間與需求內容，我會立即為您安排專人與您聯繫。請問您需要哪方面的協助？例如：新車諮詢、售後服務、試駕預約等。提供更多資訊能幫助我們更快為您安排合適的專員。

預期答案 · 加權拆解

I 核心必答 w 60%

會立即轉接到真人客服

Judge 推理

該回覆未能立即轉接用戶到真人客服，違反了規則要求，且未涵蓋核心必答的內容。

錯誤陳述 (1)

未立即轉接到真人客服

Cost & Tokens

Bot 設定快照

Judge 設定快照

情境調用與完成

維度總表

你們的產品查詢是怎麼進行的？

觸發條件

資訊收集

API 工具

回覆規則

如何查詢產品的詳細資訊?

觸發條件

資訊收集

API 工具

回覆規則

你們可以幫我查詢產品資訊嗎？

觸發條件

資訊收集

API 工具

回覆規則

你們的搜尋工具支援什麼功能？

觸發條件

資訊收集

API 工具

回覆規則

有關知識庫的問題怎麼問?

觸發條件

資訊收集

API 工具

回覆規則

請問統一搜尋工具是怎麼運作的？

觸發條件

資訊收集

API 工具

回覆規則

這個搜尋工具可以怎麼使用啊

觸發條件

資訊收集

API 工具

回覆規則

能不能推薦一款適合夏天的髮片?

觸發條件

資訊收集

API 工具

回覆規則

請問可以推薦一下髮片嗎？

觸發條件

資訊收集

API 工具

回覆規則

請問有關髮片的資訊可以提供嗎？

觸發條件

資訊收集

API 工具

回覆規則

對話素養（混合問答）

維度總表

要怎麼轉接到真人客服?

觸發條件

資訊收集

API 工具

回覆規則