執行 #138

IM Motor (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告

狀態: 已完成
案例: 11
開始時間: 16 May 11:44
耗時: 1048.3s

¶ Economics · Bot-side N=11 attempts

Cost & Tokens

$0.0386

Total Bot Cost · USD

77.0%

Prompt Cache Hit

cost per case: $0.0035
cost per 1k tokens: $0.0012
input tokens: 31,745
output tokens: 1,477
cached tokens — prompt-cache hit: 24,448
Total Tokens: 33,222

economic efficiency

cost per correct: $0.0068
pass rate: 9.1%; 1 / 11
judge cost: $0.0068

設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

85ebd775-68be-4a66-ac2b-2fcd652eaa25 0 筆 KB

SystemPrompt: sha256:e4a7be06 KBContent: sha256:e3b0c442 Tools: sha256:e3b0c442 Scenarios: sha256:4362e39c AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1

已完成

11 / 11

錯誤

失敗維度

首字延遲 p95

25019 ms

Bot 成本（Neptune）

$0.0386

Bot Tokens（Neptune）

33,222

Judge 成本（Eris）

$0.0068

Judge Tokens（Eris）

55,498

維度總表

各維度品質分 · 覆蓋率

走對流程召回

scenario

70.0%

[40.0% – 90.0%] · n=10

F1 70.0% · 召回 70.0% · 精確 70.0%

10 / 10 適用

用對工具召回

tool_usage

30.0%

[0.0% – 60.0%] · n=10

F1 30.0% · 召回 30.0% · 精確 100.0%

10 / 10 適用

答得到位平均

answer_quality

35.0%

[19.3% – 50.0%] · n=10

10 / 10 適用

案例 6265E0F2

你們的產品查詢是怎麼進行的？

已完成

第 1 次嘗試 · 已完成 26854ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER你們的產品查詢是怎麼進行的？

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！我們的產品查詢流程非常簡單且高效，旨在讓您快速獲得所需的車款資訊或推薦。以下是我們的查詢方式： 1. 您只需告訴我您的需求，例如預算範圍、用車習慣（家庭、通勤、性能等）、以及偏好的動力系統（純電、油電混合等）。 2. 我會根據您的條件，從 IM Motor 的最新車型與產品資料庫中，智能搜尋並篩選最適合您的車款。 3. 查詢結果會以重點整理方式呈現，包括車型名稱、主要特色，以及如有需要可提供建議售價範圍。 4. 若您有進一步問題或想預約試駕，我也能協助安排。請問您目前有特定想了解的車型或需求嗎？只要告訴我，我就能立即為您查詢！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

46.7%

相關性: 90.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！我們的產品查詢流程非常簡單且高效，旨在讓您快速獲得所需的車款資訊或推薦。以下是我們的查詢方式： 1. 您只需告訴我您的需求，例如預算範圍、用車習慣（家庭、通勤、性能等）、以及偏好的動力系統（純電、油電混合等）。 2. 我會根據您的條件，從 IM Motor 的最新車型與產品資料庫中，智能搜尋並篩選最適合您的車款。 3. 查詢結果會以重點整理方式呈現，包括車型名稱、主要特色，以及如有需要可提供建議售價範圍。 4. 若您有進一步問題或想預約試駕，我也能協助安排。請問您目前有特定想了解的車型或需求嗎？只要告訴我，我就能立即為您查詢！

預期答案 · 加權拆解

I 核心必答 w 60%: 我們的產品查詢是透過統一搜尋系統進行的
會同時查詢知識庫、產品資訊與網頁資料
III 補充說明 w 10%: 為您提供完整資訊

Judge 推理

回覆中提到的查詢流程並未符合實際的查詢方式，且未提供統一搜尋系統的相關資訊，導致完整性和正確性不足。

錯誤陳述 (1)

查詢流程非常簡單且高效，旨在讓您快速獲得所需的車款資訊或推薦

案例 8BE95071

如何查詢產品的詳細資訊?

已完成

第 1 次嘗試 · 已完成 26224ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER如何查詢產品的詳細資訊?

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您想查詢 IM Motor 產品的詳細資訊，您可以直接告訴我您感興趣的車型名稱、產品編號，或是描述您的需求（例如：家庭用車、電動車、性能車等）。我會根據您的需求，為您提供最適合的產品資訊與推薦。請問您目前有特定想了解的車型或產品嗎？還是需要我根據您的使用需求來推薦合適的 IM Motor 車款呢？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

43.3%

相關性: 80.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您想查詢 IM Motor 產品的詳細資訊，您可以直接告訴我您感興趣的車型名稱、產品編號，或是描述您的需求（例如：家庭用車、電動車、性能車等）。我會根據您的需求，為您提供最適合的產品資訊與推薦。請問您目前有特定想了解的車型或產品嗎？還是需要我根據您的使用需求來推薦合適的 IM Motor 車款呢？

預期答案 · 加權拆解

I 核心必答 w 60%: 我們的知識庫與產品查詢系統可以使用並發搜尋來提供完整資訊
III 補充說明 w 10%: 請告訴我你想查詢的具體內容或問題

Judge 推理

這個回覆雖然有針對查詢產品的需求，但未能提供知識庫的具體資訊，且主動推薦產品違反了規則，因此在正確性上得分為零。

錯誤陳述 (1)

主動推薦產品

案例 571D1728

你們可以幫我查詢產品資訊嗎？

已完成

第 1 次嘗試 · 已完成 19583ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER你們可以幫我查詢產品資訊嗎？

BOT您好，我是IM Motor虛擬禮賓專員，很高興為您服務！我們可以協助您查詢IM Motor的產品資訊，包括車型規格、配備、最新優惠等。如果您有特定的車款、功能或需求，請告訴我您的查詢重點（例如：「IM L7 規格」、「電動車續航力」或「適合家庭使用的車型推薦」），我會為您提供最精確的資訊。請問您目前想查詢哪方面的產品資訊呢？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

46.7%

相關性: 90.0%
完整性: 50.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是IM Motor虛擬禮賓專員，很高興為您服務！我們可以協助您查詢IM Motor的產品資訊，包括車型規格、配備、最新優惠等。如果您有特定的車款、功能或需求，請告訴我您的查詢重點（例如：「IM L7 規格」、「電動車續航力」或「適合家庭使用的車型推薦」），我會為您提供最精確的資訊。請問您目前想查詢哪方面的產品資訊呢？

預期答案 · 加權拆解

I 核心必答 w 60%: 我們會統一處理知識庫查詢與產品資訊查詢
使用同步搜尋提供完整資訊

Judge 推理

這個回覆雖然針對使用者的查詢提供了回應，但未能完整涵蓋所需的核心資訊，且主動推薦產品違反了規則。

錯誤陳述 (1)

主動推薦產品

案例 EDD93A92

你們的搜尋工具支援什麼功能？

已完成

第 1 次嘗試 · 已完成 34791ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER你們的搜尋工具支援什麼功能？

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！根據目前的資料，IM Motor 的搜尋工具主要支援以下功能： - 可以同時搜尋知識庫、產品資訊與網頁資料，並自動排序最相關的結果。 - 支援查詢車輛外觀、舒適配備、智能駕駛輔助系統等產品細節。 - 可查詢隱私政策、數據保護、網站使用條款等相關資訊。 - 提供最新促銷活動、車型介紹及客戶服務流程說明。如果您有特定想查詢的內容或功能，歡迎告訴我，我可以協助您更精確地搜尋相關資訊！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

66.7%

相關性: 100.0%
完整性: 50.0%
正確性: 50.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！根據目前的資料，IM Motor 的搜尋工具主要支援以下功能： - 可以同時搜尋知識庫、產品資訊與網頁資料，並自動排序最相關的結果。 - 支援查詢車輛外觀、舒適配備、智能駕駛輔助系統等產品細節。 - 可查詢隱私政策、數據保護、網站使用條款等相關資訊。 - 提供最新促銷活動、車型介紹及客戶服務流程說明。如果您有特定想查詢的內容或功能，歡迎告訴我，我可以協助您更精確地搜尋相關資訊！

預期答案 · 加權拆解

I 核心必答 w 60%: 搜尋工具支援統一處理知識庫查詢與產品資訊查詢
使用並發搜尋提供完整資訊
支援自適應三通道智能排序

Judge 推理

回覆中提到的功能與地面真相不完全一致，缺少了關於並發搜尋和自適應三通道智能排序的描述，因此在完整性和正確性上得分較低。

案例 A45C1470

有關知識庫的問題怎麼問?

已完成

第 1 次嘗試 · 已完成 31223ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER有關知識庫的問題怎麼問?

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您有關於知識庫的問題，您可以直接描述您想了解的主題或疑問，例如： - 「IM Motor 的電動車有哪些安全配備？」 - 「請問 IM L7 的續航力是多少？」 - 「新加坡購買 IM 汽車有什麼政府補助？」 - 「IM 汽車的保養週期是多久？」只要清楚說明您的問題或想查詢的產品型號、功能、政策等，我就能幫您查詢並提供最完整的資訊。如果需要推薦車款，也歡迎告訴我您的需求（如預算、用途、動力類型），我會為您量身推薦合適的 IM Motor 車型！請問您目前有什麼想了解的主題嗎？

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

53.3%

相關性: 100.0%
完整性: 60.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 60.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！如果您有關於知識庫的問題，您可以直接描述您想了解的主題或疑問，例如： - 「IM Motor 的電動車有哪些安全配備？」 - 「請問 IM L7 的續航力是多少？」 - 「新加坡購買 IM 汽車有什麼政府補助？」 - 「IM 汽車的保養週期是多久？」只要清楚說明您的問題或想查詢的產品型號、功能、政策等，我就能幫您查詢並提供最完整的資訊。如果需要推薦車款，也歡迎告訴我您的需求（如預算、用途、動力類型），我會為您量身推薦合適的 IM Motor 車型！請問您目前有什麼想了解的主題嗎？

預期答案 · 加權拆解

I 核心必答 w 60%: 回覆時僅提供知識內容
III 補充說明 w 10%: 不主動推薦產品

Judge 推理

這個回覆雖然針對用戶的問題提供了相關的範例，但違反了規則中不主動推薦產品的要求，因此在正確性上得分為零。

錯誤陳述 (1)

主動推薦產品

案例 A406E040

請問統一搜尋工具是怎麼運作的？

已完成

第 1 次嘗試 · 已完成 38357ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER請問統一搜尋工具是怎麼運作的？

BOT您好，我是 IM Motor 智慧虛擬管家，很高興為您解答。根據我們的資料，「統一搜尋工具」主要是指網站上使用的各種技術（如 cookies、web beacons 及類似技術），用來收集和儲存資訊，提升您的使用體驗。這些技術會記錄您如何進入網站、瀏覽器類型、作業系統、IP 位址、瀏覽行為等資訊，但不會在 cookies 或其他技術中儲存您的個人資料。主要運作方式如下： - Cookies：小型文字檔案，分為「工作階段 cookies」（瀏覽器關閉即失效）和「持久性 cookies」（可跨多次瀏覽記憶偏好設定）。 - Web Beacons：小型圖像（像素標籤），通常與 cookies 搭配，用於分析用戶行為。 - 類似技術：如本地儲存（local storage）、Flash cookies 等，也可用於識別用戶或提升功能。您可以透過瀏覽器設定停用或刪除這些技術，但部分網站功能可能因此受限。如果您需要更詳細的說明或有其他相關問題，歡迎隨時告知！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 IM Motor 智慧虛擬管家，很高興為您解答。根據我們的資料，「統一搜尋工具」主要是指網站上使用的各種技術（如 cookies、web beacons 及類似技術），用來收集和儲存資訊，提升您的使用體驗。這些技術會記錄您如何進入網站、瀏覽器類型、作業系統、IP 位址、瀏覽行為等資訊，但不會在 cookies 或其他技術中儲存您的個人資料。主要運作方式如下： - Cookies：小型文字檔案，分為「工作階段 cookies」（瀏覽器關閉即失效）和「持久性 cookies」（可跨多次瀏覽記憶偏好設定）。 - Web Beacons：小型圖像（像素標籤），通常與 cookies 搭配，用於分析用戶行為。 - 類似技術：如本地儲存（local storage）、Flash cookies 等，也可用於識別用戶或提升功能。您可以透過瀏覽器設定停用或刪除這些技術，但部分網站功能可能因此受限。如果您需要更詳細的說明或有其他相關問題，歡迎隨時告知！

預期答案 · 加權拆解

I 核心必答 w 60%: 統一搜尋工具支援自適應三通道智能排序
能夠統一處理知識庫查詢與產品資訊查詢
使用並發搜尋以提供完整資訊

Judge 推理

回覆內容與使用者的問題不相關，並且未涵蓋任何關於統一搜尋工具的核心功能，完全偏離了問題的主題。

案例 2DEE41CF

這個搜尋工具可以怎麼使用啊

已完成

第 1 次嘗試 · 已完成 35765ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

● 已觸發 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER這個搜尋工具可以怎麼使用啊

BOT您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！針對您詢問「這個搜尋工具可以怎麼使用」，以下是相關說明： - 搜尋工具主要用於查詢 IM Motor 相關的產品資訊、知識庫內容、隱私政策、促銷活動等。 - 您可以輸入關鍵字或具體問題，例如「IM5 車型特色」、「預約試駕流程」、「隱私政策」等，系統會自動搜尋並提供最相關的官方資訊。 - 若您有特定車型、產品編號或功能需求，也可以直接輸入，系統會協助定位最精確的資料。如果您需要查詢特定內容，請直接告訴我您的需求或關鍵字，我會立即為您搜尋並提供詳細解答！如需進一步協助，歡迎隨時告知您的問題或想了解的主題。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 7363 · Knowledge and Product Search

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

66.7%

相關性: 100.0%
完整性: 50.0%
正確性: 50.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員，很高興為您服務！針對您詢問「這個搜尋工具可以怎麼使用」，以下是相關說明： - 搜尋工具主要用於查詢 IM Motor 相關的產品資訊、知識庫內容、隱私政策、促銷活動等。 - 您可以輸入關鍵字或具體問題，例如「IM5 車型特色」、「預約試駕流程」、「隱私政策」等，系統會自動搜尋並提供最相關的官方資訊。 - 若您有特定車型、產品編號或功能需求，也可以直接輸入，系統會協助定位最精確的資料。如果您需要查詢特定內容，請直接告訴我您的需求或關鍵字，我會立即為您搜尋並提供詳細解答！如需進一步協助，歡迎隨時告知您的問題或想了解的主題。

預期答案 · 加權拆解

I 核心必答 w 60%: 統一搜尋工具支援自適應三通道智能排序
可以處理知識庫與產品資訊的查詢
提供完整的資訊

Judge 推理

回覆中提到的搜尋工具功能與使用方式並未完全涵蓋正確的核心內容，缺少了關於自適應三通道智能排序及其查詢能力的具體說明，因此在完整性和正確性上得分較低。

案例 14551F29

能不能推薦一款適合夏天的髮片?

已完成

第 1 次嘗試 · 已完成 8103ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

✗ 未進入 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER能不能推薦一款適合夏天的髮片?

BOT您的問題超出服務範圍，請換個方式詢問，我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 7363 · Knowledge and Product Search

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

0.0%

相關性: 0.0%
完整性: 0.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 推薦使用輕盈的髮片
價格大約在 1500 元左右
主要特徵是透氣舒適，不易過熱
非常適合夏天使用

Judge 推理

AI 的回覆完全未回答用戶的問題，且錯誤地聲稱問題超出服務範圍，這不符合用戶的需求。根據規則，應提供髮片的名稱、價格和主要特徵。

錯誤陳述 (1)

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

案例 11DA5A82

請問可以推薦一下髮片嗎？

已完成

第 1 次嘗試 · 已完成 7357ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

✗ 未進入 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER請問可以推薦一下髮片嗎？

BOT您的問題超出服務範圍，請換個方式詢問，我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 7363 · Knowledge and Product Search

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

0.0%

相關性: 0.0%
完整性: 0.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 微增髮片價格為 $1500，主要特徵為自然厚度和舒適感
醫療假髮價格為 $3000，主要特徵為接近真髮的質感，提供良好的遮蓋效果

Judge 推理

AI的回覆完全未回應用戶的問題，且錯誤地表示問題超出服務範圍，未提供任何髮片的資訊，這與用戶的需求不符。

錯誤陳述 (1)

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

案例 DD5C8291

請問有關髮片的資訊可以提供嗎？

已完成

第 1 次嘗試 · 已完成 10890ms

腳本進度 · Knowledge and Product Search ✗ 卡關

STEP

觸發條件

✗ 未進入 Knowledge and Product Search

腳本規則

- When user asks a question or makes an inquiry

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	最新的無線耳機推薦有哪些？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 統一搜尋知識庫、產品與網頁資料，支援自適應三通道智能排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Informational questions → Answer with knowledge content only, do not proactively recommend products
When user explicitly requests recommendations → Provide only name, price, and key features

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER請問有關髮片的資訊可以提供嗎？

BOT您的問題超出服務範圍，請換個方式詢問，我才能協助您！

情境路由

0.0%

Precision: 0.0%
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ 7363 · Knowledge and Product Search

意料之外 (1)

! early_stopped

TP 0

FP 1

FN 1

工具使用

0.0%

Precision: —
Recall: 0.0%
F1: 0.0%

預期 (1)

✗ search_unified

TP 0

FP 0

FN 1

回答品質

0.0%

相關性: 0.0%
完整性: 0.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 我們可以提供有關髮片的詳細資訊
包括用途、材質、顏色選擇等
III 補充說明 w 10%: 請問您想了解哪一方面呢

Judge 推理

AI的回覆完全未回應用戶的問題，且錯誤地表示問題超出服務範圍，這與用戶的需求不符。回覆中缺乏任何有關髮片的資訊，導致相關性、完整性和正確性均為零。

錯誤陳述 (1)

您的問題超出服務範圍，請換個方式詢問，我才能協助您！

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

—

不亂編造平均

faithfulness

100.0%

1 / 1 適用

答得到位平均

answer_quality

100.0%

1 / 1 適用

案例 D91AF71F

要怎麼轉接到真人客服?

已完成
第 1 次嘗試 · 已完成 14199ms
腳本進度 · Transfer to Human Agent ✓ 已走完

STEP

01

觸發條件
● 已觸發 Transfer to Human Agent

腳本規則

- When user requests to speak with a live agent, e.g.: live chat, real person, talk to agent 轉接真人客服的 Agent 情景

STEP

02

資訊收集
— 依規則行為（由「回答品質」評分）

此情境無結構化欄位需收集，但 spec rules 約束 bot 行為（驗證關卡、禁止外洩等）— 評分由 answer_quality + spec_rules 維度承擔

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- Transfer to live agent immediately

測試 2 步 · 此案例不測 2 步
對話流程 · 1 turn

Turn 1 STEP 04

USER要怎麼轉接到真人客服?

BOT您好，我是 IM Motor 虛擬禮賓專員。感謝您的詢問，現在將立即為您轉接至真人客服，請稍候片刻。
PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

您好，我是 IM Motor 虛擬禮賓專員。感謝您的詢問，現在將立即為您轉接至真人客服，請稍候片刻。

預期答案 · 加權拆解

I 核心必答 w 60%

會立即轉接到真人客服

Judge 推理

該回覆完全符合用戶的要求，並且立即轉接至真人客服，符合規範要求。

Cost & Tokens

Bot 設定快照

Judge 設定快照

情境調用與完成

維度總表

你們的產品查詢是怎麼進行的？

觸發條件

資訊收集

API 工具

回覆規則

如何查詢產品的詳細資訊?

觸發條件

資訊收集

API 工具

回覆規則

你們可以幫我查詢產品資訊嗎？

觸發條件

資訊收集

API 工具

回覆規則

你們的搜尋工具支援什麼功能？

觸發條件

資訊收集

API 工具

回覆規則

有關知識庫的問題怎麼問?

觸發條件

資訊收集

API 工具

回覆規則

請問統一搜尋工具是怎麼運作的？

觸發條件

資訊收集

API 工具

回覆規則

這個搜尋工具可以怎麼使用啊

觸發條件

資訊收集

API 工具

回覆規則

能不能推薦一款適合夏天的髮片?

觸發條件

資訊收集

API 工具

回覆規則

請問可以推薦一下髮片嗎？

觸發條件

資訊收集

API 工具

回覆規則

請問有關髮片的資訊可以提供嗎？

觸發條件

資訊收集

API 工具

回覆規則

對話素養（混合問答）

維度總表

要怎麼轉接到真人客服?

觸發條件

資訊收集

API 工具

回覆規則