執行 #278

test (bulk R1) → production-canary (canary)

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告

狀態: 已完成
案例: 20
開始時間: 16 May 12:55
耗時: 343.5s

¶ Economics · Bot-side N=20 attempts

Cost & Tokens

$0.2072

Total Bot Cost · USD

42.1%

Prompt Cache Hit

cost per case: $0.0104
cost per 1k tokens: $0.0016
input tokens: 121,028
output tokens: 5,190
cached tokens — prompt-cache hit: 50,944
Total Tokens: 126,218

economic efficiency

cost per correct: $0.0007
pass rate: 85.0%; 17 / 20
judge cost: $0.0123

設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

319f5c68-8beb-4b8b-838a-2cb37c4ad6a1 0 筆 KB

SystemPrompt: sha256:e4a7be06 KBContent: sha256:e3b0c442 Tools: sha256:e3b0c442 Scenarios: sha256:a814006e AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1

已完成

20 / 20

錯誤

失敗維度

首字延遲 p95

7558 ms

Bot 成本（Neptune）

$0.2072

Bot Tokens（Neptune）

126,218

Judge 成本（Eris）

$0.0123

Judge Tokens（Eris）

99,510

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

100.0%

[100.0% – 100.0%] · n=4

F1 40.0% · 精確 25.0%

4 / 4 適用

不亂編造平均

faithfulness

100.0%

4 / 4 適用

答得到位平均

answer_quality

96.7%

[92.5% – 100.0%] · n=4

4 / 4 適用

案例 A213C1D3

聲音沙啞超過一週未改善，要怎麼辦?

已完成
第 1 次嘗試 · 已完成 31567ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER聲音沙啞超過一週未改善，要怎麼辦?

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。針對您提到「聲音沙啞超過一週未改善」的情況，根據明安耳鼻喉科的建議： - 若聲音沙啞持續超過一週尚未改善，尤其伴隨講話吃力、喉嚨緊繃、經常清喉嚨等症狀，建議您盡快就醫檢查。 - 聲音沙啞可能與聲帶發炎、聲帶結節、胃酸逆流或其他喉部問題有關，拖延治療可能導致症狀惡化。 - 請勿自行用藥或延誤就醫，由專業耳鼻喉科醫師檢查後才能對症處理。如需預約門診或有其他相關疑問，也歡迎隨時告知，我會協助您進一步了解流程。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

意料之外 (3)

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

TP 1

FP 3

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。針對您提到「聲音沙啞超過一週未改善」的情況，根據明安耳鼻喉科的建議： - 若聲音沙啞持續超過一週尚未改善，尤其伴隨講話吃力、喉嚨緊繃、經常清喉嚨等症狀，建議您盡快就醫檢查。 - 聲音沙啞可能與聲帶發炎、聲帶結節、胃酸逆流或其他喉部問題有關，拖延治療可能導致症狀惡化。 - 請勿自行用藥或延誤就醫，由專業耳鼻喉科醫師檢查後才能對症處理。如需預約門診或有其他相關疑問，也歡迎隨時告知，我會協助您進一步了解流程。

預期答案 · 加權拆解

I 核心必答 w 60%

若聲音沙啞超過一週以上還沒改善，建議做進一步檢查
特別是如果感覺講話吃力或喉嚨緊繃

Judge 推理

這個回答完全針對用戶的問題，提供了詳細的建議和相關症狀，並且符合預期的回答風格，涵蓋了所有關鍵點，且沒有錯誤的陳述。
案例 1D3F19FE

感冒後持續咳嗽的原因是什麼?

已完成
第 1 次嘗試 · 已完成 46178ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER感冒後持續咳嗽的原因是什麼?

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是明安耳鼻喉科的智能客服 test，很高興為您服務。關於「感冒後持續咳嗽的原因」，根據本院資料，常見的原因包括： - 支氣管敏感 - 鼻涕倒流 - 咽喉發炎 - 過敏 - 胃食道逆流如果咳嗽超過一到兩週仍未改善，建議您讓醫師檢查找出真正原因，才能對症處理。請勿自行長期用藥，以免延誤治療。如需進一步協助或預約門診，歡迎隨時告知。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

意料之外 (3)

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

TP 1

FP 3

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是明安耳鼻喉科的智能客服 test，很高興為您服務。關於「感冒後持續咳嗽的原因」，根據本院資料，常見的原因包括： - 支氣管敏感 - 鼻涕倒流 - 咽喉發炎 - 過敏 - 胃食道逆流如果咳嗽超過一到兩週仍未改善，建議您讓醫師檢查找出真正原因，才能對症處理。請勿自行長期用藥，以免延誤治療。如需進一步協助或預約門診，歡迎隨時告知。

預期答案 · 加權拆解

I 核心必答 w 60%

感冒後持續咳嗽的常見原因包括支氣管敏感、鼻涕倒流、咽喉發炎、過敏或胃食道逆流

Judge 推理

這個回答完全針對用戶的問題，提供了感冒後持續咳嗽的常見原因，並且內容正確且完整，符合預期的回答風格。
案例 B06D4AAB

耳朵不舒服的可能原因是什麼?

已完成
第 1 次嘗試 · 已完成 37132ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER耳朵不舒服的可能原因是什麼?

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。關於「耳朵不舒服」的可能原因，根據明安耳鼻喉科的專業資料，常見原因包括： - 外耳炎 - 中耳炎 - 耳垢阻塞 - 耳咽管功能異常 - 過敏或感冒後積液 - 耳鳴（可能與外傷、噪音、慢性中耳炎、血管性或神經性問題、藥物副作用、內耳積水如梅尼爾氏症等有關） - 自律神經失調（如過度勞累、失眠、熬夜等） - 內分泌變化（如懷孕或更年期婦女）提醒您：不建議自行用藥或挖耳朵，因為處理方式不當可能讓症狀加重。若有聽力下降、持續疼痛、耳鳴或頭暈等情形，建議儘早由耳鼻喉科醫師檢查，以免延誤治療。如需進一步協助或預約門診，歡迎隨時告知！
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

意料之外 (3)

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

TP 1

FP 3

FN 0

回答品質
90.0%

相關性

100.0%

完整性

70.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

60.0% · w 60%

耳朵不舒服可能是其他原因造成的
最好由醫師檢查後再對症治療

II 重要

100.0% · w 30%

III 補充

—

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。關於「耳朵不舒服」的可能原因，根據明安耳鼻喉科的專業資料，常見原因包括： - 外耳炎 - 中耳炎 - 耳垢阻塞 - 耳咽管功能異常 - 過敏或感冒後積液 - 耳鳴（可能與外傷、噪音、慢性中耳炎、血管性或神經性問題、藥物副作用、內耳積水如梅尼爾氏症等有關） - 自律神經失調（如過度勞累、失眠、熬夜等） - 內分泌變化（如懷孕或更年期婦女）提醒您：不建議自行用藥或挖耳朵，因為處理方式不當可能讓症狀加重。若有聽力下降、持續疼痛、耳鳴或頭暈等情形，建議儘早由耳鼻喉科醫師檢查，以免延誤治療。如需進一步協助或預約門診，歡迎隨時告知！

預期答案 · 加權拆解

I 核心必答 w 60%

耳朵不舒服可能是外耳炎、中耳炎、耳垢阻塞或其他原因造成的
最好由醫師檢查後再對症治療

II 重要限制 w 30%

不建議自行亂用藥

Judge 推理

這個回答針對耳朵不舒服的可能原因提供了詳細的資訊，並且強調不建議自行用藥，符合事實。然而，回答中缺少了「耳朵不舒服可能是其他原因造成的」和「最好由醫師檢查後再對症治療」這兩個關鍵點，因此完整性得分較低。
案例 CBFE97FE

鼻塞超過兩週要看醫生嗎?

已完成
第 1 次嘗試 · 已完成 23481ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER鼻塞超過兩週要看醫生嗎?

BOT正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。根據明安耳鼻喉科的常見問題說明，若鼻塞持續超過一至兩週，可能與過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等問題有關。尤其如果合併有黃鼻涕、頭痛、臉部悶脹感，需留意是否為鼻竇發炎。建議您讓耳鼻喉科醫師進一步評估，以確定原因並獲得適當治療。如有其他症狀或疑問，也歡迎隨時詢問。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

意料之外 (3)

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

TP 1

FP 3

FN 0

忠實度
有依據

幻覺比率

0.0%

越低越好

引用依據

100.0%

越高越好

Judge 推理

AI的回覆中提到的鼻塞持續時間及相關症狀均有來源支持，因此沒有虛構的聲明。所有的事實陳述都可以從來源中找到依據。

回答品質
96.7%

相關性

100.0%

完整性

90.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

90.0% · w 60%

伴隨黃鼻涕、頭痛或臉部悶脹感

II 重要

—

III 補充

—

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。根據明安耳鼻喉科的常見問題說明，若鼻塞持續超過一至兩週，可能與過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等問題有關。尤其如果合併有黃鼻涕、頭痛、臉部悶脹感，需留意是否為鼻竇發炎。建議您讓耳鼻喉科醫師進一步評估，以確定原因並獲得適當治療。如有其他症狀或疑問，也歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%

如果鼻塞持續超過一至兩週，應該讓耳鼻喉科醫師評估
伴隨黃鼻涕、頭痛或臉部悶脹感

Judge 推理

這個回答針對鼻塞的問題提供了相關的醫療建議，並且正確地指出了持續超過兩週的情況需要看醫生。雖然內容完整，但缺少了明確提到伴隨的症狀，導致核心覆蓋率略低。

維度總表

各維度品質分 · 覆蓋率

走對流程召回

scenario

100.0%

[100.0% – 100.0%] · n=10

F1 100.0% · 召回 100.0% · 精確 100.0%

10 / 10 適用

用對工具召回

tool_usage

100.0%

[100.0% – 100.0%] · n=10

F1 100.0% · 召回 100.0% · 精確 100.0%

10 / 10 適用

答得到位平均

answer_quality

84.7%

[68.0% – 97.3%] · n=10

10 / 10 適用

案例 872E3A48

有關聲音沙啞的問題可以幫我查一下嗎？

已完成

第 1 次嘗試 · 已完成 55078ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER有關聲音沙啞的問題可以幫我查一下嗎？

BOT正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。針對聲音沙啞的問題，根據本院常見問題Q&A，提供以下資訊： - 聲音沙啞若超過一週以上仍未改善，尤其伴隨講話吃力、喉嚨緊繃、經常清喉嚨等情況，建議儘早就醫檢查。聲音沙啞可能與聲帶發炎、聲帶結節、胃酸逆流或其他喉部問題有關，拖延治療可能導致症狀惡化。 - 若同時有喉嚨異物感但不會痛，也可能與慢性咽喉炎、胃食道逆流、鼻涕倒流、聲帶過度使用或壓力有關。若症狀持續或合併吞嚥困難，建議由耳鼻喉科醫師詳細檢查。提醒您：不建議自行用藥或延誤就醫，以免錯失最佳治療時機。如需進一步協助或預約門診，歡迎隨時告知。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: 100.0% · w 10%

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。針對聲音沙啞的問題，根據本院常見問題Q&A，提供以下資訊： - 聲音沙啞若超過一週以上仍未改善，尤其伴隨講話吃力、喉嚨緊繃、經常清喉嚨等情況，建議儘早就醫檢查。聲音沙啞可能與聲帶發炎、聲帶結節、胃酸逆流或其他喉部問題有關，拖延治療可能導致症狀惡化。 - 若同時有喉嚨異物感但不會痛，也可能與慢性咽喉炎、胃食道逆流、鼻涕倒流、聲帶過度使用或壓力有關。若症狀持續或合併吞嚥困難，建議由耳鼻喉科醫師詳細檢查。提醒您：不建議自行用藥或延誤就醫，以免錯失最佳治療時機。如需進一步協助或預約門診，歡迎隨時告知。

預期答案 · 加權拆解

I 核心必答 w 60%: 聲音沙啞持續不癒可能與聲帶發炎、聲帶結節、胃酸逆流或其他喉部問題有關
如果聲音沙啞超過一週以上沒有改善，建議儘早就醫檢查
III 補充說明 w 10%: 以免延誤治療

Judge 推理

這個回答完整地涵蓋了用戶詢問的聲音沙啞問題，並提供了相關的醫療建議，符合知識內容的要求。

案例 FC3C1CFD

耳朵悶悶的，聽不太清楚，是中耳炎嗎？

已完成

第 1 次嘗試 · 已完成 23094ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER耳朵悶悶的，聽不太清楚，是中耳炎嗎？

BOT正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。根據明安耳鼻喉科的常見問題說明，耳朵悶悶的、聽不太清楚的症狀可能與以下幾種情況有關： - 中耳炎 - 耳垢阻塞 - 耳咽管功能異常 - 過敏或感冒後積液這些症狀不一定都是中耳炎造成的。如果您同時有聽力下降、耳痛、耳鳴或頭暈等情形，建議儘早至耳鼻喉科就醫檢查，由專業醫師判斷原因並給予適當治療，以免延誤病情。如需進一步協助或預約門診，歡迎隨時告知。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。根據明安耳鼻喉科的常見問題說明，耳朵悶悶的、聽不太清楚的症狀可能與以下幾種情況有關： - 中耳炎 - 耳垢阻塞 - 耳咽管功能異常 - 過敏或感冒後積液這些症狀不一定都是中耳炎造成的。如果您同時有聽力下降、耳痛、耳鳴或頭暈等情形，建議儘早至耳鼻喉科就醫檢查，由專業醫師判斷原因並給予適當治療，以免延誤病情。如需進一步協助或預約門診，歡迎隨時告知。

預期答案 · 加權拆解

I 核心必答 w 60%: 耳朵悶塞的感覺可能與中耳炎、耳垢阻塞、耳咽管功能異常、過敏或感冒後的積液有關
不一定都是中耳炎
如果有聽力下降等其他症狀，建議儘早就醫檢查以獲得正確診斷

Judge 推理

這個回答完全針對用戶的問題，提供了耳朵悶塞的可能原因，並建議就醫檢查，符合所需的知識內容，且沒有違反任何規則。

案例 14C2C531

我可以查詢一下耳鼻喉相關的問題嗎？

已完成

第 1 次嘗試 · 已完成 39885ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我可以查詢一下耳鼻喉相關的問題嗎？

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是 test，明安耳鼻喉科的智能線上助理。您可以隨時查詢耳鼻喉相關的常見問題，我會為您提供專業且清楚的資訊。以下是一些常見的耳鼻喉問題與建議： 1. 喉嚨痛：可能是感冒、扁桃腺發炎、咽喉炎或胃食道逆流。若有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議儘快就醫。 2. 鼻塞：長期鼻塞可能與過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉有關。若合併黃鼻涕、頭痛、臉部悶脹感，建議讓醫師評估。 3. 耳朵悶塞或聽不清楚：可能是中耳炎、耳垢阻塞、耳咽管功能異常等。若有聽力下降、耳痛或頭暈，應及早檢查。 4. 小朋友打呼：長期打呼可能與腺樣體肥大、扁桃腺肥大或鼻塞有關，建議由醫師評估。 5. 聲音沙啞：若超過一週未改善，尤其伴隨講話吃力或喉嚨緊繃，應就醫檢查。 6. 耳朵癢痛或耳鳴：不建議自行用藥，應由醫師檢查後對症治療。 7. 鼻血頻繁：常見於天氣乾燥、過敏等，但若反覆流血或出血量多，請盡快就醫。 8. 感冒後持續咳嗽：可能與支氣管敏感、鼻涕倒流、咽喉發炎等有關，若超過一到兩週未改善，建議就醫。如果您有特定的症狀或想進一步了解某個問題，請告訴我，我可以提供更詳細的說明或相關案例影片連結。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

73.3%

相關性: 80.0%
完整性: 50.0%
正確性: 90.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是 test，明安耳鼻喉科的智能線上助理。您可以隨時查詢耳鼻喉相關的常見問題，我會為您提供專業且清楚的資訊。以下是一些常見的耳鼻喉問題與建議： 1. 喉嚨痛：可能是感冒、扁桃腺發炎、咽喉炎或胃食道逆流。若有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議儘快就醫。 2. 鼻塞：長期鼻塞可能與過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉有關。若合併黃鼻涕、頭痛、臉部悶脹感，建議讓醫師評估。 3. 耳朵悶塞或聽不清楚：可能是中耳炎、耳垢阻塞、耳咽管功能異常等。若有聽力下降、耳痛或頭暈，應及早檢查。 4. 小朋友打呼：長期打呼可能與腺樣體肥大、扁桃腺肥大或鼻塞有關，建議由醫師評估。 5. 聲音沙啞：若超過一週未改善，尤其伴隨講話吃力或喉嚨緊繃，應就醫檢查。 6. 耳朵癢痛或耳鳴：不建議自行用藥，應由醫師檢查後對症治療。 7. 鼻血頻繁：常見於天氣乾燥、過敏等，但若反覆流血或出血量多，請盡快就醫。 8. 感冒後持續咳嗽：可能與支氣管敏感、鼻涕倒流、咽喉發炎等有關，若超過一到兩週未改善，建議就醫。如果您有特定的症狀或想進一步了解某個問題，請告訴我，我可以提供更詳細的說明或相關案例影片連結。

預期答案 · 加權拆解

I 核心必答 w 60%: 請問你想查詢哪方面的耳鼻喉問題
例如是否有喉嚨痛、鼻塞、耳鳴等症狀
III 補充說明 w 10%: 請提供任何相關的代碼或產品關鍵字，這樣我可以更精確地幫助你

Judge 推理

這個回答雖然提供了耳鼻喉相關的資訊，但沒有詢問用戶具體想查詢的問題，未能完全符合用戶的需求。缺少了關鍵的詢問和精確幫助的要求，導致完整性不足。

案例 8A1909C9

我鼻塞很久了，這是過敏還是鼻竇炎？

已完成

第 1 次嘗試 · 已完成 47622ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我鼻塞很久了，這是過敏還是鼻竇炎？

BOT稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能客服 test，很高興為您服務。針對您「鼻塞很久」的情況，根據本院常見問題說明，長期鼻塞可能有幾種原因，包括過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等。以下是過敏性鼻炎與鼻竇炎的主要區別： - 過敏性鼻炎：常見症狀為持續性透明水狀鼻涕、打噴嚏、鼻子或臉部癢，通常與過敏原（如花粉、塵蟎）有關，症狀多在接觸過敏原或溫差變化時加重。 - 鼻竇炎：若您的鼻塞超過一至兩週，且合併黃綠色濃稠鼻涕、頭痛、臉部悶脹感，甚至有發燒等症狀，就要留意是否為鼻竇發炎。如果您的症狀持續不改善，建議儘早至耳鼻喉科由醫師進一步檢查，以確定正確原因並獲得適當治療。如需預約或有其他疑問，也歡迎隨時告知！參考資料： - [明安耳鼻喉科｜常見問題 Q&A](https://minanclinic.com.tw/%e9%bc%bb%e7%ab%87%e7%82%8e%e3%80%81%e9%81%8e%e6%95%8f%e6%80%a7%e9%bc%bb%e7%82%8e%e5%88%86%e4%b8%8d%e6%b8%85-%e4%b8%89%e5%88%86%e9%90%98%e4%b8%80%e6%ac%a1%e6%90%9e%e6%87%82/)

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能客服 test，很高興為您服務。針對您「鼻塞很久」的情況，根據本院常見問題說明，長期鼻塞可能有幾種原因，包括過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等。以下是過敏性鼻炎與鼻竇炎的主要區別： - 過敏性鼻炎：常見症狀為持續性透明水狀鼻涕、打噴嚏、鼻子或臉部癢，通常與過敏原（如花粉、塵蟎）有關，症狀多在接觸過敏原或溫差變化時加重。 - 鼻竇炎：若您的鼻塞超過一至兩週，且合併黃綠色濃稠鼻涕、頭痛、臉部悶脹感，甚至有發燒等症狀，就要留意是否為鼻竇發炎。如果您的症狀持續不改善，建議儘早至耳鼻喉科由醫師進一步檢查，以確定正確原因並獲得適當治療。如需預約或有其他疑問，也歡迎隨時告知！參考資料： - [明安耳鼻喉科｜常見問題 Q&A](https://minanclinic.com.tw/%e9%bc%bb%e7%ab%87%e7%82%8e%e3%80%81%e9%81%8e%e6%95%8f%e6%80%a7%e9%bc%bb%e7%82%8e%e5%88%86%e4%b8%8d%e6%b8%85-%e4%b8%89%e5%88%86%e9%90%98%e4%b8%80%e6%ac%a1%e6%90%9e%e6%87%82/)

預期答案 · 加權拆解

I 核心必答 w 60%: 長期鼻塞有可能是過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等問題
若鼻塞超過一至兩週，合併黃鼻涕、頭痛、臉部悶脹感，就要留意是否為鼻竇發炎
建議讓耳鼻喉科醫師進一步評估

Judge 推理

這個回答完整地涵蓋了用戶的問題，詳細解釋了長期鼻塞的可能原因，並提供了進一步評估的建議，符合知識內容的要求。

案例 2AF5C39C

我想了解一下耳鼻喉科常見問題的症狀及就醫建議，請問有哪些內容？

已完成

第 1 次嘗試 · 已完成 61365ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我想了解一下耳鼻喉科常見問題的症狀及就醫建議，請問有哪些內容？

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理。以下為耳鼻喉科常見問題的症狀及就醫建議，供您參考： 1. 喉嚨痛 - 可能原因：感冒、扁桃腺發炎、咽喉炎、胃食道逆流等。 - 建議：若合併發燒、吞嚥困難、白色分泌物或症狀持續多天，請儘快就醫檢查。 2. 鼻塞 - 可能原因：過敏性鼻炎、鼻竇炎、鼻中膈彎曲、鼻息肉等。 - 建議：若鼻塞超過一至兩週，合併黃鼻涕、頭痛或臉部悶脹感，建議由耳鼻喉科醫師評估。 3. 耳朵悶塞／聽不清楚 - 可能原因：中耳炎、耳垢阻塞、耳咽管功能異常、過敏或感冒後積液。 - 建議：若有聽力下降、耳痛、耳鳴或頭暈，請及早檢查。 4. 小朋友打呼 - 可能原因：腺樣體肥大、扁桃腺肥大或鼻塞。 - 建議：長期打呼或睡眠品質不佳，建議由醫師評估。 5. 喉嚨異物感／聲音沙啞 - 可能原因：慢性咽喉炎、胃食道逆流、聲帶過度使用等。 - 建議：症狀持續或伴隨聲音沙啞超過一週未改善，應就醫檢查。 6. 耳朵癢痛／耳鳴 - 不建議自行用藥或挖耳朵，以免加重病情。建議由醫師檢查後對症治療。 7. 鼻血頻繁 - 可能原因：天氣乾燥、鼻黏膜受損、過敏、血壓問題等。 - 建議：反覆流鼻血或出血量多時，請盡快就醫。 8. 感冒後持續咳嗽 - 可能原因：支氣管敏感、鼻涕倒流、咽喉發炎等。 - 建議：咳嗽超過一到兩週未改善，應讓醫師檢查。如有上述症狀且無法自行緩解，建議您盡早至耳鼻喉科門診，由專業醫師進一步評估與治療。如需預約掛號或有其他疑問，也歡迎隨時詢問。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

93.3%

相關性: 100.0%
完整性: 80.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: 67.0% · w 30%
III 補充: —

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理。以下為耳鼻喉科常見問題的症狀及就醫建議，供您參考： 1. 喉嚨痛 - 可能原因：感冒、扁桃腺發炎、咽喉炎、胃食道逆流等。 - 建議：若合併發燒、吞嚥困難、白色分泌物或症狀持續多天，請儘快就醫檢查。 2. 鼻塞 - 可能原因：過敏性鼻炎、鼻竇炎、鼻中膈彎曲、鼻息肉等。 - 建議：若鼻塞超過一至兩週，合併黃鼻涕、頭痛或臉部悶脹感，建議由耳鼻喉科醫師評估。 3. 耳朵悶塞／聽不清楚 - 可能原因：中耳炎、耳垢阻塞、耳咽管功能異常、過敏或感冒後積液。 - 建議：若有聽力下降、耳痛、耳鳴或頭暈，請及早檢查。 4. 小朋友打呼 - 可能原因：腺樣體肥大、扁桃腺肥大或鼻塞。 - 建議：長期打呼或睡眠品質不佳，建議由醫師評估。 5. 喉嚨異物感／聲音沙啞 - 可能原因：慢性咽喉炎、胃食道逆流、聲帶過度使用等。 - 建議：症狀持續或伴隨聲音沙啞超過一週未改善，應就醫檢查。 6. 耳朵癢痛／耳鳴 - 不建議自行用藥或挖耳朵，以免加重病情。建議由醫師檢查後對症治療。 7. 鼻血頻繁 - 可能原因：天氣乾燥、鼻黏膜受損、過敏、血壓問題等。 - 建議：反覆流鼻血或出血量多時，請盡快就醫。 8. 感冒後持續咳嗽 - 可能原因：支氣管敏感、鼻涕倒流、咽喉發炎等。 - 建議：咳嗽超過一到兩週未改善，應讓醫師檢查。如有上述症狀且無法自行緩解，建議您盡早至耳鼻喉科門診，由專業醫師進一步評估與治療。如需預約掛號或有其他疑問，也歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%: 喉嚨痛常見原因有感冒、扁桃腺發炎、咽喉炎
鼻塞可能是過敏性鼻炎或鼻竇炎
耳朵悶塞可能與中耳炎或耳垢阻塞有關
II 重要限制 w 30%: 若喉嚨痛症狀持續，應儘快就醫檢查
若鼻塞持續一至兩週伴隨其他症狀，如頭痛、黃鼻涕，建議看耳鼻喉科
若耳朵悶塞症狀持續影響聽力，應尋求醫療評估

Judge 推理

AI的回答涵蓋了耳鼻喉科常見問題的症狀，但在就醫建議方面缺少了幾個關鍵的建議，導致完整性得分不高。整體上，回答的內容是正確的，並且與用戶的查詢高度相關。

案例 2F6F2C3C

能不能查詢你們的產品資訊？

已完成

第 1 次嘗試 · 已完成 37221ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER能不能查詢你們的產品資訊？

BOT稍等一下我來幫您查詢 💡 您好，我是 test，明安耳鼻喉科的智能線上助理。很高興為您服務！目前查詢到的資訊中，並未直接顯示具體產品清單或詳細產品資訊。若您有特定想了解的產品名稱、型號或用途，請提供更明確的描述，我可以協助您查詢相關資料或推薦合適的產品。如需進一步協助，請告知您的需求，謝謝！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

53.3%

相關性: 90.0%
完整性: 70.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: —
II 重要: —
III 補充: 100.0% · w 10%

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是 test，明安耳鼻喉科的智能線上助理。很高興為您服務！目前查詢到的資訊中，並未直接顯示具體產品清單或詳細產品資訊。若您有特定想了解的產品名稱、型號或用途，請提供更明確的描述，我可以協助您查詢相關資料或推薦合適的產品。如需進一步協助，請告知您的需求，謝謝！

預期答案 · 加權拆解

III 補充說明 w 10%: 您想詢問的具體內容是什麼呢

Judge 推理

這個回覆雖然有詢問用戶的具體需求，但因為主動推薦產品而違反了規則，因此在正確性上得分為零。

錯誤陳述 (1)

未遵循規則，主動推薦產品

案例 7CB825C9

喉嚨痛是感冒還是扁桃腺發炎？

已完成

第 1 次嘗試 · 已完成 48678ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	請問最新的無線耳機有哪些推薦？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER喉嚨痛是感冒還是扁桃腺發炎？

BOT稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能客服 test，很高興為您服務。針對您的問題：「喉嚨痛是感冒還是扁桃腺發炎？」根據明安耳鼻喉科的常見問題說明，喉嚨痛的常見原因包括感冒、扁桃腺發炎、咽喉炎，甚至胃食道逆流也可能引起不適。如果除了喉嚨痛之外，還有以下情況： - 發燒 - 吞嚥困難 - 喉嚨有白色分泌物 - 症狀持續多天未改善建議您儘快就醫檢查，由醫師判斷實際原因。因為單靠症狀無法完全區分感冒或扁桃腺發炎，需由專業醫師進行詳細評估。如有其他症狀或需要進一步協助，歡迎隨時告知！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: 100.0% · w 10%

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能客服 test，很高興為您服務。針對您的問題：「喉嚨痛是感冒還是扁桃腺發炎？」根據明安耳鼻喉科的常見問題說明，喉嚨痛的常見原因包括感冒、扁桃腺發炎、咽喉炎，甚至胃食道逆流也可能引起不適。如果除了喉嚨痛之外，還有以下情況： - 發燒 - 吞嚥困難 - 喉嚨有白色分泌物 - 症狀持續多天未改善建議您儘快就醫檢查，由醫師判斷實際原因。因為單靠症狀無法完全區分感冒或扁桃腺發炎，需由專業醫師進行詳細評估。如有其他症狀或需要進一步協助，歡迎隨時告知！

預期答案 · 加權拆解

I 核心必答 w 60%: 喉嚨痛常見原因包括感冒、扁桃腺發炎、咽喉炎，甚至胃食道逆流也可能引起不適
若除了疼痛外，還有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議儘快就醫檢查
III 補充說明 w 10%: 由醫師判斷實際原因

Judge 推理

這個回答完全針對用戶的問題，涵蓋了喉嚨痛的常見原因及就醫建議，並且沒有錯誤的陳述。

案例 3CEAE85F

我喉嚨痛的原因是什麼？

已完成

第 1 次嘗試 · 已完成 38239ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我喉嚨痛的原因是什麼？

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是 test，明安耳鼻喉科的智能線上助理。針對您詢問「喉嚨痛的原因」，根據本院常見問題說明，喉嚨痛的常見原因包括： - 感冒 - 扁桃腺發炎 - 咽喉炎 - 胃食道逆流如果除了喉嚨痛之外，還有發燒、吞嚥困難、白色分泌物，或症狀持續多天，建議您儘快就醫檢查，由醫師判斷實際原因。如需進一步協助或預約看診，歡迎隨時告知。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: 100.0% · w 30%
III 補充: —

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是 test，明安耳鼻喉科的智能線上助理。針對您詢問「喉嚨痛的原因」，根據本院常見問題說明，喉嚨痛的常見原因包括： - 感冒 - 扁桃腺發炎 - 咽喉炎 - 胃食道逆流如果除了喉嚨痛之外，還有發燒、吞嚥困難、白色分泌物，或症狀持續多天，建議您儘快就醫檢查，由醫師判斷實際原因。如需進一步協助或預約看診，歡迎隨時告知。

預期答案 · 加權拆解

I 核心必答 w 60%: 喉嚨痛的常見原因包括感冒、扁桃腺發炎、咽喉炎，甚至胃食道逆流也可能引起不適
II 重要限制 w 30%: 若除了疼痛外，還有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議儘快就醫檢查

Judge 推理

這個回答完整地涵蓋了喉嚨痛的常見原因，並且提供了就醫建議，符合用戶的需求。所有的資訊都是正確的，並且遵循了規則。

案例 0B3F31ED

我有耳朵痛的問題，想知道有沒有相關的藥品可以用？

已完成

第 1 次嘗試 · 已完成 34839ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我有耳朵痛的問題，想知道有沒有相關的藥品可以用？

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。針對您詢問「耳朵痛」是否可以自行購買藥品使用，根據明安耳鼻喉科的建議： - 不建議自行亂用藥，尤其不要隨便點耳藥水或挖耳朵。因為耳朵不舒服可能是外耳炎、中耳炎、耳垢阻塞或其他原因，若處理方式不對，反而可能讓症狀更嚴重。 - 建議由醫師檢查後再對症治療，以免延誤病情或造成併發症。如果您的耳朵痛持續不緩解、合併有聽力下降、流膿、發燒等情形，請盡快就醫，由專業醫師評估與治療。如需預約門診或有其他相關問題，也歡迎隨時告知，我會協助您進一步了解流程。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。針對您詢問「耳朵痛」是否可以自行購買藥品使用，根據明安耳鼻喉科的建議： - 不建議自行亂用藥，尤其不要隨便點耳藥水或挖耳朵。因為耳朵不舒服可能是外耳炎、中耳炎、耳垢阻塞或其他原因，若處理方式不對，反而可能讓症狀更嚴重。 - 建議由醫師檢查後再對症治療，以免延誤病情或造成併發症。如果您的耳朵痛持續不緩解、合併有聽力下降、流膿、發燒等情形，請盡快就醫，由專業醫師評估與治療。如需預約門診或有其他相關問題，也歡迎隨時告知，我會協助您進一步了解流程。

預期答案 · 加權拆解

I 核心必答 w 60%: 不建議自行亂用藥
耳朵不舒服可能是外耳炎、中耳炎或耳垢阻塞等原因
建議由醫師檢查後再對症治療

Judge 推理

這個回答完全符合用戶的問題，提供了不建議自行用藥的建議，並解釋了耳朵痛的可能原因，建議就醫的做法也符合專業建議，因此在相關性、完整性和正確性上都得到了滿分。

案例 48726234

詢問耳鼻喉科相關問題要怎麼做？

已完成

第 1 次嘗試 · 已完成 39224ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER詢問耳鼻喉科相關問題要怎麼做？

BOT馬上為您找找看相關內容 📋 您好，我是 test，明安耳鼻喉科的智能線上助理。若您有耳鼻喉相關問題，建議您可以依照以下步驟進行詢問或就醫： 1. 先觀察自身症狀，例如：喉嚨痛、鼻塞、耳朵悶塞、聲音沙啞、流鼻血、持續咳嗽等。 2. 參考常見問題 Q&A，初步判斷可能原因（如感冒、過敏性鼻炎、鼻竇炎、中耳炎等），但若症狀持續多天或加重，建議及早就醫。 3. 若有以下情形，請盡快至耳鼻喉科由醫師檢查： - 喉嚨痛合併發燒、吞嚥困難或白色分泌物 - 鼻塞超過一至兩週且有黃鼻涕、頭痛或臉部悶脹 - 耳朵悶塞合併聽力下降、耳痛或頭暈 - 小朋友長期打呼、張口睡覺或睡眠品質差 - 聲音沙啞超過一週未改善 - 鼻血反覆發生且不易止住 - 感冒後咳嗽持續超過一到兩週 4. 不建議自行購買藥物處理耳朵癢痛或其他症狀，應由專業醫師診斷後對症治療。如需更詳細的諮詢流程或預約方式，也歡迎告知您的具體需求，我會協助您取得相關資訊。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

馬上為您找找看相關內容 📋 您好，我是 test，明安耳鼻喉科的智能線上助理。若您有耳鼻喉相關問題，建議您可以依照以下步驟進行詢問或就醫： 1. 先觀察自身症狀，例如：喉嚨痛、鼻塞、耳朵悶塞、聲音沙啞、流鼻血、持續咳嗽等。 2. 參考常見問題 Q&A，初步判斷可能原因（如感冒、過敏性鼻炎、鼻竇炎、中耳炎等），但若症狀持續多天或加重，建議及早就醫。 3. 若有以下情形，請盡快至耳鼻喉科由醫師檢查： - 喉嚨痛合併發燒、吞嚥困難或白色分泌物 - 鼻塞超過一至兩週且有黃鼻涕、頭痛或臉部悶脹 - 耳朵悶塞合併聽力下降、耳痛或頭暈 - 小朋友長期打呼、張口睡覺或睡眠品質差 - 聲音沙啞超過一週未改善 - 鼻血反覆發生且不易止住 - 感冒後咳嗽持續超過一到兩週 4. 不建議自行購買藥物處理耳朵癢痛或其他症狀，應由專業醫師診斷後對症治療。如需更詳細的諮詢流程或預約方式，也歡迎告知您的具體需求，我會協助您取得相關資訊。

預期答案 · 加權拆解

I 核心必答 w 60%: 可以透過知識與產品查詢來獲得幫助
會使用並發搜尋來提供完整的資訊

Judge 推理

這個回答偏離了用戶的詢問，並且提供了不符合規範的內容，未能正確回答用戶的問題。缺少了核心必答的要點，導致完整性和正確性都很低。

錯誤陳述 (1)

回答了不符合規範的內容，主動提供了詢問耳鼻喉科的步驟

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

100.0%

[100.0% – 100.0%] · n=4

F1 55.0% · 精確 43.8%

4 / 6 適用

不亂編造平均

faithfulness

50.0%

[0.0% – 100.0%] · n=2

6 / 6 適用

答得到位平均

answer_quality

86.1%

[61.7% – 100.0%] · n=6

6 / 6 適用

案例 7D7ED905

咳嗽超過一到兩週應怎麼辦?

已完成
第 1 次嘗試 · 已完成 40092ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER咳嗽超過一到兩週應怎麼辦?

BOT正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。根據明安耳鼻喉科的專業建議，如果咳嗽持續超過一到兩週仍未改善，建議您盡快讓醫師檢查，找出真正原因再對症處理。常見原因除了支氣管敏感，也可能與鼻涕倒流、咽喉發炎、過敏或胃食道逆流有關。自行拖延或自行用藥可能無法解決問題，建議及早就醫，以免延誤治療。如需預約門診或有其他相關問題，歡迎隨時詢問。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

意料之外 (3)

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

TP 1

FP 3

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

100.0% · w 10%

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。根據明安耳鼻喉科的專業建議，如果咳嗽持續超過一到兩週仍未改善，建議您盡快讓醫師檢查，找出真正原因再對症處理。常見原因除了支氣管敏感，也可能與鼻涕倒流、咽喉發炎、過敏或胃食道逆流有關。自行拖延或自行用藥可能無法解決問題，建議及早就醫，以免延誤治療。如需預約門診或有其他相關問題，歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%

若咳嗽超過一到兩週仍未改善，建議就醫檢查真正原因

III 補充說明 w 10%

才能對症處理

Judge 推理

這個回答完全針對用戶的問題，提供了正確的建議，並且包含了所有必要的資訊，符合預期的回答風格。

案例 A617E681

有沒有推薦的髮片？

已完成

第 1 次嘗試 · 已完成 11290ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

✗ 未進入知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER有沒有推薦的髮片？

BOT這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 微增髮片價格為 NT$2500，特色為自然增髮效果
科技假髮價格為 NT$3500，特色為輕量且舒適
III 補充說明 w 10%: 有需要進一步了解的可以告訴我

Judge 推理

AI的回覆未能提供任何髮片的資訊，且錯誤地表示問題不在服務範圍內。根據規則，應該提供髮片的名稱、價格和特色。

錯誤陳述 (1)

這個問題不在目前的服務範圍內

案例 CE4EAA25

小朋友長期打呼要看哪裡的醫生?

已完成
第 1 次嘗試 · 已完成 23946ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER小朋友長期打呼要看哪裡的醫生?

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。根據資料，小朋友如果長期打呼、張口睡覺、睡眠不安穩，甚至白天精神不佳，可能與腺樣體肥大、扁桃腺肥大或鼻塞有關。建議您帶小朋友至「耳鼻喉科」由專業醫師評估，避免影響睡眠品質與發育狀況。如需進一步了解門診時間或預約流程，也歡迎隨時詢問。
知識檢索
100.0%

Precision

100.0%

Recall

100.0%

F1

100.0%

預期 (1)

✓ doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

TP 1

FP 0

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

100.0% · w 30%

III 補充

—

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。根據資料，小朋友如果長期打呼、張口睡覺、睡眠不安穩，甚至白天精神不佳，可能與腺樣體肥大、扁桃腺肥大或鼻塞有關。建議您帶小朋友至「耳鼻喉科」由專業醫師評估，避免影響睡眠品質與發育狀況。如需進一步了解門診時間或預約流程，也歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%

小朋友若長期打呼、張口睡覺、睡眠不安穩，建議看耳鼻喉科醫師評估

II 重要限制 w 30%

避免影響睡眠品質與發育狀況

Judge 推理

這個回答完全符合用戶的問題，提供了正確的醫療建議，並且涵蓋了所有關鍵點，沒有遺漏或錯誤的資訊。
案例 7B22B12F

流鼻血的常見原因是什麼？

已完成
第 1 次嘗試 · 已完成 19451ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER流鼻血的常見原因是什麼？

BOT稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能客服 test，很高興為您服務。流鼻血的常見原因包括： - 天氣乾燥 - 鼻黏膜受損 - 過敏 - 挖鼻孔 - 鼻腔發炎有些人流鼻血也可能與血壓、凝血功能異常或其他鼻部問題有關。如果您經常流鼻血、出血量多或不容易止住，建議盡快就醫檢查，以免延誤治療。如需進一步協助，歡迎隨時詢問。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

意料之外 (3)

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

TP 1

FP 3

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能客服 test，很高興為您服務。流鼻血的常見原因包括： - 天氣乾燥 - 鼻黏膜受損 - 過敏 - 挖鼻孔 - 鼻腔發炎有些人流鼻血也可能與血壓、凝血功能異常或其他鼻部問題有關。如果您經常流鼻血、出血量多或不容易止住，建議盡快就醫檢查，以免延誤治療。如需進一步協助，歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%

流鼻血常見原因包括天氣乾燥
流鼻血常見原因包括鼻黏膜受損
流鼻血常見原因包括過敏
流鼻血常見原因包括挖鼻孔
流鼻血常見原因包括鼻腔發炎

Judge 推理

這個回答完整地列出了流鼻血的常見原因，並且提供了額外的建議，符合預期的回答風格。
案例 48D6E7AA

鼻塞超過兩週還有黃鼻涕要怎麼辦？

已完成
第 1 次嘗試 · 已完成 41853ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER鼻塞超過兩週還有黃鼻涕要怎麼辦？

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是明安耳鼻喉科的智能助理 test，很高興為您服務。根據您的描述：「鼻塞超過兩週且有黃鼻涕」，這種情況有可能與鼻竇炎有關。根據明安耳鼻喉科的常見問題說明： - 長期鼻塞若超過一至兩週，合併黃鼻涕、頭痛、臉部悶脹感，需留意是否為鼻竇發炎。 - 鼻竇炎常見症狀包括黃綠色黏稠鼻涕、鼻涕有異味，有時會伴隨咳嗽、喉嚨痛或發燒。 - 鼻竇炎可由細菌或病毒感染引起，若未妥善治療可能會持續數週甚至更久。建議您： 1. 請勿自行購買或使用藥物。 2. 建議儘快至耳鼻喉科門診，由專業醫師進一步檢查與評估，確認是否為鼻竇炎或其他相關疾病，以獲得適當治療。如需預約門診或有其他疑問，也歡迎隨時告知，我會協助您了解相關流程。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

意料之外 (3)

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

TP 1

FP 3

FN 0

回答品質
90.0%

相關性

100.0%

完整性

70.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

60.0% · w 60%

建議就醫評估

II 重要

—

III 補充

—

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是明安耳鼻喉科的智能助理 test，很高興為您服務。根據您的描述：「鼻塞超過兩週且有黃鼻涕」，這種情況有可能與鼻竇炎有關。根據明安耳鼻喉科的常見問題說明： - 長期鼻塞若超過一至兩週，合併黃鼻涕、頭痛、臉部悶脹感，需留意是否為鼻竇發炎。 - 鼻竇炎常見症狀包括黃綠色黏稠鼻涕、鼻涕有異味，有時會伴隨咳嗽、喉嚨痛或發燒。 - 鼻竇炎可由細菌或病毒感染引起，若未妥善治療可能會持續數週甚至更久。建議您： 1. 請勿自行購買或使用藥物。 2. 建議儘快至耳鼻喉科門診，由專業醫師進一步檢查與評估，確認是否為鼻竇炎或其他相關疾病，以獲得適當治療。如需預約門診或有其他疑問，也歡迎隨時告知，我會協助您了解相關流程。

預期答案 · 加權拆解

I 核心必答 w 60%

若鼻塞超過一至兩週並伴隨黃鼻涕、頭痛或臉部悶脹感，建議就醫評估

Judge 推理

這個回答針對鼻塞和黃鼻涕的情況提供了詳細的解釋和建議，但未直接提到「建議就醫評估」，因此在完整性上有所欠缺。
案例 903A5811

可以轉接真人客服嗎

已完成
第 1 次嘗試 · 已完成 22615ms
腳本進度 · 轉接真人客服 ✓ 已走完

STEP

01

觸發條件
● 已觸發轉接真人客服

腳本規則

- 當用戶要求轉接真人客服，例如：線上客服、真人客服、轉真人、找真人轉接真人客服的 Agent 情景

STEP

02

資訊收集
— 依規則行為（由「回答品質」評分）

此情境無結構化欄位需收集，但 spec rules 約束 bot 行為（驗證關卡、禁止外洩等）— 評分由 answer_quality + spec_rules 維度承擔

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 直接觸發轉接真人

測試 2 步 · 此案例不測 2 步
對話流程 · 1 turn

Turn 1 STEP 04

USER可以轉接真人客服嗎

BOT已為您轉接真人客服，請稍候
PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

已為您轉接真人客服，請稍候

預期答案 · 加權拆解

I 核心必答 w 60%

轉接真人客服

Judge 推理

回覆完全符合用戶的要求，成功轉接真人客服，且沒有任何錯誤或遺漏。

Cost & Tokens

Bot 設定快照

Judge 設定快照

知識庫精準度

維度總表

聲音沙啞超過一週未改善，要怎麼辦?

觸發條件

資訊收集

API 工具

回覆規則

感冒後持續咳嗽的原因是什麼?

觸發條件

資訊收集

API 工具

回覆規則

耳朵不舒服的可能原因是什麼?

觸發條件

資訊收集

API 工具

回覆規則

鼻塞超過兩週要看醫生嗎?

觸發條件

資訊收集

API 工具

回覆規則

情境調用與完成

維度總表

有關聲音沙啞的問題可以幫我查一下嗎？

觸發條件

資訊收集

API 工具

回覆規則

耳朵悶悶的，聽不太清楚，是中耳炎嗎？

觸發條件

資訊收集

API 工具

回覆規則

我可以查詢一下耳鼻喉相關的問題嗎？

觸發條件

資訊收集

API 工具

回覆規則

我鼻塞很久了，這是過敏還是鼻竇炎？

觸發條件

資訊收集

API 工具

回覆規則

我想了解一下耳鼻喉科常見問題的症狀及就醫建議，請問有哪些內容？

觸發條件

資訊收集

API 工具

回覆規則

能不能查詢你們的產品資訊？

觸發條件

資訊收集

API 工具

回覆規則

喉嚨痛是感冒還是扁桃腺發炎？

觸發條件

資訊收集

API 工具

回覆規則

我喉嚨痛的原因是什麼？

觸發條件

資訊收集

API 工具

回覆規則

我有耳朵痛的問題，想知道有沒有相關的藥品可以用？

觸發條件

資訊收集

API 工具

回覆規則

詢問耳鼻喉科相關問題要怎麼做？

觸發條件

資訊收集

API 工具

回覆規則

對話素養（混合問答）

維度總表

咳嗽超過一到兩週應怎麼辦?