執行 #277

test (bulk R1) → production-baseline

↓ EXPORT · HTML下載頁面 II. EVAL REPORT兩項目評估報告

狀態: 已完成
案例: 20
開始時間: 16 May 12:54
耗時: 247.5s

¶ Economics · Bot-side N=20 attempts

Cost & Tokens

$0.2264

Total Bot Cost · USD

22.6%

Prompt Cache Hit

cost per case: $0.0113
cost per 1k tokens: $0.0019
input tokens: 111,149
output tokens: 5,215
cached tokens — prompt-cache hit: 25,088
Total Tokens: 116,364

economic efficiency

cost per correct: $0.0007
pass rate: 90.0%; 18 / 20
judge cost: $0.012

設定快照（reproducibility） 1 個 bot 已捕捉 · Judge：gpt-4o-mini

Bot 設定快照

319f5c68-8beb-4b8b-838a-2cb37c4ad6a1 0 筆 KB

SystemPrompt: sha256:e4a7be06 KBContent: sha256:e3b0c442 Tools: sha256:e3b0c442 Scenarios: sha256:a814006e AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1

已完成

20 / 20

錯誤

失敗維度

首字延遲 p95

3127 ms

Bot 成本（Neptune）

$0.2264

Bot Tokens（Neptune）

116,364

Judge 成本（Eris）

$0.0120

Judge Tokens（Eris）

97,295

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

100.0%

[100.0% – 100.0%] · n=4

F1 46.7% · 精確 31.3%

4 / 4 適用

不亂編造平均

faithfulness

—

4 / 4 適用

答得到位平均

answer_quality

96.7%

[92.5% – 100.0%] · n=4

4 / 4 適用

案例 A213C1D3

聲音沙啞超過一週未改善，要怎麼辦?

已完成
第 1 次嘗試 · 已完成 14758ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER聲音沙啞超過一週未改善，要怎麼辦?

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。根據明安耳鼻喉科的專業建議，如果聲音沙啞已經持續超過一週仍未改善，尤其伴隨講話吃力、喉嚨緊繃、經常需要清喉嚨等情況，建議您盡快就醫檢查。聲音沙啞可能與聲帶發炎、聲帶結節、胃酸逆流或其他喉部問題有關，拖延治療可能會影響恢復。請勿自行用藥或延誤就醫，由專業耳鼻喉科醫師評估後才能對症處理。如需預約或有其他疑問，也歡迎隨時詢問。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

意料之外 (3)

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

TP 1

FP 3

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。根據明安耳鼻喉科的專業建議，如果聲音沙啞已經持續超過一週仍未改善，尤其伴隨講話吃力、喉嚨緊繃、經常需要清喉嚨等情況，建議您盡快就醫檢查。聲音沙啞可能與聲帶發炎、聲帶結節、胃酸逆流或其他喉部問題有關，拖延治療可能會影響恢復。請勿自行用藥或延誤就醫，由專業耳鼻喉科醫師評估後才能對症處理。如需預約或有其他疑問，也歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%

若聲音沙啞超過一週以上還沒改善，建議做進一步檢查
特別是如果感覺講話吃力或喉嚨緊繃

Judge 推理

這個回答完全針對用戶的問題，提供了適當的建議，並且涵蓋了所有關鍵點，符合預期的回答風格。
案例 1D3F19FE

感冒後持續咳嗽的原因是什麼?

已完成
第 1 次嘗試 · 已完成 14550ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER感冒後持續咳嗽的原因是什麼?

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。關於「感冒後持續咳嗽」的原因，根據本院資料，常見的可能性包括： - 支氣管敏感 - 鼻涕倒流 - 咽喉發炎 - 過敏 - 胃食道逆流如果您的咳嗽已經持續超過一到兩週仍未改善，建議您讓醫師檢查，以找出真正原因並對症處理。避免自行用藥或拖延，以免延誤治療。如需進一步協助或預約看診，歡迎隨時告知。
知識檢索
100.0%

Precision

50.0%

Recall

100.0%

F1

66.7%

預期 (1)

✓ doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

意料之外 (1)

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

TP 1

FP 1

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。關於「感冒後持續咳嗽」的原因，根據本院資料，常見的可能性包括： - 支氣管敏感 - 鼻涕倒流 - 咽喉發炎 - 過敏 - 胃食道逆流如果您的咳嗽已經持續超過一到兩週仍未改善，建議您讓醫師檢查，以找出真正原因並對症處理。避免自行用藥或拖延，以免延誤治療。如需進一步協助或預約看診，歡迎隨時告知。

預期答案 · 加權拆解

I 核心必答 w 60%

感冒後持續咳嗽的常見原因包括支氣管敏感、鼻涕倒流、咽喉發炎、過敏或胃食道逆流

Judge 推理

這個回答完整地涵蓋了感冒後持續咳嗽的常見原因，並且提供了適當的建議，符合用戶的查詢需求。
案例 B06D4AAB

耳朵不舒服的可能原因是什麼?

已完成
第 1 次嘗試 · 已完成 18044ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER耳朵不舒服的可能原因是什麼?

BOT正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。關於「耳朵不舒服」的可能原因，根據明安耳鼻喉科的專業資料，常見原因包括： - 外耳炎 - 中耳炎 - 耳垢阻塞 - 耳咽管功能異常 - 過敏或感冒後積液 - 耳鳴（可能與外傷、噪音、慢性中耳炎、血管性或神經性問題、藥物副作用、內耳積水如梅尼爾氏症等有關） - 自律神經失調（如過度勞累、失眠、熬夜等） - 內分泌變化（如懷孕或更年期婦女）提醒您：不建議自行用藥或挖耳朵，因為處理方式不當可能讓症狀加重。若有聽力下降、持續疼痛、耳鳴或頭暈等情形，建議儘早由耳鼻喉科醫師檢查，以免延誤治療。如需進一步協助，歡迎隨時詢問！
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

意料之外 (3)

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

TP 1

FP 3

FN 0

回答品質
90.0%

相關性

100.0%

完整性

70.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

80.0% · w 60%

其他原因造成的

II 重要

100.0% · w 30%

III 補充

—

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。關於「耳朵不舒服」的可能原因，根據明安耳鼻喉科的專業資料，常見原因包括： - 外耳炎 - 中耳炎 - 耳垢阻塞 - 耳咽管功能異常 - 過敏或感冒後積液 - 耳鳴（可能與外傷、噪音、慢性中耳炎、血管性或神經性問題、藥物副作用、內耳積水如梅尼爾氏症等有關） - 自律神經失調（如過度勞累、失眠、熬夜等） - 內分泌變化（如懷孕或更年期婦女）提醒您：不建議自行用藥或挖耳朵，因為處理方式不當可能讓症狀加重。若有聽力下降、持續疼痛、耳鳴或頭暈等情形，建議儘早由耳鼻喉科醫師檢查，以免延誤治療。如需進一步協助，歡迎隨時詢問！

預期答案 · 加權拆解

I 核心必答 w 60%

耳朵不舒服可能是外耳炎、中耳炎、耳垢阻塞或其他原因造成的
最好由醫師檢查後再對症治療

II 重要限制 w 30%

不建議自行亂用藥

Judge 推理

這個回答針對耳朵不舒服的可能原因提供了詳細的解釋，並且正確地建議不應自行用藥。然而，缺少了提到「其他原因造成的」這一點，導致完整性稍有不足。
案例 CBFE97FE

鼻塞超過兩週要看醫生嗎?

已完成
第 1 次嘗試 · 已完成 13866ms
腳本進度 · 知識與產品查詢 ✓ 已走完

STEP

01

觸發條件
● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數 - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content) - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

STEP

03

API 工具
● 已呼叫：search_unified

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品 - 用戶明確要求推薦時 → 僅提供名稱、價格、特色

測試 3 步 · 此案例不測 1 步
對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER鼻塞超過兩週要看醫生嗎?

BOT稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。根據明安耳鼻喉科的常見問題說明，若鼻塞持續超過一至兩週，可能原因包括過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等。特別是如果合併有黃鼻涕、頭痛、臉部悶脹感，需留意是否為鼻竇發炎。建議您讓耳鼻喉科醫師進一步評估，以確定真正原因並獲得適當治療。如有其他症狀或疑問，也歡迎隨時詢問。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

意料之外 (3)

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

TP 1

FP 3

FN 0

回答品質
96.7%

相關性

100.0%

完整性

90.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

90.0% · w 60%

伴隨黃鼻涕、頭痛或臉部悶脹感

II 重要

—

III 補充

—

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。根據明安耳鼻喉科的常見問題說明，若鼻塞持續超過一至兩週，可能原因包括過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等。特別是如果合併有黃鼻涕、頭痛、臉部悶脹感，需留意是否為鼻竇發炎。建議您讓耳鼻喉科醫師進一步評估，以確定真正原因並獲得適當治療。如有其他症狀或疑問，也歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%

如果鼻塞持續超過一至兩週，應該讓耳鼻喉科醫師評估
伴隨黃鼻涕、頭痛或臉部悶脹感

Judge 推理

這個回答針對鼻塞的問題提供了相關的建議，並且正確地指出了需要看醫生的情況。雖然提到的症狀有部分涵蓋，但未完全列出所有關鍵點，導致完整性稍有不足。

維度總表

各維度品質分 · 覆蓋率

走對流程召回

scenario

100.0%

[100.0% – 100.0%] · n=10

F1 100.0% · 召回 100.0% · 精確 100.0%

10 / 10 適用

用對工具召回

tool_usage

100.0%

[100.0% – 100.0%] · n=10

F1 100.0% · 召回 100.0% · 精確 100.0%

10 / 10 適用

答得到位平均

answer_quality

85.7%

[71.0% – 96.7%] · n=10

10 / 10 適用

案例 872E3A48

有關聲音沙啞的問題可以幫我查一下嗎？

已完成

第 1 次嘗試 · 已完成 15973ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER有關聲音沙啞的問題可以幫我查一下嗎？

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。關於聲音沙啞的問題，根據明安耳鼻喉科的常見問答資料，整理如下重點： - 聲音沙啞常見原因包括聲帶發炎、聲帶結節、胃食道逆流或其他喉部問題，也可能與聲帶過度使用或壓力有關。 - 若聲音沙啞持續超過一週以上未改善，尤其伴隨講話吃力、喉嚨緊緊的、經常清喉嚨等情況，建議儘早就醫檢查，由耳鼻喉科醫師詳細評估。 - 若同時有吞嚥不順、喉嚨異物感等症狀，也應及早尋求專業協助。如需進一步了解或預約門診，歡迎告知您的需求。如有其他相關症狀，也可以提供更詳細資訊，我會協助您查詢。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

96.7%

相關性: 100.0%
完整性: 90.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 90.0% · w 60%
II 重要: —
III 補充: 100.0% · w 10%

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。關於聲音沙啞的問題，根據明安耳鼻喉科的常見問答資料，整理如下重點： - 聲音沙啞常見原因包括聲帶發炎、聲帶結節、胃食道逆流或其他喉部問題，也可能與聲帶過度使用或壓力有關。 - 若聲音沙啞持續超過一週以上未改善，尤其伴隨講話吃力、喉嚨緊緊的、經常清喉嚨等情況，建議儘早就醫檢查，由耳鼻喉科醫師詳細評估。 - 若同時有吞嚥不順、喉嚨異物感等症狀，也應及早尋求專業協助。如需進一步了解或預約門診，歡迎告知您的需求。如有其他相關症狀，也可以提供更詳細資訊，我會協助您查詢。

預期答案 · 加權拆解

I 核心必答 w 60%: 聲音沙啞持續不癒可能與聲帶發炎、聲帶結節、胃酸逆流或其他喉部問題有關
如果聲音沙啞超過一週以上沒有改善，建議儘早就醫檢查
III 補充說明 w 10%: 以免延誤治療

Judge 推理

這個回答針對用戶的問題提供了相關的資訊，並且涵蓋了大部分的關鍵點，但缺少了「以免延誤治療」這個補充建議，因此在完整性上稍有不足。

案例 FC3C1CFD

耳朵悶悶的，聽不太清楚，是中耳炎嗎？

已完成

第 1 次嘗試 · 已完成 20475ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER耳朵悶悶的，聽不太清楚，是中耳炎嗎？

BOT馬上為您找找看相關內容 📋 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。針對您提到「耳朵悶悶的，聽不太清楚，是不是中耳炎？」這個問題，根據明安耳鼻喉科的常見問題說明：耳朵悶塞感及聽力下降的原因有很多，除了中耳炎之外，也可能與以下情況有關： - 耳垢阻塞 - 耳咽管功能異常 - 過敏 - 感冒後積液因此，並不是所有耳悶或聽不清楚的情況都是中耳炎。如果您同時有聽力下降、耳痛、耳鳴或頭暈等症狀，建議儘早至耳鼻喉科就醫檢查，由專業醫師判斷實際原因，以免延誤治療。如需預約或進一步諮詢，歡迎告知您的需求，我會協助您了解相關流程。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

馬上為您找找看相關內容 📋 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。針對您提到「耳朵悶悶的，聽不太清楚，是不是中耳炎？」這個問題，根據明安耳鼻喉科的常見問題說明：耳朵悶塞感及聽力下降的原因有很多，除了中耳炎之外，也可能與以下情況有關： - 耳垢阻塞 - 耳咽管功能異常 - 過敏 - 感冒後積液因此，並不是所有耳悶或聽不清楚的情況都是中耳炎。如果您同時有聽力下降、耳痛、耳鳴或頭暈等症狀，建議儘早至耳鼻喉科就醫檢查，由專業醫師判斷實際原因，以免延誤治療。如需預約或進一步諮詢，歡迎告知您的需求，我會協助您了解相關流程。

預期答案 · 加權拆解

I 核心必答 w 60%: 耳朵悶塞的感覺可能與中耳炎、耳垢阻塞、耳咽管功能異常、過敏或感冒後的積液有關
不一定都是中耳炎
如果有聽力下降等其他症狀，建議儘早就醫檢查以獲得正確診斷

Judge 推理

這個回答完整地涵蓋了用戶的問題，並提供了多種可能的原因，符合知識內容的要求，且沒有錯誤的陳述。

案例 14C2C531

我可以查詢一下耳鼻喉相關的問題嗎？

已完成

第 1 次嘗試 · 已完成 23967ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我可以查詢一下耳鼻喉相關的問題嗎？

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理。您可以隨時查詢耳鼻喉相關的健康問題或診所資訊。以下是常見的耳鼻喉問題與初步建議，供您參考： 1. 喉嚨痛：可能原因包括感冒、扁桃腺發炎、咽喉炎或胃食道逆流。若有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議儘快就醫檢查。 2. 鼻塞：長期鼻塞可能是過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等。若超過一至兩週未改善，合併黃鼻涕、頭痛、臉部悶脹感，建議讓耳鼻喉科醫師評估。 3. 耳朵悶塞或聽不清楚：可能與中耳炎、耳垢阻塞、耳咽管功能異常等有關。若有聽力下降、耳痛、耳鳴或頭暈，應及早檢查。 4. 小朋友打呼：若長期打呼、張口睡覺或睡眠不安穩，建議由醫師評估，避免影響發育。 5. 聲音沙啞：若超過一週未改善，尤其伴隨講話吃力或喉嚨緊繃，應就醫檢查。 6. 鼻血頻繁：常見於天氣乾燥、過敏或鼻腔發炎，也可能與血壓或凝血功能異常有關。若反覆流鼻血且不易止住，請盡快就醫。 7. 感冒後持續咳嗽：可能與支氣管敏感、鼻涕倒流、咽喉發炎等有關。若超過一到兩週未改善，建議就醫。如需更詳細說明或有特定症狀想進一步了解，請告訴我您的具體問題，我會為您提供更精確的資訊！

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

73.3%

相關性: 80.0%
完整性: 50.0%
正確性: 90.0%

加權拆解 · 三層 coverage

I 核心: 50.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理。您可以隨時查詢耳鼻喉相關的健康問題或診所資訊。以下是常見的耳鼻喉問題與初步建議，供您參考： 1. 喉嚨痛：可能原因包括感冒、扁桃腺發炎、咽喉炎或胃食道逆流。若有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議儘快就醫檢查。 2. 鼻塞：長期鼻塞可能是過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等。若超過一至兩週未改善，合併黃鼻涕、頭痛、臉部悶脹感，建議讓耳鼻喉科醫師評估。 3. 耳朵悶塞或聽不清楚：可能與中耳炎、耳垢阻塞、耳咽管功能異常等有關。若有聽力下降、耳痛、耳鳴或頭暈，應及早檢查。 4. 小朋友打呼：若長期打呼、張口睡覺或睡眠不安穩，建議由醫師評估，避免影響發育。 5. 聲音沙啞：若超過一週未改善，尤其伴隨講話吃力或喉嚨緊繃，應就醫檢查。 6. 鼻血頻繁：常見於天氣乾燥、過敏或鼻腔發炎，也可能與血壓或凝血功能異常有關。若反覆流鼻血且不易止住，請盡快就醫。 7. 感冒後持續咳嗽：可能與支氣管敏感、鼻涕倒流、咽喉發炎等有關。若超過一到兩週未改善，建議就醫。如需更詳細說明或有特定症狀想進一步了解，請告訴我您的具體問題，我會為您提供更精確的資訊！

預期答案 · 加權拆解

I 核心必答 w 60%: 請問你想查詢哪方面的耳鼻喉問題
例如是否有喉嚨痛、鼻塞、耳鳴等症狀
III 補充說明 w 10%: 請提供任何相關的代碼或產品關鍵字，這樣我可以更精確地幫助你

Judge 推理

回覆雖然提供了一些耳鼻喉相關的健康問題與建議，但未能詢問用戶具體想查詢的問題，且缺少了要求提供相關代碼或產品關鍵字的部分，導致完整性不足。

案例 8A1909C9

我鼻塞很久了，這是過敏還是鼻竇炎？

已完成

第 1 次嘗試 · 已完成 24098ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我鼻塞很久了，這是過敏還是鼻竇炎？

BOT稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能助理 test，很高興為您服務。針對您「鼻塞很久」的情況，根據明安耳鼻喉科的常見問題說明，長期鼻塞可能有幾種原因，包括： - 過敏性鼻炎 - 鼻竇炎 - 鼻中膈彎曲 - 鼻息肉等兩者主要區別如下： 1. 過敏性鼻炎 - 症狀：持續性透明水狀鼻涕、打噴嚏、鼻子或臉部癢，症狀多在接觸過敏原或溫差變化時加重。 - 病因：與過敏原（如花粉、塵蟎）及體質有關，具遺傳性。 - 發作頻率：間歇性發作。 2. 鼻竇炎 - 症狀：黃綠色黏稠鼻涕、鼻涕有異味，常伴隨咳嗽、喉嚨痛、頭痛、臉部悶脹感，有時會發燒。 - 病因：細菌或病毒感染。 - 發作頻率：可分為急性（短期）與慢性（超過三個月）。如果您的鼻塞已經超過一至兩週，且合併黃鼻涕、頭痛或臉部悶脹感，就要特別留意是否為鼻竇炎。建議您儘早至耳鼻喉科由醫師進一步檢查，以獲得正確診斷與治療。如需預約或有其他疑問，也歡迎隨時告知。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

96.7%

相關性: 100.0%
完整性: 90.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 90.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能助理 test，很高興為您服務。針對您「鼻塞很久」的情況，根據明安耳鼻喉科的常見問題說明，長期鼻塞可能有幾種原因，包括： - 過敏性鼻炎 - 鼻竇炎 - 鼻中膈彎曲 - 鼻息肉等兩者主要區別如下： 1. 過敏性鼻炎 - 症狀：持續性透明水狀鼻涕、打噴嚏、鼻子或臉部癢，症狀多在接觸過敏原或溫差變化時加重。 - 病因：與過敏原（如花粉、塵蟎）及體質有關，具遺傳性。 - 發作頻率：間歇性發作。 2. 鼻竇炎 - 症狀：黃綠色黏稠鼻涕、鼻涕有異味，常伴隨咳嗽、喉嚨痛、頭痛、臉部悶脹感，有時會發燒。 - 病因：細菌或病毒感染。 - 發作頻率：可分為急性（短期）與慢性（超過三個月）。如果您的鼻塞已經超過一至兩週，且合併黃鼻涕、頭痛或臉部悶脹感，就要特別留意是否為鼻竇炎。建議您儘早至耳鼻喉科由醫師進一步檢查，以獲得正確診斷與治療。如需預約或有其他疑問，也歡迎隨時告知。

預期答案 · 加權拆解

I 核心必答 w 60%: 長期鼻塞有可能是過敏性鼻炎、鼻竇炎、鼻中膈彎曲或鼻息肉等問題
若鼻塞超過一至兩週，合併黃鼻涕、頭痛、臉部悶脹感，就要留意是否為鼻竇發炎
建議讓耳鼻喉科醫師進一步評估

Judge 推理

這個回答針對用戶的問題提供了詳細的解釋，涵蓋了長期鼻塞的可能原因和症狀，並且正確地區分了過敏性鼻炎和鼻竇炎。然而，缺少了建議讓耳鼻喉科醫師進一步評估的部分，因此在完整性上稍有不足。

案例 2AF5C39C

我想了解一下耳鼻喉科常見問題的症狀及就醫建議，請問有哪些內容？

已完成

第 1 次嘗試 · 已完成 35288ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我想了解一下耳鼻喉科常見問題的症狀及就醫建議，請問有哪些內容？

BOT正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您說明耳鼻喉科常見問題的症狀及就醫建議。以下整理本院常見的症狀與建議： 1. 喉嚨痛 - 可能原因：感冒、扁桃腺發炎、咽喉炎、胃食道逆流等。 - 建議：若合併發燒、吞嚥困難、白色分泌物或症狀持續多天，請儘快就醫。 2. 鼻塞 - 可能原因：過敏性鼻炎、鼻竇炎、鼻中膈彎曲、鼻息肉等。 - 建議：若超過一至兩週未改善，合併黃鼻涕、頭痛或臉部悶脹，建議由醫師評估。 3. 耳朵悶塞／聽力下降 - 可能原因：中耳炎、耳垢阻塞、耳咽管功能異常等。 - 建議：如有聽力下降、耳痛、耳鳴或頭暈，請及早檢查。 4. 小朋友打呼 - 可能原因：腺樣體肥大、扁桃腺肥大或鼻塞。 - 建議：長期打呼或睡眠品質不佳，應由醫師評估。 5. 喉嚨異物感／聲音沙啞 - 可能原因：慢性咽喉炎、胃食道逆流、聲帶過度使用等。 - 建議：症狀持續或伴隨聲音沙啞超過一週，建議就醫檢查。 6. 耳朵癢痛／耳鳴 - 不建議自行用藥或挖耳朵，應由醫師檢查後對症治療。 7. 鼻血頻繁 - 可能原因：天氣乾燥、鼻黏膜受損、過敏等。 - 建議：反覆流鼻血或出血量多時，請盡快就醫。 8. 感冒後持續咳嗽 - 可能原因：支氣管敏感、鼻涕倒流、咽喉發炎等。 - 建議：咳嗽超過一至兩週未改善，應讓醫師檢查。如有上述任何症狀且無法自行緩解，建議您盡早至本院由專業醫師進行詳細評估。如需進一步說明或預約掛號，也歡迎隨時詢問。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

90.0%

相關性: 100.0%
完整性: 70.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: 50.0% · w 30%
III 補充: —

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您說明耳鼻喉科常見問題的症狀及就醫建議。以下整理本院常見的症狀與建議： 1. 喉嚨痛 - 可能原因：感冒、扁桃腺發炎、咽喉炎、胃食道逆流等。 - 建議：若合併發燒、吞嚥困難、白色分泌物或症狀持續多天，請儘快就醫。 2. 鼻塞 - 可能原因：過敏性鼻炎、鼻竇炎、鼻中膈彎曲、鼻息肉等。 - 建議：若超過一至兩週未改善，合併黃鼻涕、頭痛或臉部悶脹，建議由醫師評估。 3. 耳朵悶塞／聽力下降 - 可能原因：中耳炎、耳垢阻塞、耳咽管功能異常等。 - 建議：如有聽力下降、耳痛、耳鳴或頭暈，請及早檢查。 4. 小朋友打呼 - 可能原因：腺樣體肥大、扁桃腺肥大或鼻塞。 - 建議：長期打呼或睡眠品質不佳，應由醫師評估。 5. 喉嚨異物感／聲音沙啞 - 可能原因：慢性咽喉炎、胃食道逆流、聲帶過度使用等。 - 建議：症狀持續或伴隨聲音沙啞超過一週，建議就醫檢查。 6. 耳朵癢痛／耳鳴 - 不建議自行用藥或挖耳朵，應由醫師檢查後對症治療。 7. 鼻血頻繁 - 可能原因：天氣乾燥、鼻黏膜受損、過敏等。 - 建議：反覆流鼻血或出血量多時，請盡快就醫。 8. 感冒後持續咳嗽 - 可能原因：支氣管敏感、鼻涕倒流、咽喉發炎等。 - 建議：咳嗽超過一至兩週未改善，應讓醫師檢查。如有上述任何症狀且無法自行緩解，建議您盡早至本院由專業醫師進行詳細評估。如需進一步說明或預約掛號，也歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%: 喉嚨痛常見原因有感冒、扁桃腺發炎、咽喉炎
鼻塞可能是過敏性鼻炎或鼻竇炎
耳朵悶塞可能與中耳炎或耳垢阻塞有關
II 重要限制 w 30%: 若喉嚨痛症狀持續，應儘快就醫檢查
若鼻塞持續一至兩週伴隨其他症狀，如頭痛、黃鼻涕，建議看耳鼻喉科
若耳朵悶塞症狀持續影響聽力，應尋求醫療評估

Judge 推理

回覆內容針對耳鼻喉科常見問題的症狀進行了詳細說明，符合用戶的查詢需求，但在就醫建議方面缺少了幾個關鍵的建議，導致完整性得分偏低。

案例 2F6F2C3C

能不能查詢你們的產品資訊？

已完成

第 1 次嘗試 · 已完成 21714ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER能不能查詢你們的產品資訊？

BOT稍等一下我來幫您查詢 💡 您好，我是 test，明安耳鼻喉科的智能線上助理。您可以查詢我們的產品或服務相關資訊。不過，根據目前查詢結果，並未找到明確的「產品清單」或具體產品資訊。現有資料主要提供耳鼻喉常見症狀、疾病說明及就醫建議，例如： - 喉嚨痛、鼻塞、耳朵悶塞等症狀的初步判斷與建議 - 鼻竇炎、過敏性鼻炎的區分與處理方式 - 聲音沙啞、耳鳴、打鼾等問題的就醫建議若您有特定想了解的產品名稱或服務內容，請提供更詳細的描述，我將協助您進一步查詢。如需了解某項治療方式（如無線電波射頻治療）、檢查項目或其他醫療服務，也歡迎告知您的需求。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

73.3%

相關性: 80.0%
完整性: 50.0%
正確性: 90.0%

加權拆解 · 三層 coverage

I 核心: —
II 重要: —
III 補充: 10.0% · w 10%

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是 test，明安耳鼻喉科的智能線上助理。您可以查詢我們的產品或服務相關資訊。不過，根據目前查詢結果，並未找到明確的「產品清單」或具體產品資訊。現有資料主要提供耳鼻喉常見症狀、疾病說明及就醫建議，例如： - 喉嚨痛、鼻塞、耳朵悶塞等症狀的初步判斷與建議 - 鼻竇炎、過敏性鼻炎的區分與處理方式 - 聲音沙啞、耳鳴、打鼾等問題的就醫建議若您有特定想了解的產品名稱或服務內容，請提供更詳細的描述，我將協助您進一步查詢。如需了解某項治療方式（如無線電波射頻治療）、檢查項目或其他醫療服務，也歡迎告知您的需求。

預期答案 · 加權拆解

III 補充說明 w 10%: 您想詢問的具體內容是什麼呢

Judge 推理

回覆中提到的查詢結果並未提供具體產品資訊，雖然有詢問用戶是否有特定想了解的產品，但未直接回應用戶的查詢。根據規則，應該主動詢問具體內容。

案例 7CB825C9

喉嚨痛是感冒還是扁桃腺發炎？

已完成

第 1 次嘗試 · 已完成 27167ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	請問最新的無線耳機有哪些推薦？	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER喉嚨痛是感冒還是扁桃腺發炎？

BOT稍等一下我來幫您查詢 💡 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。根據明安耳鼻喉科的常見問題說明，喉嚨痛的常見原因包括感冒、扁桃腺發炎、咽喉炎，甚至胃食道逆流也可能造成不適。如果除了喉嚨痛之外，還有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議您儘快就醫檢查，由醫師判斷實際原因。如需進一步協助或預約看診，歡迎告知您的需求。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: 100.0% · w 10%

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。根據明安耳鼻喉科的常見問題說明，喉嚨痛的常見原因包括感冒、扁桃腺發炎、咽喉炎，甚至胃食道逆流也可能造成不適。如果除了喉嚨痛之外，還有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議您儘快就醫檢查，由醫師判斷實際原因。如需進一步協助或預約看診，歡迎告知您的需求。

預期答案 · 加權拆解

I 核心必答 w 60%: 喉嚨痛常見原因包括感冒、扁桃腺發炎、咽喉炎，甚至胃食道逆流也可能引起不適
若除了疼痛外，還有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議儘快就醫檢查
III 補充說明 w 10%: 由醫師判斷實際原因

Judge 推理

這個回答完整地涵蓋了喉嚨痛的常見原因，並且提供了就醫建議，符合用戶的需求。內容正確且相關，沒有遺漏任何關鍵點。

案例 3CEAE85F

我喉嚨痛的原因是什麼？

已完成

第 1 次嘗試 · 已完成 27925ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我喉嚨痛的原因是什麼？

BOT讓我幫您查詢一下相關資訊 🔍 您好，我是 test，明安耳鼻喉科的智能線上助理。針對您詢問「喉嚨痛的原因」，根據本院常見問題說明，喉嚨痛的常見原因包括： - 感冒 - 扁桃腺發炎 - 咽喉炎 - 胃食道逆流如果除了喉嚨痛之外，還有發燒、吞嚥困難、白色分泌物，或症狀持續多天，建議您儘快就醫檢查，由醫師判斷實際原因。如需進一步協助或預約看診，歡迎告知您的需求。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: 100.0% · w 30%
III 補充: —

AI 回覆

讓我幫您查詢一下相關資訊 🔍 您好，我是 test，明安耳鼻喉科的智能線上助理。針對您詢問「喉嚨痛的原因」，根據本院常見問題說明，喉嚨痛的常見原因包括： - 感冒 - 扁桃腺發炎 - 咽喉炎 - 胃食道逆流如果除了喉嚨痛之外，還有發燒、吞嚥困難、白色分泌物，或症狀持續多天，建議您儘快就醫檢查，由醫師判斷實際原因。如需進一步協助或預約看診，歡迎告知您的需求。

預期答案 · 加權拆解

I 核心必答 w 60%: 喉嚨痛的常見原因包括感冒、扁桃腺發炎、咽喉炎，甚至胃食道逆流也可能引起不適
II 重要限制 w 30%: 若除了疼痛外，還有發燒、吞嚥困難、白色分泌物或症狀持續多天，建議儘快就醫檢查

Judge 推理

這個回答完整地涵蓋了喉嚨痛的常見原因，並且提供了就醫建議，符合用戶的需求。所有的資訊都是正確的，並且遵循了規則。

案例 0B3F31ED

我有耳朵痛的問題，想知道有沒有相關的藥品可以用？

已完成

第 1 次嘗試 · 已完成 17061ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER我有耳朵痛的問題，想知道有沒有相關的藥品可以用？

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。針對您提到的「耳朵痛」問題，根據明安耳鼻喉科的專業建議，不建議自行購買或使用藥品（尤其是不要隨便點耳藥水或挖耳朵）。因為耳朵痛可能有多種原因，例如外耳炎、中耳炎、耳垢阻塞等，如果處理方式不正確，反而可能讓症狀加重。建議您由醫師檢查後，再依照診斷結果對症治療。若症狀持續或加劇，請儘快至耳鼻喉科就醫，以免延誤治療。如需預約或有其他相關問題，也歡迎隨時詢問。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

100.0%

相關性: 100.0%
完整性: 100.0%
正確性: 100.0%

加權拆解 · 三層 coverage

I 核心: 100.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。針對您提到的「耳朵痛」問題，根據明安耳鼻喉科的專業建議，不建議自行購買或使用藥品（尤其是不要隨便點耳藥水或挖耳朵）。因為耳朵痛可能有多種原因，例如外耳炎、中耳炎、耳垢阻塞等，如果處理方式不正確，反而可能讓症狀加重。建議您由醫師檢查後，再依照診斷結果對症治療。若症狀持續或加劇，請儘快至耳鼻喉科就醫，以免延誤治療。如需預約或有其他相關問題，也歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%: 不建議自行亂用藥
耳朵不舒服可能是外耳炎、中耳炎或耳垢阻塞等原因
建議由醫師檢查後再對症治療

Judge 推理

這個回答完全符合用戶的問題，並且提供了正確的建議，強調不建議自行用藥，並指出耳朵痛的可能原因，建議就醫的做法也符合專業建議。

案例 48726234

詢問耳鼻喉科相關問題要怎麼做？

已完成

第 1 次嘗試 · 已完成 25418ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

● 已觸發知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手機型號和功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER詢問耳鼻喉科相關問題要怎麼做？

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理。若您有耳鼻喉相關問題，建議您可以依照以下步驟進行詢問或就醫： 1. 觀察症狀：請先記錄您的主要不適（如喉嚨痛、鼻塞、耳悶、聲音沙啞等），並注意症狀持續時間及是否有加重或其他伴隨現象（如發燒、吞嚥困難、流鼻血等）。 2. 初步判斷：部分常見症狀如喉嚨痛可能與感冒、扁桃腺發炎或咽喉炎有關；長期鼻塞則可能是過敏性鼻炎或鼻竇炎；耳悶則可能與中耳炎、耳垢阻塞等有關。 3. 決定是否就醫：若症狀持續多天未改善、有明顯惡化或影響日常生活，建議儘早至耳鼻喉科門診由專業醫師評估。 4. 就診時說明：請將您的症狀描述清楚，包括發生時間、頻率、伴隨症狀及過去治療經驗，有助於醫師判斷病因。提醒您，若遇到以下情況，請務必盡快就醫： - 喉嚨痛合併高燒或吞嚥困難 - 鼻塞合併黃綠色濃稠鼻涕、頭痛或臉部悶脹 - 耳朵悶塞合併聽力下降、耳痛或頭暈 - 聲音沙啞超過一週未改善 - 鼻血反覆且不易止住如需進一步協助，歡迎隨時告知您的具體症狀，我會為您提供更詳細的資訊。

情境路由

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ 5930 · 知識與產品查詢

TP 1

FP 0

FN 0

工具使用

100.0%

Precision: 100.0%
Recall: 100.0%
F1: 100.0%

預期 (1)

✓ search_unified

TP 1

FP 0

FN 0

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: —

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理。若您有耳鼻喉相關問題，建議您可以依照以下步驟進行詢問或就醫： 1. 觀察症狀：請先記錄您的主要不適（如喉嚨痛、鼻塞、耳悶、聲音沙啞等），並注意症狀持續時間及是否有加重或其他伴隨現象（如發燒、吞嚥困難、流鼻血等）。 2. 初步判斷：部分常見症狀如喉嚨痛可能與感冒、扁桃腺發炎或咽喉炎有關；長期鼻塞則可能是過敏性鼻炎或鼻竇炎；耳悶則可能與中耳炎、耳垢阻塞等有關。 3. 決定是否就醫：若症狀持續多天未改善、有明顯惡化或影響日常生活，建議儘早至耳鼻喉科門診由專業醫師評估。 4. 就診時說明：請將您的症狀描述清楚，包括發生時間、頻率、伴隨症狀及過去治療經驗，有助於醫師判斷病因。提醒您，若遇到以下情況，請務必盡快就醫： - 喉嚨痛合併高燒或吞嚥困難 - 鼻塞合併黃綠色濃稠鼻涕、頭痛或臉部悶脹 - 耳朵悶塞合併聽力下降、耳痛或頭暈 - 聲音沙啞超過一週未改善 - 鼻血反覆且不易止住如需進一步協助，歡迎隨時告知您的具體症狀，我會為您提供更詳細的資訊。

預期答案 · 加權拆解

I 核心必答 w 60%: 可以透過知識與產品查詢來獲得幫助
會使用並發搜尋來提供完整的資訊

Judge 推理

這個回答偏離了用戶的查詢需求，並且提供了不符合規則的醫療建議，缺乏必要的知識內容，導致完整性和正確性都很低。

錯誤陳述 (1)

主動提供了就醫建議，違反了規則

維度總表

各維度品質分 · 覆蓋率

找對資料召回

retrieval

100.0%

[100.0% – 100.0%] · n=4

F1 46.7% · 精確 31.3%

4 / 6 適用

不亂編造平均

faithfulness

33.3%

[0.0% – 100.0%] · n=3

6 / 6 適用

答得到位平均

answer_quality

86.1%

[61.7% – 100.0%] · n=6

6 / 6 適用

案例 7D7ED905

咳嗽超過一到兩週應怎麼辦?

已完成
第 1 次嘗試 · 已完成 16301ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER咳嗽超過一到兩週應怎麼辦?

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理。針對您詢問「咳嗽超過一到兩週應怎麼辦」：根據明安耳鼻喉科的建議，若咳嗽持續超過一到兩週仍未改善，建議讓醫師檢查真正原因，才能對症處理。因為持續咳嗽可能與支氣管敏感、鼻涕倒流、咽喉發炎、過敏或胃食道逆流等多種因素有關，需由專業醫師判斷。建議您儘早安排就醫，由耳鼻喉科醫師進行詳細檢查，以獲得適當的治療。如有其他症狀或需要協助預約，歡迎隨時告知。
知識檢索
100.0%

Precision

50.0%

Recall

100.0%

F1

66.7%

預期 (1)

✓ doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

意料之外 (1)

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

TP 1

FP 1

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

100.0% · w 10%

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理。針對您詢問「咳嗽超過一到兩週應怎麼辦」：根據明安耳鼻喉科的建議，若咳嗽持續超過一到兩週仍未改善，建議讓醫師檢查真正原因，才能對症處理。因為持續咳嗽可能與支氣管敏感、鼻涕倒流、咽喉發炎、過敏或胃食道逆流等多種因素有關，需由專業醫師判斷。建議您儘早安排就醫，由耳鼻喉科醫師進行詳細檢查，以獲得適當的治療。如有其他症狀或需要協助預約，歡迎隨時告知。

預期答案 · 加權拆解

I 核心必答 w 60%

若咳嗽超過一到兩週仍未改善，建議就醫檢查真正原因

III 補充說明 w 10%

才能對症處理

Judge 推理

這個回答完全針對用戶的問題，並且提供了完整的建議，符合預期的回答風格。所有關鍵點都被涵蓋，且沒有錯誤的陳述。

案例 A617E681

有沒有推薦的髮片？

已完成

第 1 次嘗試 · 已完成 3542ms

腳本進度 · 知識與產品查詢 ✗ 卡關

STEP

觸發條件

✗ 未進入知識與產品查詢

腳本規則

- 當用戶提出問題或查詢需求時觸發

統一處理知識庫查詢與產品資訊查詢，使用並發搜尋提供完整資訊

STEP

資訊收集

✗ 已收集 0 / 2 項

未收集：query、keywords_or_codes

腳本規則

### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
- query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
- keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none

預期 / 已收集 (0/2)

欄位	預期值（generate）	已收集（run）
query	我想了解最新的智能手錶有哪些功能	— （對話未走到）
keywords_or_codes	[]	— （對話未走到）

STEP

API 工具

○ 等待資訊收集完成

腳本規則

1. search_unified — 進階統一搜尋：跨知識庫、產品與連結資料，支援自適應三通道重排序

STEP

回覆規則

● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 資訊類問題 → 僅回答知識內容，不主動推薦產品
- 用戶明確要求推薦時 → 僅提供名稱、價格、特色

完整測試 4 個步驟

對話流程 · 1 turn

Turn 1 STEP 04

USER有沒有推薦的髮片？

BOT這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質

26.7%

相關性: 50.0%
完整性: 30.0%
正確性: 0.0%

加權拆解 · 三層 coverage

I 核心: 0.0% · w 60%
II 重要: —
III 補充: 0.0% · w 10%

AI 回覆

這個問題不在目前的服務範圍內，能否再重新描述一次？我才能協助您！

預期答案 · 加權拆解

I 核心必答 w 60%: 微增髮片價格為 NT$2500，特色為自然增髮效果
科技假髮價格為 NT$3500，特色為輕量且舒適
III 補充說明 w 10%: 有需要進一步了解的可以告訴我

Judge 推理

AI的回覆未能提供用戶所需的髮片推薦資訊，且錯誤地表示問題不在服務範圍內，這與用戶的明確要求不符。

錯誤陳述 (1)

這個問題不在目前的服務範圍內

案例 CE4EAA25

小朋友長期打呼要看哪裡的醫生?

已完成
第 1 次嘗試 · 已完成 21314ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER小朋友長期打呼要看哪裡的醫生?

BOT正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。針對您的問題：「小朋友長期打呼要看哪裡的醫生？」根據明安耳鼻喉科的常見問答，小朋友若長期打呼、張口睡覺、睡眠不安穩，甚至白天精神不佳，可能和腺樣體肥大、扁桃腺肥大或鼻塞有關。建議由耳鼻喉科醫師評估，避免影響睡眠品質與發育狀況。如需進一步協助或預約門診，歡迎隨時告知。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

意料之外 (3)

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

TP 1

FP 3

FN 0

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

100.0% · w 30%

III 補充

—

AI 回覆

正在為您搜尋最新資料 ⏳ 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。針對您的問題：「小朋友長期打呼要看哪裡的醫生？」根據明安耳鼻喉科的常見問答，小朋友若長期打呼、張口睡覺、睡眠不安穩，甚至白天精神不佳，可能和腺樣體肥大、扁桃腺肥大或鼻塞有關。建議由耳鼻喉科醫師評估，避免影響睡眠品質與發育狀況。如需進一步協助或預約門診，歡迎隨時告知。

預期答案 · 加權拆解

I 核心必答 w 60%

小朋友若長期打呼、張口睡覺、睡眠不安穩，建議看耳鼻喉科醫師評估

II 重要限制 w 30%

避免影響睡眠品質與發育狀況

Judge 推理

這個回答完全針對小朋友長期打呼的問題，建議看耳鼻喉科醫師，並且提到避免影響睡眠品質與發育狀況，符合所有關鍵點，且沒有錯誤的陳述。
案例 7B22B12F

流鼻血的常見原因是什麼？

已完成
第 1 次嘗試 · 已完成 14703ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER流鼻血的常見原因是什麼？

BOT稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。流鼻血的常見原因包括： - 天氣乾燥 - 鼻黏膜受損 - 過敏 - 挖鼻孔 - 鼻腔發炎有些人流鼻血也可能與血壓、凝血功能異常或其他鼻部問題有關。如果您經常流鼻血、出血量多或不容易止住，建議盡快就醫檢查，以確保健康。如需進一步協助，歡迎隨時詢問。
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

意料之外 (3)

! doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

TP 1

FP 3

FN 0

忠實度
幻覺

幻覺比率

100.0%

越低越好

引用依據

0.0%

越高越好

Judge 推理

由於提供的來源資料為空，因此無法確認AI的回覆是否有根據，所有的事實性陳述都被視為未被支持的主張。

幻覺陳述 (2)

流鼻血的常見原因包括：天氣乾燥、鼻黏膜受損、過敏、挖鼻孔、鼻腔發炎。

有些人流鼻血也可能與血壓、凝血功能異常或其他鼻部問題有關。

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

稍等一下我來幫您查詢 💡 您好，我是明安耳鼻喉科的智能線上助理 test，很高興為您服務。流鼻血的常見原因包括： - 天氣乾燥 - 鼻黏膜受損 - 過敏 - 挖鼻孔 - 鼻腔發炎有些人流鼻血也可能與血壓、凝血功能異常或其他鼻部問題有關。如果您經常流鼻血、出血量多或不容易止住，建議盡快就醫檢查，以確保健康。如需進一步協助，歡迎隨時詢問。

預期答案 · 加權拆解

I 核心必答 w 60%

流鼻血常見原因包括天氣乾燥
流鼻血常見原因包括鼻黏膜受損
流鼻血常見原因包括過敏
流鼻血常見原因包括挖鼻孔
流鼻血常見原因包括鼻腔發炎

Judge 推理

這個回答完整地列出了流鼻血的常見原因，並且提供了額外的健康建議，符合預期的回答風格。
案例 48D6E7AA

鼻塞超過兩週還有黃鼻涕要怎麼辦？

已完成
第 1 次嘗試 · 已完成 29636ms
腳本進度 · early_return ✗ 卡關

STEP

01

觸發條件
✗ 未進入 early_return

STEP

02

資訊收集
— 此案例不測

此案例 info_held 為空 — bot 不需問取資訊

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

測試 2 步 · 此案例不測 2 步

對話流程 · 1 turn

Turn 1 STEP 03 · STEP 04 → search_unified

USER鼻塞超過兩週還有黃鼻涕要怎麼辦？

BOT馬上為您找找看相關內容 📋 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。根據您描述「鼻塞超過兩週且有黃鼻涕」，這種情況有可能與鼻竇炎有關。根據明安耳鼻喉科的常見問題說明： - 長期鼻塞若超過一至兩週，合併黃鼻涕、頭痛、臉部悶脹感，要留意是否為鼻竇發炎。 - 鼻竇炎常見症狀包括黃綠色黏稠鼻涕、鼻涕有異味，有時會伴隨咳嗽、喉嚨痛或發燒。 - 鼻竇炎可分為急性與慢性，慢性甚至可能持續三個月以上。建議： - 請勿自行用藥或拖延，建議儘快至耳鼻喉科由專業醫師進一步評估與治療，以免延誤病情。如需預約或了解就診流程，我可以提供相關資訊。請問還需要其他協助嗎？參考資料： - 明安耳鼻喉科常見問題Q&A - 鼻竇炎症狀與處理說明（來源：明安耳鼻喉科官網）
知識檢索
100.0%

Precision

25.0%

Recall

100.0%

F1

40.0%

預期 (1)

✓ doc_know_3866 · 如何選擇廣告關鍵字？

問題

如何選擇廣告關鍵字？

回答

建議結合自動投放與手動投放，自動模式幫助發掘新詞，手動模式可精準控制。

意料之外 (3)

! doc_know_3868 · 我需要品牌註冊才能使用廣告嗎？

問題

我需要品牌註冊才能使用廣告嗎？

回答

品牌推廣與展示型廣告需要完成品牌註冊，商品推廣廣告則不需要。

! doc_know_3869 · 廣告能幫助新品引流嗎？

問題

廣告能幫助新品引流嗎？

回答

可以，特別適合新品上市階段快速累積曝光與銷售紀錄。

! doc_know_3867 · 廣告成效如何衡量？

問題

廣告成效如何衡量？

回答

可透過廣告後台報表查看曝光、點擊率（CTR）、轉換率（CVR）、廣告投資報酬率（ACOS）。

TP 1

FP 3

FN 0

回答品質
90.0%

相關性

100.0%

完整性

70.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

60.0% · w 60%

建議就醫評估

II 重要

—

III 補充

—

AI 回覆

馬上為您找找看相關內容 📋 您好，我是 test，明安耳鼻喉科的智能線上助理，很高興為您服務。根據您描述「鼻塞超過兩週且有黃鼻涕」，這種情況有可能與鼻竇炎有關。根據明安耳鼻喉科的常見問題說明： - 長期鼻塞若超過一至兩週，合併黃鼻涕、頭痛、臉部悶脹感，要留意是否為鼻竇發炎。 - 鼻竇炎常見症狀包括黃綠色黏稠鼻涕、鼻涕有異味，有時會伴隨咳嗽、喉嚨痛或發燒。 - 鼻竇炎可分為急性與慢性，慢性甚至可能持續三個月以上。建議： - 請勿自行用藥或拖延，建議儘快至耳鼻喉科由專業醫師進一步評估與治療，以免延誤病情。如需預約或了解就診流程，我可以提供相關資訊。請問還需要其他協助嗎？參考資料： - 明安耳鼻喉科常見問題Q&A - 鼻竇炎症狀與處理說明（來源：明安耳鼻喉科官網）

預期答案 · 加權拆解

I 核心必答 w 60%

若鼻塞超過一至兩週並伴隨黃鼻涕、頭痛或臉部悶脹感，建議就醫評估

Judge 推理

這個回答的相關性很高，因為它針對鼻塞和黃鼻涕的情況提供了詳細的解釋和建議。然而，雖然提到了就醫的必要性，但沒有直接回答「建議就醫評估」這一核心要點，因此完整性得分較低。
案例 903A5811

可以轉接真人客服嗎

已完成
第 1 次嘗試 · 已完成 11335ms
腳本進度 · 轉接真人客服 ✓ 已走完

STEP

01

觸發條件
● 已觸發轉接真人客服

腳本規則

- 當用戶要求轉接真人客服，例如：線上客服、真人客服、轉真人、找真人轉接真人客服的 Agent 情景

STEP

02

資訊收集
— 依規則行為（由「回答品質」評分）

此情境無結構化欄位需收集，但 spec rules 約束 bot 行為（驗證關卡、禁止外洩等）— 評分由 answer_quality + spec_rules 維度承擔

STEP

03

API 工具
— 此案例不測

此案例 expected_tools 為空 — bot 不需呼叫工具

STEP

04

回覆規則
● bot 已回覆（單問單答案例，未啟用多輪迴圈）

腳本規則

- 直接觸發轉接真人

測試 2 步 · 此案例不測 2 步
對話流程 · 1 turn

Turn 1 STEP 04

USER可以轉接真人客服嗎

BOT已為您轉接真人客服，請稍候
PARTIAL

忠實度——metric 尚未齊全 (缺：hallucination_rate, citation_grounding)

回答品質
100.0%

相關性

100.0%

完整性

100.0%

正確性

100.0%

加權拆解 · 三層 coverage

I 核心

100.0% · w 60%

II 重要

—

III 補充

—

AI 回覆

已為您轉接真人客服，請稍候

預期答案 · 加權拆解

I 核心必答 w 60%

轉接真人客服

Judge 推理

回覆完全符合用戶的要求，並且正確地轉接了真人客服，沒有遺漏任何關鍵點。

Cost & Tokens

Bot 設定快照

Judge 設定快照

知識庫精準度

維度總表

聲音沙啞超過一週未改善，要怎麼辦?

觸發條件

資訊收集

API 工具

回覆規則

感冒後持續咳嗽的原因是什麼?

觸發條件

資訊收集

API 工具

回覆規則

耳朵不舒服的可能原因是什麼?

觸發條件

資訊收集

API 工具

回覆規則

鼻塞超過兩週要看醫生嗎?

觸發條件

資訊收集

API 工具

回覆規則

情境調用與完成

維度總表

有關聲音沙啞的問題可以幫我查一下嗎？

觸發條件

資訊收集

API 工具

回覆規則

耳朵悶悶的，聽不太清楚，是中耳炎嗎？

觸發條件

資訊收集

API 工具

回覆規則

我可以查詢一下耳鼻喉相關的問題嗎？

觸發條件

資訊收集

API 工具

回覆規則

我鼻塞很久了，這是過敏還是鼻竇炎？

觸發條件

資訊收集

API 工具

回覆規則

我想了解一下耳鼻喉科常見問題的症狀及就醫建議，請問有哪些內容？

觸發條件

資訊收集

API 工具

回覆規則

能不能查詢你們的產品資訊？

觸發條件

資訊收集

API 工具

回覆規則

喉嚨痛是感冒還是扁桃腺發炎？

觸發條件

資訊收集

API 工具

回覆規則

我喉嚨痛的原因是什麼？

觸發條件

資訊收集

API 工具

回覆規則

我有耳朵痛的問題，想知道有沒有相關的藥品可以用？

觸發條件

資訊收集

API 工具

回覆規則

詢問耳鼻喉科相關問題要怎麼做？

觸發條件

資訊收集

API 工具

回覆規則

對話素養（混合問答）

維度總表

咳嗽超過一到兩週應怎麼辦?