執行 #127

HCG和成 (bulk R1) → production-baseline

狀態
已完成
案例
13
開始時間
16 May 11:41
耗時
479.1s
¶ Economics · Bot-side N=13 attempts

Cost & Tokens

$0.1595
Total Bot Cost · USD
6.0%
Prompt Cache Hit
cost per case
$0.0123
cost per 1k tokens
$0.0022
input tokens
67,882
output tokens
3,732
cached tokens — prompt-cache hit
4,096
Total Tokens
71,614
economic efficiency
cost per correct
$0.0016
pass rate
46.2%
6 / 13
judge cost
$0.0096
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 9fd2a0a3-9421-4a48-b2cc-177fbbaa2627 0 筆 KB
    SystemPrompt: sha256:e4a7be06 KBContent: sha256:e3b0c442 Tools: sha256:e3b0c442 Scenarios: sha256:5444c0e9 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
13 / 13
錯誤
0
失敗維度
0
首字延遲 p95
2350 ms
Bot 成本(Neptune)
$0.1595
Bot Tokens(Neptune)
71,614
Judge 成本(Eris)
$0.0096
Judge Tokens(Eris)
75,345
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位 平均
answer_quality
57.3%
[45.0% – 68.0%] · n=10
10 / 10 適用
  • 案例 F760DD61

    查詢產品資料的時候怎麼做

    已完成
    第 1 次嘗試 · 已完成 27077ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER查詢產品資料的時候怎麼做
    BOT馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務! 查詢產品資料時,您可以透過以下幾種方式獲得所需資訊: 1. 官方網站搜尋 - 您可直接到HCG和成官方網站,利用搜尋功能輸入產品名稱、型號或關鍵字,即可查詢到詳細的產品介紹、規格、尺寸、功能差異(如省水、抗菌、智慧馬桶等)、價格帶與適用情境等資訊。 - 例如:搜尋「馬桶」、「臉盆」、「龍頭」等關鍵字。 2. 下載相關文件 - 在產品頁面,通常可免費下載安裝尺寸圖(JPG/PDF/DWG)、安裝/使用說明書、省水/環保標章等資料。 - 若需要建築模型(3D/BIM檔案),可進入「專業人士單元」檔案下載區取得。 3. 尋找經銷據點與報價 - 可在產品頁面點選「尋找展示經銷據點」或「列印報價文件」,方便您進一步了解購買資訊。 4. 產品選購與維護指導 - 官網也有許多選購攻略與維護保養教學,例如馬桶蓋選購要點、水龍頭挑選指南等,協助您做出合適的選擇。 如果您有特定的產品型號或需求,也歡迎提供更詳細資訊,我可以幫您查詢更精確的資料或推薦合適的產品!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 統一處理知識庫查詢與產品資訊查詢
    • 使用並發搜尋提供完整資訊
    II 重要
    III 補充
    0.0% · w 10%
    • 讓你能夠更有效地得到所需的產品資料與知識內容
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務! 查詢產品資料時,您可以透過以下幾種方式獲得所需資訊: 1. 官方網站搜尋 - 您可直接到HCG和成官方網站,利用搜尋功能輸入產品名稱、型號或關鍵字,即可查詢到詳細的產品介紹、規格、尺寸、功能差異(如省水、抗菌、智慧馬桶等)、價格帶與適用情境等資訊。 - 例如:搜尋「馬桶」、「臉盆」、「龍頭」等關鍵字。 2. 下載相關文件 - 在產品頁面,通常可免費下載安裝尺寸圖(JPG/PDF/DWG)、安裝/使用說明書、省水/環保標章等資料。 - 若需要建築模型(3D/BIM檔案),可進入「專業人士單元」檔案下載區取得。 3. 尋找經銷據點與報價 - 可在產品頁面點選「尋找展示經銷據點」或「列印報價文件」,方便您進一步了解購買資訊。 4. 產品選購與維護指導 - 官網也有許多選購攻略與維護保養教學,例如馬桶蓋選購要點、水龍頭挑選指南等,協助您做出合適的選擇。 如果您有特定的產品型號或需求,也歡迎提供更詳細資訊,我可以幫您查詢更精確的資料或推薦合適的產品!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 統一處理知識庫查詢與產品資訊查詢
    • 使用並發搜尋提供完整資訊
    III 補充說明 w 10%
    • 讓你能夠更有效地得到所需的產品資料與知識內容
    Judge 推理
    這個回答未能正確回應用戶的查詢,缺少了關鍵的知識庫查詢與產品資訊查詢的整合方式,並且主動推薦了產品,違反了規則。
    錯誤陳述 (1)
    • 主動推薦產品
  • 案例 C2B8196A

    為什麼你們的知識與產品查詢那麼複雜?

    已完成
    第 1 次嘗試 · 已完成 50091ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER為什麼你們的知識與產品查詢那麼複雜?
    BOT稍等一下我來幫您查詢 💡 您好,我是HCG和成客服,很高興為您服務! 關於您覺得知識與產品查詢流程較為複雜的問題,主要原因如下: 1. 為了讓AI能即時回覆消費者各種問題,我們建立了完整的衛浴專業知識庫,內容涵蓋產品常見問題、售後服務、購買疑問等,確保回覆專業且一致。(來源:doc_know_5248) 2. 產品資料串接包含型號、規格、功能差異、價格帶與適用情境,讓AI能根據您的需求做出更精準的推薦。例如:空間大小、預算或功能需求不同,都能獲得個人化建議。(來源:doc_know_5249) 3. 這些設計是為了提升客服效率、減少重複問答,同時強化品牌形象與信任感,並確保每位顧客都能獲得一致且專業的服務體驗。(來源:doc_know_5248, doc_know_5249) 如果您在查詢過程中有任何困難,也歡迎直接聯絡我們的客服專線,我們會有專人協助您解決問題! 請問還有其他需要協助的地方嗎?

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    73.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 系統會統一處理知識庫查詢與產品資訊查詢
    • 透過並發搜尋提供完整資訊
    II 重要
    III 補充
    50.0% · w 10%
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是HCG和成客服,很高興為您服務! 關於您覺得知識與產品查詢流程較為複雜的問題,主要原因如下: 1. 為了讓AI能即時回覆消費者各種問題,我們建立了完整的衛浴專業知識庫,內容涵蓋產品常見問題、售後服務、購買疑問等,確保回覆專業且一致。(來源:doc_know_5248) 2. 產品資料串接包含型號、規格、功能差異、價格帶與適用情境,讓AI能根據您的需求做出更精準的推薦。例如:空間大小、預算或功能需求不同,都能獲得個人化建議。(來源:doc_know_5249) 3. 這些設計是為了提升客服效率、減少重複問答,同時強化品牌形象與信任感,並確保每位顧客都能獲得一致且專業的服務體驗。(來源:doc_know_5248, doc_know_5249) 如果您在查詢過程中有任何困難,也歡迎直接聯絡我們的客服專線,我們會有專人協助您解決問題! 請問還有其他需要協助的地方嗎?
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 系統會統一處理知識庫查詢與產品資訊查詢
    • 透過並發搜尋提供完整資訊
    III 補充說明 w 10%
    • 這樣可以有效提升客服效率及回覆的一致性
    Judge 推理
    這個回答雖然提供了一些背景資訊,但未能完整回答用戶的問題,缺少了關鍵的系統處理方式和並發搜尋的說明。整體上,回答的內容雖然相關,但不夠完整。
  • 案例 EB2D19A2

    請問有關產品的型號和規格要怎麼查詢?

    已完成
    第 1 次嘗試 · 已完成 47559ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶功能和價格 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問有關產品的型號和規格要怎麼查詢?
    BOT稍等一下我來幫您查詢 💡 您好,我是HCG和成客服,很高興為您服務! 若您想查詢產品的型號和規格,建議您可以直接到HCG和成的官網產品頁面,點選您有興趣的產品後,即可看到詳細的規格、尺寸說明,以及安裝尺寸圖等技術資料。以BA2829和HF3836F這兩款產品為例: - 產品頁面會提供商品規格、尺寸(如W300xD160xH800mm)、安裝備註等資訊。 - 您可以免費下載安裝尺寸圖(PDF、JPG、DWG格式)、安裝/使用說明書、省水/環保標章等文件。 - 若需要建築模型(3D/BIM檔案),也可在「專業人士單元_檔案下載區」取得。 如果您有特定的產品型號或名稱,請提供給我,我可以幫您查詢該產品的詳細規格與相關資料。

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    70.0%
    相關性
    80.0%
    完整性
    70.0%
    正確性
    60.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 您可以直接告訴我你想查詢的產品名稱或關鍵字
    • 如果有型號或規格的代碼,請一起提供
    II 重要
    III 補充
    10.0% · w 10%
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是HCG和成客服,很高興為您服務! 若您想查詢產品的型號和規格,建議您可以直接到HCG和成的官網產品頁面,點選您有興趣的產品後,即可看到詳細的規格、尺寸說明,以及安裝尺寸圖等技術資料。以BA2829和HF3836F這兩款產品為例: - 產品頁面會提供商品規格、尺寸(如W300xD160xH800mm)、安裝備註等資訊。 - 您可以免費下載安裝尺寸圖(PDF、JPG、DWG格式)、安裝/使用說明書、省水/環保標章等文件。 - 若需要建築模型(3D/BIM檔案),也可在「專業人士單元_檔案下載區」取得。 如果您有特定的產品型號或名稱,請提供給我,我可以幫您查詢該產品的詳細規格與相關資料。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以直接告訴我你想查詢的產品名稱或關鍵字
    • 如果有型號或規格的代碼,請一起提供
    III 補充說明 w 10%
    • 這樣我可以幫您進行更詳細的查詢
    Judge 推理
    這個回答雖然提供了一些查詢產品型號和規格的建議,但未能完全遵循規則,主動提供了產品資訊,且未明確要求用戶提供產品名稱或型號,導致核心內容缺失。
  • 案例 E220476E

    有沒有推薦的馬桶啊?

    已完成
    第 1 次嘗試 · 已完成 24411ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER有沒有推薦的馬桶啊?
    BOT馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您推薦馬桶!以下是幾款熱門馬桶型號及建議售價,您可以參考看看: 1. 單體馬桶 - C4296T(AL):NT$19,965(查看詳情) - C3660MUT:NT$18,590(查看詳情) - C4068MUT:NT$12,650(查看詳情) - C5516NBAdb:NT$19,525(查看詳情) 2. 兩件式馬桶 - CS4396GAdbMU:NT$12,210(查看詳情) - CS4396(PN):NT$13,145(查看詳情) - CS4522NMUT【限量品】:NT$14,465(查看詳情) - CS4394Adb【限量品】:NT$11,330(查看詳情) 3. 兒童馬桶 - C41N-CF2638CNE:NT$12,595(查看詳情) - CS41N:NT$7,425(查看詳情) 如果您有特別需求或預算,也歡迎告訴我,我可以再幫您精選適合的款式!需要看哪一款的詳細資訊嗎?

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    46.7%
    相關性
    80.0%
    完整性
    60.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    II 重要
    0.0% · w 30%
    • 請提供您的預算或需求特色
    • 比如您是想要省水的、抗菌的還是智慧馬桶功能
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您推薦馬桶!以下是幾款熱門馬桶型號及建議售價,您可以參考看看: 1. 單體馬桶 - C4296T(AL):NT$19,965(查看詳情) - C3660MUT:NT$18,590(查看詳情) - C4068MUT:NT$12,650(查看詳情) - C5516NBAdb:NT$19,525(查看詳情) 2. 兩件式馬桶 - CS4396GAdbMU:NT$12,210(查看詳情) - CS4396(PN):NT$13,145(查看詳情) - CS4522NMUT【限量品】:NT$14,465(查看詳情) - CS4394Adb【限量品】:NT$11,330(查看詳情) 3. 兒童馬桶 - C41N-CF2638CNE:NT$12,595(查看詳情) - CS41N:NT$7,425(查看詳情) 如果您有特別需求或預算,也歡迎告訴我,我可以再幫您精選適合的款式!需要看哪一款的詳細資訊嗎?
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以推薦幾款馬桶
    II 重要限制 w 30%
    • 請提供您的預算或需求特色
    • 比如您是想要省水的、抗菌的還是智慧馬桶功能
    Judge 推理
    這個回覆雖然提供了馬桶的型號和價格,但未遵循規則要求,沒有詢問用戶的預算或需求特色,且主動推薦產品,因此在正確性上得分為零。
    錯誤陳述 (1)
    • 主動推薦產品
  • 案例 3FCE162E

    進階統一搜尋工具是用來做什麼的?

    已完成
    第 1 次嘗試 · 已完成 37424ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER進階統一搜尋工具是用來做什麼的?
    BOT馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務! 根據目前查詢結果,網站搜尋功能(SEARCH)與推薦搜尋(RECOMMEND)是用來協助您在網站上快速找到相關產品或資訊,例如智慧型超級馬桶、馬桶、臉盆、龍頭等。這些功能結合了網站的隱私政策與輔助工具,讓您能更方便地查詢所需內容。 如果您需要更詳細的說明或有其他問題,歡迎隨時告訴我!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    60.0%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 進階統一搜尋工具用來處理知識庫查詢與產品資訊查詢
    • 支援跨知識庫、產品與連結資料的搜尋
    • 能進行自適應三通道重排序
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務! 根據目前查詢結果,網站搜尋功能(SEARCH)與推薦搜尋(RECOMMEND)是用來協助您在網站上快速找到相關產品或資訊,例如智慧型超級馬桶、馬桶、臉盆、龍頭等。這些功能結合了網站的隱私政策與輔助工具,讓您能更方便地查詢所需內容。 如果您需要更詳細的說明或有其他問題,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 進階統一搜尋工具用來處理知識庫查詢與產品資訊查詢
    • 支援跨知識庫、產品與連結資料的搜尋
    • 能進行自適應三通道重排序
    III 補充說明 w 10%
    • 提供完整的資訊
    Judge 推理
    AI的回答部分提及了搜尋功能,但未完整回答進階統一搜尋工具的用途,且包含了不符合規範的產品推薦內容。
    錯誤陳述 (1)
    • 網站搜尋功能(SEARCH)與推薦搜尋(RECOMMEND)是用來協助您在網站上快速找到相關產品或資訊
  • 案例 D122936F

    我想要推薦一些適合小浴室的馬桶,請問有什麼選擇?

    已完成
    第 1 次嘗試 · 已完成 25324ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想要推薦一些適合小浴室的馬桶,請問有什麼選擇?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是HCG和成客服,很高興為您推薦適合小浴室的馬桶。以下是幾款適合空間有限浴室的馬桶選擇,這些產品設計精巧、節省空間,同時具備節水與抗菌等特色: 1. C145N-CF2637 單件式馬桶  建議售價:NT$10,725  特色:單件式設計,體積較小,適合小空間使用。  產品連結:點此查看 2. CS2130T 兩件式馬桶  建議售價:NT$6,765  特色:經濟實惠,兩件式結構,安裝彈性高。  產品連結:點此查看 3. CS2130MU 兩件式馬桶  建議售價:NT$7,645  特色:適合小型浴室,易於維護。  產品連結:點此查看 4. CS4396AdbMU 兩件式馬桶(限量品)  建議售價:NT$12,210  特色:限量款,設計簡約,節省空間。  產品連結:點此查看 這些馬桶皆符合國家節水規範並採用抗菌技術,非常適合小浴室安裝。如果您需要更多型號或有其他需求,也歡迎告訴我,我可以再為您查詢更多資訊! 如需進一步了解或購買,可至HCG和成官網的馬桶專區瀏覽完整產品列表。

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    II 重要
    III 補充
    • 請提供更多的需求資訊,這樣我可以更好地協助你
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是HCG和成客服,很高興為您推薦適合小浴室的馬桶。以下是幾款適合空間有限浴室的馬桶選擇,這些產品設計精巧、節省空間,同時具備節水與抗菌等特色: 1. C145N-CF2637 單件式馬桶  建議售價:NT$10,725  特色:單件式設計,體積較小,適合小空間使用。  產品連結:點此查看 2. CS2130T 兩件式馬桶  建議售價:NT$6,765  特色:經濟實惠,兩件式結構,安裝彈性高。  產品連結:點此查看 3. CS2130MU 兩件式馬桶  建議售價:NT$7,645  特色:適合小型浴室,易於維護。  產品連結:點此查看 4. CS4396AdbMU 兩件式馬桶(限量品)  建議售價:NT$12,210  特色:限量款,設計簡約,節省空間。  產品連結:點此查看 這些馬桶皆符合國家節水規範並採用抗菌技術,非常適合小浴室安裝。如果您需要更多型號或有其他需求,也歡迎告訴我,我可以再為您查詢更多資訊! 如需進一步了解或購買,可至HCG和成官網的馬桶專區瀏覽完整產品列表。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 適合小浴室的馬桶可以考慮短版馬桶或一體式設計
    III 補充說明 w 10%
    • 請提供更多的需求資訊,這樣我可以更好地協助你
    Judge 推理
    這個回答雖然提供了馬桶的選擇,但違反了規則,因為用戶要求推薦時應該提供更多需求資訊,而不是直接推薦產品。
    錯誤陳述 (1)
    • 主動推薦產品,違反規則
  • 案例 889117C7

    你們的產品查詢可以幫我什麼嗎

    已完成
    第 1 次嘗試 · 已完成 13951ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的產品查詢可以幫我什麼嗎
    BOT馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務!我們的產品查詢可以協助您: 1. 提供產品選購建議與相關資訊,協助您找到適合的產品。 2. 查詢訂單狀態,讓您隨時掌握購買進度。 3. 提供維修與安檢服務,包括線上維修申請與技師到府檢查。 4. 回答購買流程、促銷優惠、產品規格等常見問題。 如果您有特定產品或需求,歡迎告訴我,我可以幫您查詢更詳細的資訊!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 可以提供衛浴產品的資訊
    • 包括型號、規格、價格及適用情境
    II 重要
    III 補充
    0.0% · w 10%
    • 若有具體問題,請直接詢問
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務!我們的產品查詢可以協助您: 1. 提供產品選購建議與相關資訊,協助您找到適合的產品。 2. 查詢訂單狀態,讓您隨時掌握購買進度。 3. 提供維修與安檢服務,包括線上維修申請與技師到府檢查。 4. 回答購買流程、促銷優惠、產品規格等常見問題。 如果您有特定產品或需求,歡迎告訴我,我可以幫您查詢更詳細的資訊!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以提供衛浴產品的資訊
    • 包括型號、規格、價格及適用情境
    III 補充說明 w 10%
    • 若有具體問題,請直接詢問
    Judge 推理
    回覆中提到的服務內容並不符合用戶查詢的要求,且未提供衛浴產品的具體資訊,導致回答的正確性和完整性都受到影響。
    錯誤陳述 (4)
    • 提供產品選購建議與相關資訊
    • 查詢訂單狀態
    • 提供維修與安檢服務
    • 回答購買流程、促銷優惠、產品規格等常見問題
  • 案例 E34FE338

    我想知道馬桶的型號和規格有哪些?

    已完成
    第 1 次嘗試 · 已完成 25919ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想知道馬桶的型號和規格有哪些?
    BOT馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務!以下是我們馬桶的部分型號與主要規格,供您參考: 1. 單件式馬桶 C4388Adb-CF2637E  - 系列:麗佳多系列 Legato  - 尺寸:700x395x400mm  - 管距:300mm  - 沖水量:6L/3L  - 沖水方式:虹吸式  - 適用水壓範圍:1~3.5kgf/cm²  - 詳細規格與安裝圖:[點此查看](https://www.hcg.com.tw/tw/product/detail/C4388Adb-CF2637E) 2. 兩件式馬桶 CS2600AdbT  - 系列:歐芙系列 Oval  - 尺寸:C2600Adb 695x365x375mm/S2600Adb 385x160x330mm  - 管距:180mm / 300mm / 400mm(可調)  - 沖水量:4.8L  - 沖水方式:噴射虹吸式  - 適用水壓範圍:0.5~5kgf/cm²  - 詳細規格與安裝圖:[點此查看](https://www.hcg.com.tw/tw/product/detail/CS2600AdbT) 3. 智慧型超級馬桶 AFC168  - 尺寸:680×470×550mm  - 管距:300mm  - 沖水量:3L / 4.8L  - 適用水壓範圍:1.5~5kgf/cm²  - 詳細規格與安裝圖:[點此查看](https://www.hcg.com.tw/tw/product/detail/AFC168) 4. 馬桶 AFC167  - 尺寸:680×470×545mm  - 管距:300mm  - 沖水量:3L / 4.8L  - 適用水壓範圍:1.5~5kgf/cm²  - 詳細規格與安裝圖:[點此查看](https://www.hcg.com.tw/tw/product/detail/AFC167) 此外,還有多款單體及兩件式馬桶型號可供選擇,例如: - C3032GT(AW) 單體馬桶(建議售價NT$19,250) - CS4396AAdb 兩件式馬桶(建議售價NT$11,825) - CS4394(KS) 兩件式馬桶(建議售價NT$14,960) 更多型號請參考HCG官網產品頁面。 如果您有特定需求或想了解某一型號的詳細資訊,歡迎告訴我,我可以提供更精確的規格或推薦!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    76.7%
    相關性
    80.0%
    完整性
    60.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 馬桶型號和規格資訊包含省水、抗菌、智慧馬桶功能
    • 適用於小坪數、商用空間和高端住宅
    II 重要
    III 補充
    10.0% · w 10%
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務!以下是我們馬桶的部分型號與主要規格,供您參考: 1. 單件式馬桶 C4388Adb-CF2637E  - 系列:麗佳多系列 Legato  - 尺寸:700x395x400mm  - 管距:300mm  - 沖水量:6L/3L  - 沖水方式:虹吸式  - 適用水壓範圍:1~3.5kgf/cm²  - 詳細規格與安裝圖:[點此查看](https://www.hcg.com.tw/tw/product/detail/C4388Adb-CF2637E) 2. 兩件式馬桶 CS2600AdbT  - 系列:歐芙系列 Oval  - 尺寸:C2600Adb 695x365x375mm/S2600Adb 385x160x330mm  - 管距:180mm / 300mm / 400mm(可調)  - 沖水量:4.8L  - 沖水方式:噴射虹吸式  - 適用水壓範圍:0.5~5kgf/cm²  - 詳細規格與安裝圖:[點此查看](https://www.hcg.com.tw/tw/product/detail/CS2600AdbT) 3. 智慧型超級馬桶 AFC168  - 尺寸:680×470×550mm  - 管距:300mm  - 沖水量:3L / 4.8L  - 適用水壓範圍:1.5~5kgf/cm²  - 詳細規格與安裝圖:[點此查看](https://www.hcg.com.tw/tw/product/detail/AFC168) 4. 馬桶 AFC167  - 尺寸:680×470×545mm  - 管距:300mm  - 沖水量:3L / 4.8L  - 適用水壓範圍:1.5~5kgf/cm²  - 詳細規格與安裝圖:[點此查看](https://www.hcg.com.tw/tw/product/detail/AFC167) 此外,還有多款單體及兩件式馬桶型號可供選擇,例如: - C3032GT(AW) 單體馬桶(建議售價NT$19,250) - CS4396AAdb 兩件式馬桶(建議售價NT$11,825) - CS4394(KS) 兩件式馬桶(建議售價NT$14,960) 更多型號請參考HCG官網產品頁面。 如果您有特定需求或想了解某一型號的詳細資訊,歡迎告訴我,我可以提供更精確的規格或推薦!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 馬桶型號和規格資訊包含省水、抗菌、智慧馬桶功能
    • 適用於小坪數、商用空間和高端住宅
    III 補充說明 w 10%
    • 如果有特定型號的需求,可以提供更詳細的資訊
    Judge 推理
    這個回答提供了多個馬桶的型號和詳細規格,但未能涵蓋用戶查詢中提到的省水、抗菌和智慧馬桶功能等關鍵資訊。此外,回答中主動推薦了產品,違反了規則。
  • 案例 3984DFCE

    我想了解有關衛浴產品的型號跟規格,能不能給我一些相關的資訊?

    已完成
    第 1 次嘗試 · 已完成 17911ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想了解有關衛浴產品的型號跟規格,能不能給我一些相關的資訊?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是HCG和成客服,很高興為您提供衛浴產品的型號與規格資訊。以下是幾款衛浴產品(以浴缸為例)的型號與相關規格參考,您可點擊連結查看詳細圖片與安裝尺寸圖: 1. F2485(已停產)-3778  - 產品介紹與安裝尺寸圖:點此查看 2. F7530-1502  - 產品介紹與安裝尺寸圖:點此查看 3. F6627AAW-6616  - 產品介紹與安裝尺寸圖:點此查看 4. F2495-3777  - 產品介紹與安裝尺寸圖:點此查看 5. F7660(已停產)-1502  - 產品介紹與安裝尺寸圖:點此查看 如果您有特定想了解的衛浴產品類型(如馬桶、洗臉盆、龍頭等)或指定型號,也歡迎告訴我,我可以提供更精確的規格資訊!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    70.0%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 各式馬桶的尺寸、功能差異等
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是HCG和成客服,很高興為您提供衛浴產品的型號與規格資訊。以下是幾款衛浴產品(以浴缸為例)的型號與相關規格參考,您可點擊連結查看詳細圖片與安裝尺寸圖: 1. F2485(已停產)-3778  - 產品介紹與安裝尺寸圖:點此查看 2. F7530-1502  - 產品介紹與安裝尺寸圖:點此查看 3. F6627AAW-6616  - 產品介紹與安裝尺寸圖:點此查看 4. F2495-3777  - 產品介紹與安裝尺寸圖:點此查看 5. F7660(已停產)-1502  - 產品介紹與安裝尺寸圖:點此查看 如果您有特定想了解的衛浴產品類型(如馬桶、洗臉盆、龍頭等)或指定型號,也歡迎告訴我,我可以提供更精確的規格資訊!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們提供的衛浴產品包括多種型號及其規格
    • 各式馬桶的尺寸、功能差異等
    III 補充說明 w 10%
    • 若你有具體的型號或關鍵字,我能幫你查詢相關資訊
    Judge 推理
    這個回覆在相關性上表現良好,但未能完全涵蓋所有關鍵點,特別是缺少了對馬桶尺寸和功能差異的說明。此外,回覆中主動推薦了產品,這違反了規則。
    錯誤陳述 (1)
    • 主動推薦產品
  • 案例 DC7212D7

    我想詢問產品的資料,比如尺寸和功能差異有哪些?

    已完成
    第 1 次嘗試 · 已完成 21243ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想詢問產品的資料,比如尺寸和功能差異有哪些?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是HCG和成客服,很高興為您服務! 關於產品的尺寸與功能差異,以下是幾個具體範例,方便您參考: 1. BA2829 - 尺寸:W300 x D160 x H800mm - 特色:附置物功能 - 詳細安裝尺寸圖可下載(PDF、JPG、DWG) - 產品連結:點此查看 2. HF2053AW - 尺寸:W675 x D72 x H975mm - 特色:波浪型設計、具抑菌功能 - 詳細安裝尺寸圖可下載(PDF、JPG、DWG) - 產品連結:點此查看 3. LF608F(P) - 尺寸:W93mm(LF608F、LF608P皆同) - 功能差異:  • LF608P 為噴霧出水  • LF608F 為氣泡出水 - 材質:銅合金,適用水壓0.5~5kgf/cm² - 特色:省水標章、公共場所適用、精密陶瓷芯軸 - 詳細安裝尺寸圖可下載(PDF、JPG) - 產品連結:點此查看 4. LCS100MCB-MCB100C-L4057-AF941-HD971-SD821 組合 - 整組尺寸:W1000 x D580 x H821mm - 詳細安裝尺寸圖可下載(PDF、JPG、DWG) - 產品連結:點此查看 如果您有特定型號或產品想進一步了解,請提供型號或名稱,我可以為您查詢更詳細的規格與功能比較!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 7530 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    80.0%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 透過進階統一搜尋為您提供完整的產品資料
    II 重要
    III 補充
    10.0% · w 10%
    • 請您提供具體想詢問的產品或主題
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是HCG和成客服,很高興為您服務! 關於產品的尺寸與功能差異,以下是幾個具體範例,方便您參考: 1. BA2829 - 尺寸:W300 x D160 x H800mm - 特色:附置物功能 - 詳細安裝尺寸圖可下載(PDF、JPG、DWG) - 產品連結:點此查看 2. HF2053AW - 尺寸:W675 x D72 x H975mm - 特色:波浪型設計、具抑菌功能 - 詳細安裝尺寸圖可下載(PDF、JPG、DWG) - 產品連結:點此查看 3. LF608F(P) - 尺寸:W93mm(LF608F、LF608P皆同) - 功能差異:  • LF608P 為噴霧出水  • LF608F 為氣泡出水 - 材質:銅合金,適用水壓0.5~5kgf/cm² - 特色:省水標章、公共場所適用、精密陶瓷芯軸 - 詳細安裝尺寸圖可下載(PDF、JPG) - 產品連結:點此查看 4. LCS100MCB-MCB100C-L4057-AF941-HD971-SD821 組合 - 整組尺寸:W1000 x D580 x H821mm - 詳細安裝尺寸圖可下載(PDF、JPG、DWG) - 產品連結:點此查看 如果您有特定型號或產品想進一步了解,請提供型號或名稱,我可以為您查詢更詳細的規格與功能比較!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 透過進階統一搜尋為您提供完整的產品資料
    • 包括商品型號、規格、尺寸,以及功能差異等
    III 補充說明 w 10%
    • 請您提供具體想詢問的產品或主題
    Judge 推理
    這個回覆提供了多個產品的尺寸和功能差異,與用戶的查詢相關,但未完全符合知識庫的要求,缺少了統一搜尋的說明和請求具體產品的提示。
項目 III.

對話素養(混合問答)

mixed_qa 3 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
F1 66.7% · 精確 50.0%
1 / 3 適用
不亂編造 平均
faithfulness
0.0%
[0.0% – 0.0%] · n=2
3 / 3 適用
答得到位 平均
answer_quality
57.8%
[36.7% – 93.3%] · n=3
3 / 3 適用
  • 案例 5CC2CFCF

    我想轉接真人客服,可以嗎

    已完成
    第 1 次嘗試 · 已完成 6586ms
    腳本進度 · 轉接真人客服 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 轉接真人客服
    腳本規則
    - 當用戶要求轉接真人客服,例如:線上客服、真人客服、轉真人、找真人
    
    轉接真人客服的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 直接觸發轉接真人
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER我想轉接真人客服,可以嗎
    BOT目前僅提供線上協助,您可點此填寫表單留資料
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    36.7%
    相關性
    80.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 轉接真人客服
    II 重要
    III 補充
    AI 回覆
    目前僅提供線上協助,您可點此填寫表單留資料
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 轉接真人客服
    Judge 推理
    回覆未能直接轉接真人客服,且提供的資訊與用戶需求不符,因此在相關性、完整性和正確性上均未達標。
    錯誤陳述 (1)
    • 目前僅提供線上協助,您可點此填寫表單留資料
  • 案例 2BF9C206

    HCG客服能即時回覆問題嗎

    已完成
    第 1 次嘗試 · 已完成 37557ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERHCG客服能即時回覆問題嗎
    BOT馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務! 根據我們的資料,HCG和成已導入智慧AI客服系統,能即時回覆消費者常見問題,例如產品規格、安裝方式、保養清潔、售後服務流程等。這樣可以大幅提升回覆效率與一致性,讓您獲得快速且專業的協助。 如果您有特定問題需要即時處理,也可以撥打我們的客服專線: - 衛浴產品諮詢:0800-823-823 - 維修安檢服務:0800-087-089 歡迎隨時提出您的需求,我們會盡快協助您!

    知識檢索

    100.0%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • doc_know_5248 · 本段落屬於文件中關於智慧學習與品牌語氣設定的介紹部分,主要涵蓋HCG衛浴專業知識庫的建立、品牌對話風格的設定,以及產品資料串接的初步說明。內容涉及如何透過AI提升客服效率、保持品牌一致性,以及依據不同
      文件 ID
      5501393a-59f7-4f86-b6e7-5dc1e6614bc9
      內容
      本段落屬於文件中關於智慧學習與品牌語氣設定的介紹部分,主要涵蓋HCG衛浴專業知識庫的建立、品牌對話風格的設定,以及產品資料串接的初步說明。內容涉及如何透過AI提升客服效率、保持品牌一致性,以及依據不同通路調整溝通語氣,強調智慧學習與品牌形象的結合。這些措施旨在提升消費者體驗與銷售轉換率,符合整體導入智慧AI的主題。 ① FAQ 導入智慧學習(建立專屬知識庫) 由專人協助 HCG 建立完整的「衛浴專業知識庫」,內容包含: 產品常見問題(如:馬桶規格、安裝方式、保養清潔) 售後服務流程(維修、保固、客服諮詢) 門市與經銷資訊 消費者常見購買疑問(尺寸選擇、空間配置等) 👉 應用價值: 讓 AI 能即時回覆消費者問題,降低客服人力負擔,同時提升回覆一致性與專業度。 ② 品牌偏好風格設定(打造 HCG 專屬語氣) 依據 HCG 品牌形象,進行對話風格與語氣設定,例如: 專業可信賴(強調品牌歷史與品質) 親切但不過度口語(符合衛浴產業定位) 重視使用者體驗(以解決問題為導向) 同時可依不同通路進行調整: 官網 → 偏專業說明 LINE客服 → 偏即時、親切互動 電商平台 → 偏導購與轉換 👉 應用價值: 確保 AI 所有對外溝通「像同一個品牌在說話」,強化品牌一致性與信任感。 ③ 產品導入
    意料之外 (1)
    • ! doc_know_5249 · AI 所有對外溝通「像同一個品牌在說話」,強化品牌一致性與信任感。 ③ 產品導入訓練(串接商品資料與推薦能力) 透過 API 串接 HCG 既有產品資料庫,包含: 商品型號、規格、尺寸 功能差
      文件 ID
      5501393a-59f7-4f86-b6e7-5dc1e6614bc9
      內容
      AI 所有對外溝通「像同一個品牌在說話」,強化品牌一致性與信任感。 ③ 產品導入訓練(串接商品資料與推薦能力) 透過 API 串接 HCG 既有產品資料庫,包含: 商品型號、規格、尺寸 功能差異(如:省水、抗菌、智慧馬桶功能) 價格帶與產品定位 適用情境(小坪數、商用空間、高端住宅等) AI 可依消費者需求進行智能推薦,例如: 小浴室 → 推薦短版馬桶或一體式設計 重視清潔 → 推薦抗污或免治功能產品 預算導向 → 提供不同價位替代方案 👉 應用價值: 從「被動回答問題」升級為「主動導購」,有效提升轉換率與客單價。 整體導入效益(上課可補充重點) 客服效率提升(降低重複問答) 品牌溝通一致(統一對外語氣) 強化銷售轉換(AI 主動推薦商品) 數據累積(掌握消費者需求與痛點) 可跨品牌擴展(如寶隆廚具、電商等體系)
    TP 1
    FP 1
    FN 0

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    • 降低客服人力負擔
    • 提升回覆一致性與專業度
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是HCG和成客服,很高興為您服務! 根據我們的資料,HCG和成已導入智慧AI客服系統,能即時回覆消費者常見問題,例如產品規格、安裝方式、保養清潔、售後服務流程等。這樣可以大幅提升回覆效率與一致性,讓您獲得快速且專業的協助。 如果您有特定問題需要即時處理,也可以撥打我們的客服專線: - 衛浴產品諮詢:0800-823-823 - 維修安檢服務:0800-087-089 歡迎隨時提出您的需求,我們會盡快協助您!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • HCG能即時回覆消費者問題
    • 降低客服人力負擔
    • 提升回覆一致性與專業度
    Judge 推理
    AI客服的回覆內容與問題相關,且正確性高,但未完整涵蓋所有關鍵點,特別是降低客服人力負擔及提升回覆一致性與專業度的部分。
  • 案例 CD20D759

    你們的產品都是怎樣的?

    已完成
    第 1 次嘗試 · 已完成 18761ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 當用戶提出問題或查詢需求時觸發
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 進階統一搜尋:跨知識庫、產品與連結資料,支援自適應三通道重排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 資訊類問題 → 僅回答知識內容,不主動推薦產品
    - 用戶明確要求推薦時 → 僅提供名稱、價格、特色
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的產品都是怎樣的?
    BOT稍等一下我來幫您查詢 💡 您好,我是HCG和成客服,很高興為您服務! 我們HCG和成主要提供全方位的高品質衛浴產品與服務,產品種類非常多元,包含: - 馬桶 - 溫水免治便座 - 面盆 - 龍頭(水龍頭) - 浴缸 - 扶手 - 各式浴室零件(如地板落水頭、馬桶水箱零件、省水零件等) 我們的產品強調設計多樣、價格實惠,並且全台各地都有展示中心與經銷據點,方便您親自體驗與選購。若您有特定需求(例如空間大小、預算、功能),也可以告訴我,我能協助您更精準地推薦合適的產品! 想了解哪一類產品或有其他需求嗎?歡迎隨時告訴我!
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 請告訴我您想查詢的具體項目或問題
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是HCG和成客服,很高興為您服務! 我們HCG和成主要提供全方位的高品質衛浴產品與服務,產品種類非常多元,包含: - 馬桶 - 溫水免治便座 - 面盆 - 龍頭(水龍頭) - 浴缸 - 扶手 - 各式浴室零件(如地板落水頭、馬桶水箱零件、省水零件等) 我們的產品強調設計多樣、價格實惠,並且全台各地都有展示中心與經銷據點,方便您親自體驗與選購。若您有特定需求(例如空間大小、預算、功能),也可以告訴我,我能協助您更精準地推薦合適的產品! 想了解哪一類產品或有其他需求嗎?歡迎隨時告訴我!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請告訴我您想查詢的具體項目或問題
    Judge 推理
    這個回答雖然提供了產品的多樣性,但違反了規則,主動推薦產品而不是僅回答知識內容。此外,缺少了要求用戶提供具體查詢的提示,因此完整性得分較低。
    錯誤陳述 (1)
    • 主動推薦產品