執行 #126

GH 智能客服 (bulk R1) → production-canary (canary)

狀態
已完成
案例
30
開始時間
16 May 11:41
耗時
460.2s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1815
Total Bot Cost · USD
74.9%
Prompt Cache Hit
cost per case
$0.0061
cost per 1k tokens
$0.0010
input tokens
169,700
output tokens
4,097
cached tokens — prompt-cache hit
127,104
Total Tokens
173,797
economic efficiency
cost per correct
$0.0012
pass rate
76.7%
23 / 30
judge cost
$0.0278
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • d083f3c9-5233-42c3-a48c-9eb8b8d89a4e 119 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:aa3ae1c6 Tools: sha256:cb414772 Scenarios: sha256:fa5ab938 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
5
首字延遲 p95
10345 ms
Bot 成本(Neptune)
$0.1815
Bot Tokens(Neptune)
173,797
Judge 成本(Eris)
$0.0278
Judge Tokens(Eris)
213,635
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 33.3% · 相關率 46.0% · 精確 20.0%
10 / 10 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
95.7%
[92.7% – 98.7%] · n=10
10 / 10 適用
  • 案例 0E321BAD

    晚上到可以入住嗎?需要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 35519ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER晚上到可以入住嗎?需要怎麼做?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 晚上抵達是可以入住的,但有幾點需要特別注意: - 櫃台服務時間為09:00-21:00,21:00後如果您才會到,需要提前聯絡我們,辦理線上自助入住。 - 請務必提前告知您的抵達時間,我們會提供自助入住的指引給您。 請問您預計幾點抵達呢?只要提前通知,我就能協助您安排自助入住流程!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41934 · 晚上很晚才到可以入住嗎?
      問題
      晚上很晚才到可以入住嗎?
      回答
      可以!但需要注意: 🕘櫃台時間:09:00-21:00有人服務 🌙21:00後:需要事先聯絡辦理線上自助入住 📞提前通知:請務必提前告知抵達時間 🗝️自助入住:我們會提供自助入住指引。 請問您預計幾點抵達?我為您安排自助入住流程。
    意料之外 (4)
    • ! know_41901 · 訂房需要注意什麼事項?
      問題
      訂房需要注意什麼事項?
      回答
      重要訂房須知: 📞櫃檯服務時間09:00-21:00,超過21:00入住請事先聯絡辦理線上自助入住 🚗民宿全館無電梯,汽機車可停至房間附近 🛏️專案房型保證床型但恕不指定房型 📅平日專案僅限週日到週五使用,週六及連假須加價 💰專案不得與其他優惠合併使用 📱僅限官網及電話訂房適用。
    • ! know_41890 · 可以訂今天晚上的房間嗎?
      問題
      可以訂今天晚上的房間嗎?
      回答
      當日入住我來為您確認!請問您是幾位客人?想要什麼房型?由於今天入住,我需要立即確認空房狀況。另外提醒您,我們櫃檯服務到21:00,如果您會在21:00後抵達,需要事先聯絡辦理線上自助入住。請告訴我您的需求,我馬上為您查詢並安排。
    • ! know_41913 · 訂房確認後會收到什麼通知?
      問題
      訂房確認後會收到什麼通知?
      回答
      訂房確認後,我們會提供:📧確認信:包含訂房詳細資訊、💰價格明細:房型、價格、付款方式、📍入住資訊:地址、交通方式、聯絡電話、⏰重要提醒:入住時間、注意事項等。請保留確認信以備入住時使用。
    • ! know_41918 · 可以為朋友代訂房嗎?
      問題
      可以為朋友代訂房嗎?
      回答
      您好!如果您會一同入住,可以由您直接來訂房即可 請提供: 👤實際入住者姓名 📱實際入住者聯絡電話 📧代訂者聯絡資訊 💳付款負責人資訊 如果您本次未與朋友或家人一同入住,建議請朋友直接透過線上或電話方式訂房,我們將儘速為您提供訂房服務 入住時需要實際入住者的身分證明文件。 建議代訂時先與入住者確認所有細節,避免入住時產生問題。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料的內容,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    • 並提供自助入住指引
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 晚上抵達是可以入住的,但有幾點需要特別注意: - 櫃台服務時間為09:00-21:00,21:00後如果您才會到,需要提前聯絡我們,辦理線上自助入住。 - 請務必提前告知您的抵達時間,我們會提供自助入住的指引給您。 請問您預計幾點抵達呢?只要提前通知,我就能協助您安排自助入住流程!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 需要提前聯絡辦理線上自助入住
    • 並提供自助入住指引
    III 補充說明 w 10%
    • 請問您預計幾點抵達?
    Judge 推理
    回覆內容針對用戶的問題做了詳細說明,並且詢問預計抵達時間,符合要求。唯一缺少的是提到提供自助入住指引的部分,因此在完整性上稍有不足。
  • 案例 D1C69699

    湖光別墅 (J棟) 二樓有幾間房間?

    已完成
    第 1 次嘗試 · 已完成 39376ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER湖光別墅 (J棟) 二樓有幾間房間?
    BOT馬上為您找找看相關內容 📋 湖光別墅(J棟)二樓有兩間房間,分別是:雙人房1間(含衛浴)和四人房1間(含衛浴)。如果還有其他關於房型或入住的問題,歡迎隨時詢問!

    產品檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • prod_4443 · 湖光別墅 (J棟)
      標題
      湖光別墅 (J棟)
      完整描述
      住房人數:9人 一樓:客廳;三人房1間(含衛浴)。 二樓:雙人房1間(含衛浴);四人房1間(含衛浴)。 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:300元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["包棟"]
    意料之外 (4)
    • ! prod_4442 · 迎山別墅 (I棟)
      標題
      迎山別墅 (I棟)
      完整描述
      住房人數:12人 一樓:客廳、廚房、飯廳;三人房1間(含衛浴)。 二樓:雙人房1間、三人房1間,共用衛浴;四人房1間(含衛浴)。 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:300元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["包棟"]
    • ! prod_4438 · 暮光經濟雙人房 (G2區)
      標題
      暮光經濟雙人房 (G2區)
      完整描述
      住房人數:4人 房間坪數:13坪 房內設備: – 兩大床 – Wifi(免費) – 藍芽音響 – 手沖咖啡組 ※本房型未配置電視 衛浴設備: – 淋浴間(乾溼分離) – 歐萊德沐浴用品 – 吹風機 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["雙人房", "山景", "雙人房"]
    • ! prod_4439 · 暮光標準三人房 (G3區)
      標題
      暮光標準三人房 (G3區)
      完整描述
      住房人數:2人 房間坪數:6坪 房內設備: – 1大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["三人房", "山景"]
    • ! prod_4436 · 碧湖標準四人房 (B區)
      標題
      碧湖標準四人房 (B區)
      完整描述
      住房人數:4人 房間坪數:10坪 房內設備: – 1大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "碧湖"]
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的湖光別墅(J棟)二樓有兩間房間的資訊,與來源中的描述一致,因此這些聲明是有根據的。

    回答品質

    90.0%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    90.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 湖光別墅(J棟)二樓有兩間房間,分別是:雙人房1間(含衛浴)和四人房1間(含衛浴)。如果還有其他關於房型或入住的問題,歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 湖光別墅 (J棟) 二樓有一間雙人房
    • 湖光別墅 (J棟) 二樓有一間四人房
    • 雙人房和四人房均含衛浴
    Judge 推理
    回覆內容針對用戶的問題提供了相關資訊,並且涵蓋了大部分的關鍵點,但在房間數量上有誤,應為一間雙人房和一間四人房,而非兩間。
    錯誤陳述 (1)
    • 湖光別墅 (J棟) 二樓有兩間房間
  • 案例 19943A15

    當天臨時取消的退費標準是什麼?

    已完成
    第 1 次嘗試 · 已完成 29499ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER當天臨時取消的退費標準是什麼?
    BOT稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 關於「當天臨時取消」的退費標準,依照目前規定: - 住宿當日取消:不接受延期或退訂,不退還訂金。 - 若遇到天災、疾病等緊急狀況,可能會有特殊處理,建議您儘快致電櫃台說明您的情況。 如果您有特殊原因需要取消,請告訴我您的狀況,我可以協助您進一步確認。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41922 · 當天臨時取消可以退費嗎?
      問題
      當天臨時取消可以退費嗎?
      回答
      當天臨時取消的退費政策比較嚴格,我需要了解您的具體情況: 🚨緊急狀況:如天災、疾病等可能有特殊處理 💰退費標準:需要根據訂房條件判斷 📞立即聯絡:請儘快致電櫃台說明狀況。請問您是遇到什麼緊急情況需要取消?
    意料之外 (4)
    • ! know_41985 · 取消要手續費嗎?
      問題
      取消要手續費嗎?
      回答
      💰取消手續費:取消政策依時間而定: 📅提前取消:提前一定天數可能免手續費 ⏰臨時取消:臨時取消可能需要手續費 🏷️專案條件:不同專案可能有不同取消規定 💳退費方式:手續費扣除後的退費安排。 請問您的訂房是什麼時候?我為您查詢確切的取消政策。
    • ! know_41909 · 颱風天或天災可以免費取消訂房嗎?
      問題
      颱風天或天災可以免費取消訂房嗎?
      回答
      關於天災(颱風、地震等)的取消政策,我需要為您確認相關規定。一般來說如果南投縣政府發布停班停課令或交通中斷,可以接受在未來三個月內,免費變更入住日期。 若是取消訂房,會依據訂金退款政策 "📅 取消退款政策 住宿日前14天:退還訂金 100% 住宿日10-13天前:退還訂金 70% 住宿日7-9天前:退還訂金 50% 住宿日4-6天前:退還訂金 40% 住宿日2-3天前:退還訂金 30% 住宿日1天前:退還訂金 20% 住宿當日:不接受延期或退訂,不退還訂金 💸 退款手續費 以上退款將收取15元匯款手續費,於14個工作天後(不含假日)退還給您。 ⛈️ 天氣因素處理:直接與葉綠宿訂房者,天氣因素取消依上述政策處理;線上平台訂房者請聯繫原平台客服。"
    • ! know_41921 · 取消訂房會扣手續費嗎?
      問題
      取消訂房會扣手續費嗎?
      回答
      "📅 取消退款政策 住宿日前14天:退還訂金 100% 住宿日10-13天前:退還訂金 70% 住宿日7-9天前:退還訂金 50% 住宿日4-6天前:退還訂金 40% 住宿日2-3天前:退還訂金 30% 住宿日1天前:退還訂金 20% 住宿當日:不接受延期或退訂,不退還訂金 💸 退款手續費 以上退款將收取15元匯款手續費,於14個工作天後(不含假日)退還給您。 ⛈️ 天氣因素處理:直接與葉綠宿訂房者,天氣因素取消依上述政策處理;線上平台訂房者請聯繫原平台客服。"
    • ! know_41929 · 連續假期的取消規定是什麼?
      問題
      連續假期的取消規定是什麼?
      回答
      連續假期(春節、清明、端午、中秋、國慶等)屬於旺日,取消規定較嚴格: 📅提前通知:需要更早通知取消 💰手續費用:可能有較高的取消費用 🏷️特殊專案:假期專案可能有特別規定 📞個案處理:請致電詳細說明狀況。 請問您要取消哪個假期的訂房?
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆內容完全符合來源資料中的退費標準,並且所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    86.7%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 當天臨時取消的退費政策比較嚴格
    • 退費標準需要根據訂房條件判斷
    II 重要
    III 補充
    0.0% · w 10%
    • 請問您是遇到什麼緊急情況需要取消
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 關於「當天臨時取消」的退費標準,依照目前規定: - 住宿當日取消:不接受延期或退訂,不退還訂金。 - 若遇到天災、疾病等緊急狀況,可能會有特殊處理,建議您儘快致電櫃台說明您的情況。 如果您有特殊原因需要取消,請告訴我您的狀況,我可以協助您進一步確認。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 當天臨時取消的退費政策比較嚴格
    • 退費標準需要根據訂房條件判斷
    III 補充說明 w 10%
    • 請問您是遇到什麼緊急情況需要取消
    Judge 推理
    AI 的回覆雖然提供了當天臨時取消的退費標準,但未完整涵蓋所有核心要點,特別是退費政策的嚴格性和根據訂房條件的判斷。此外,AI 也未詢問用戶的緊急情況,未符合補充 CTA 的要求。
  • 案例 743FDB77

    暮光經濟雙人房的房間坪數是多少?

    已完成
    第 1 次嘗試 · 已完成 34489ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER暮光經濟雙人房的房間坪數是多少?
    BOT馬上為您找找看相關內容 📋 暮光經濟雙人房(G2區)的房間坪數是13坪。若您需要更多關於房型或設施的資訊,歡迎隨時詢問!

    產品檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • prod_4438 · 暮光經濟雙人房 (G2區)
      標題
      暮光經濟雙人房 (G2區)
      完整描述
      住房人數:4人 房間坪數:13坪 房內設備: – 兩大床 – Wifi(免費) – 藍芽音響 – 手沖咖啡組 ※本房型未配置電視 衛浴設備: – 淋浴間(乾溼分離) – 歐萊德沐浴用品 – 吹風機 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["雙人房", "山景", "雙人房"]
    意料之外 (4)
    • ! prod_4440 · 望山浴缸雙人房 (H區)
      標題
      望山浴缸雙人房 (H區)
      完整描述
      住房人數:3人 房間坪數:10坪 房內設備: – 1大床、1小床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["雙人房", "山景", "雙人房"]
    • ! prod_4439 · 暮光標準三人房 (G3區)
      標題
      暮光標準三人房 (G3區)
      完整描述
      住房人數:2人 房間坪數:6坪 房內設備: – 1大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["三人房", "山景"]
    • ! prod_4437 · 庭園經濟4人房 (D區)
      標題
      庭園經濟4人房 (D區)
      完整描述
      住房人數:4人 房間坪數:10坪 房內設備: – 2大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "山景"]
    • ! prod_4443 · 湖光別墅 (J棟)
      標題
      湖光別墅 (J棟)
      完整描述
      住房人數:9人 一樓:客廳;三人房1間(含衛浴)。 二樓:雙人房1間(含衛浴);四人房1間(含衛浴)。 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:300元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["包棟"]
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的房間坪數13坪,與來源中的描述一致,因此該資訊是有根據的。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 暮光經濟雙人房(G2區)的房間坪數是13坪。若您需要更多關於房型或設施的資訊,歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 暮光經濟雙人房的房間坪數為13坪
    Judge 推理
    這個回答完全符合用戶的問題,提供了正確的房間坪數,並且語氣友好,符合預期的回答風格。
  • 案例 36574131

    付款政策是什麼?

    已完成
    第 1 次嘗試 · 已完成 39309ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER付款政策是什麼?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您說明付款政策! 一般來說,訂房時可能需要支付訂金以確保房間保留,餘款則可在入住時支付。至於付款方式(如現金、刷卡、轉帳等)及是否有手續費,會依實際情況有所不同。如果您有特定的入住日期或偏好的付款方式,歡迎告訴我,我可以幫您查詢最適合您的付款安排。 如果您還有其他關於付款的細節想了解,也可以隨時詢問喔!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41904 · 需要付訂金嗎?什麼時候付款?
      問題
      需要付訂金嗎?什麼時候付款?
      回答
      關於訂金和付款方式,我需要為您確認最新的付款政策。 一般來說訂房時可能需要支付訂金以確保房間保留,餘款可在入住時支付。 請問您想訂哪個日期的房間?我可以為您查詢該訂單的付款方式和時間安排。
    意料之外 (4)
    • ! know_41986 · 刷卡有手續費嗎?
      問題
      刷卡有手續費嗎?
      回答
      💳刷卡服務: 關於刷卡手續費我需要確認: 🏦信用卡:是否接受信用卡付款 💰手續費:刷卡是否有額外手續費 💵現金優惠:現金付款是否有優惠 📱其他支付:是否接受其他電子支付方式。 我為您確認各種付款方式的費用差異。
    • ! know_41985 · 取消要手續費嗎?
      問題
      取消要手續費嗎?
      回答
      💰取消手續費:取消政策依時間而定: 📅提前取消:提前一定天數可能免手續費 ⏰臨時取消:臨時取消可能需要手續費 🏷️專案條件:不同專案可能有不同取消規定 💳退費方式:手續費扣除後的退費安排。 請問您的訂房是什麼時候?我為您查詢確切的取消政策。
    • ! know_41905 · 可以刷卡嗎?接受哪些付款方式?
      問題
      可以刷卡嗎?接受哪些付款方式?
      回答
      關於付款方式(現金、刷卡、轉帳等),我需要為您確認我們接受的付款選項。 請問您比較希望用哪種方式付款? 我可以為您查詢並確認可用的付款方式,讓您在訂房和入住時都能方便付款。
    • ! know_41909 · 颱風天或天災可以免費取消訂房嗎?
      問題
      颱風天或天災可以免費取消訂房嗎?
      回答
      關於天災(颱風、地震等)的取消政策,我需要為您確認相關規定。一般來說如果南投縣政府發布停班停課令或交通中斷,可以接受在未來三個月內,免費變更入住日期。 若是取消訂房,會依據訂金退款政策 "📅 取消退款政策 住宿日前14天:退還訂金 100% 住宿日10-13天前:退還訂金 70% 住宿日7-9天前:退還訂金 50% 住宿日4-6天前:退還訂金 40% 住宿日2-3天前:退還訂金 30% 住宿日1天前:退還訂金 20% 住宿當日:不接受延期或退訂,不退還訂金 💸 退款手續費 以上退款將收取15元匯款手續費,於14個工作天後(不含假日)退還給您。 ⛈️ 天氣因素處理:直接與葉綠宿訂房者,天氣因素取消依上述政策處理;線上平台訂房者請聯繫原平台客服。"
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的付款政策與來源資料中的內容一致,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    • 我需要為您確認最新的付款政策
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您說明付款政策! 一般來說,訂房時可能需要支付訂金以確保房間保留,餘款則可在入住時支付。至於付款方式(如現金、刷卡、轉帳等)及是否有手續費,會依實際情況有所不同。如果您有特定的入住日期或偏好的付款方式,歡迎告訴我,我可以幫您查詢最適合您的付款安排。 如果您還有其他關於付款的細節想了解,也可以隨時詢問喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 訂房時可能需要支付訂金以確保房間保留
    • 餘款可在入住時支付
    III 補充說明 w 10%
    • 我需要為您確認最新的付款政策
    Judge 推理
    回覆內容針對付款政策的問題進行了詳細說明,涵蓋了訂金和餘款的支付方式,但缺少了確認最新付款政策的必要說明,因此在完整性上有所不足。
  • 案例 5B16DCCC

    請問我可以在入住前寄放行李嗎?

    已完成
    第 1 次嘗試 · 已完成 48368ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我可以在入住前寄放行李嗎?
    BOT稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 您可以在入住前寄放行李,讓您輕鬆安排行程再回來辦理入住。行李寄放服務配合櫃台服務時間,為每日09:00-21:00,我們會妥善保管您的行李。 請問您預計幾點需要寄放行李呢?如果有其他需求也歡迎告訴我!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41937 · 可以寄放行李嗎?
      問題
      可以寄放行李嗎?
      回答
      關於行李寄放服務: 🎒入住前:可以先寄放行李再去玩 🧳退房後:可以寄放行李延後取回 🕘服務時間:配合櫃台服務時間09:00-21:00 🔒安全保管:我們會妥善保管您的行李。 請問您需要什麼時候寄放行李?
    意料之外 (4)
    • ! know_41930 · 入住和退房時間是幾點?
      問題
      入住和退房時間是幾點?
      回答
      ⏰入住時間:下午15:00後 ⏰退房時間:上午11:00前 🕘櫃檯服務:09:00-21:00 🌙夜間入住:超過21:00請事先聯絡辦理線上自助入住 ⏱️延遲退房:加休費用100元/小時,平日最多2小時,假日最多1小時。
    • ! know_41933 · 可以提早入住嗎?
      問題
      可以提早入住嗎?
      回答
      關於提早入住: 🕒標準入住時間:15:00後 ⏰提早入住:可能需要加休費用 🏠房間準備:需要確認房間是否已清潔完成 📞事前聯絡:建議先致電確認是否可提早入住。 請問您預計幾點抵達?我可以為您確認是否能安排提早入住。
    • ! know_41936 · 退房時需要做什麼?
      問題
      退房時需要做什麼?
      回答
      退房時請注意: ⏰退房時間:上午11:00前 🗝️歸還鑰匙:至櫃台歸還房間鑰匙 🧹房間整理:個人物品帶走,簡單整理 💰帳務結清:如有額外消費需要結清 📞問題反映:如有任何問題可向櫃台反映。
    • ! know_41934 · 晚上很晚才到可以入住嗎?
      問題
      晚上很晚才到可以入住嗎?
      回答
      可以!但需要注意: 🕘櫃台時間:09:00-21:00有人服務 🌙21:00後:需要事先聯絡辦理線上自助入住 📞提前通知:請務必提前告知抵達時間 🗝️自助入住:我們會提供自助入住指引。 請問您預計幾點抵達?我為您安排自助入住流程。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 您可以在入住前寄放行李,讓您輕鬆安排行程再回來辦理入住。行李寄放服務配合櫃台服務時間,為每日09:00-21:00,我們會妥善保管您的行李。 請問您預計幾點需要寄放行李呢?如果有其他需求也歡迎告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以在入住前寄放行李
    III 補充說明 w 10%
    • 請問您需要什麼時候寄放行李?
    Judge 推理
    這個回答完全符合用戶的問題,清楚地說明了可以在入住前寄放行李的服務,並且詢問了用戶的具體需求,涵蓋了所有關鍵點。
  • 案例 D2DB8B40

    碧湖豪華四人房 (A區) 有電視嗎

    已完成
    第 1 次嘗試 · 已完成 61870ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER碧湖豪華四人房 (A區) 有電視嗎
    BOT馬上為您找找看相關內容 📋 您好,我是 GH 智能客服,很高興為您服務! 碧湖豪華四人房 (A區) 房內有提供電視,還有免費Wifi、兩大床、景觀陽台等設施。如果您還有其他關於房型或設施的問題,歡迎隨時詢問!

    產品檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • prod_4435 · 碧湖豪華四人房 (A區)
      標題
      碧湖豪華四人房 (A區)
      完整描述
      住房人數:4人 房間坪數:12坪 房內設備: – 2大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "碧湖", "豪華"]
    意料之外 (4)
    • ! prod_4436 · 碧湖標準四人房 (B區)
      標題
      碧湖標準四人房 (B區)
      完整描述
      住房人數:4人 房間坪數:10坪 房內設備: – 1大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "碧湖"]
    • ! prod_4441 · 望山四人房 (H區)
      標題
      望山四人房 (H區)
      完整描述
      住房人數:2人 房間坪數:13坪 房內設備: – 1大床 – Wifi(免費) – 藍芽音響 – 手沖咖啡組 ※本房型未配置電視 衛浴設備: – 淋浴間/浴缸 – 歐萊德沐浴用品 – 吹風機 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "山景"]
    • ! prod_4437 · 庭園經濟4人房 (D區)
      標題
      庭園經濟4人房 (D區)
      完整描述
      住房人數:4人 房間坪數:10坪 房內設備: – 2大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "山景"]
    • ! prod_4439 · 暮光標準三人房 (G3區)
      標題
      暮光標準三人房 (G3區)
      完整描述
      住房人數:2人 房間坪數:6坪 房內設備: – 1大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["三人房", "山景"]
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到碧湖豪華四人房 (A區) 房內有提供電視,這一點在來源中有明確支持,因此該回覆的所有事實陳述都是有根據的。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 GH 智能客服,很高興為您服務! 碧湖豪華四人房 (A區) 房內有提供電視,還有免費Wifi、兩大床、景觀陽台等設施。如果您還有其他關於房型或設施的問題,歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 碧湖豪華四人房 (A區) 配有電視
    Judge 推理
    回覆內容完整且正確地回答了用戶的問題,並且提供了額外的設施資訊,符合預期的回覆風格。
  • 案例 EC138BF6

    如果我要變更入住日期可以嗎?

    已完成
    第 1 次嘗試 · 已完成 56555ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如果我要變更入住日期可以嗎?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 您可以申請變更入住日期,但需要注意以下幾點: - 需先確認您想要的新日期是否有空房 - 如有價差會補收或退還 - 盡量安排相同房型 - 建議提前1-2天申請變更 請問您想改到哪一天入住呢?我可以幫您查詢空房狀況並協助後續處理。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41920 · 如果要變更或取消訂房怎麼辦?
      問題
      如果要變更或取消訂房怎麼辦?
      回答
      如需變更或取消訂房,請儘早聯絡櫃台: 📞服務時間:09:00-21:00 ⏰變更時機:建議至少提前1-2天告知 💰取消政策:依據不同專案可能有不同規定 📝變更內容:可協助調整入住日期、人數、房型等。 詳細取消政策請洽櫃台人員為您說明。
    意料之外 (4)
    • ! know_41923 · 可以改訂其他日期嗎?
      問題
      可以改訂其他日期嗎?
      回答
      當然可以協助您變更日期! 📅新日期空房:需要先確認您想要的新日期是否有空房 💰價差處理:如有價差會補收或退還 🏠房型保持:儘量安排相同房型 ⏰變更時限:建議提前1-2天申請。請問您想改到哪個日期?我為您查詢空房狀況。
    • ! know_41906 · 訂房後可以改日期嗎?
      問題
      訂房後可以改日期嗎?
      回答
      訂房後如需變更日期,請儘早聯絡櫃台: 📞服務時間:09:00-21:00。 變更是否可行需要看新日期的空房狀況和原訂房的條件。 建議至少提前1-2天告知,我們會盡量協助您調整。 如果有價差可能需要補收或退還差額。 請問您需要變更哪個訂單呢?
    • ! know_41925 · 可以變更入住人數嗎?
      問題
      可以變更入住人數嗎?
      回答
      可以變更入住人數,但需要考慮: 👥房型容納:新人數是否超過原房型限制 🏠換房安排:人數增加可能需要換房型 💰價差計算:人數變更可能影響價格 📅空房狀況:需要確認是否有適合的房型。 請問您要改成幾位客人?我為您查詢安排。
    • ! know_41927 · 變更後的價格怎麼計算?
      問題
      變更後的價格怎麼計算?
      回答
      變更後的價格計算方式: 📅日期變更:按新日期的平假日價格重新計算 🏠房型變更:按新房型價格計算 👥人數變更:按新人數重新計價 💰價差處理:多退少補 🏷️專案影響:變更可能影響專案適用。 我可以為您試算變更後的價格差異。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆完全符合來源資料中的內容,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    90.0%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 人數
    • 房型
    II 重要
    III 補充
    10.0% · w 10%
    • 請儘早聯絡櫃台
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 您可以申請變更入住日期,但需要注意以下幾點: - 需先確認您想要的新日期是否有空房 - 如有價差會補收或退還 - 盡量安排相同房型 - 建議提前1-2天申請變更 請問您想改到哪一天入住呢?我可以幫您查詢空房狀況並協助後續處理。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 變更內容可協助調整入住日期、人數、房型等
    III 補充說明 w 10%
    • 請儘早聯絡櫃台
    Judge 推理
    回覆中提到可以變更入住日期,並提供了一些注意事項,符合問題的相關性。然而,缺少了對於人數和房型的調整說明,且未提及儘早聯絡櫃台的建議,因此完整性得分較低。
  • 案例 5B80BC91

    迎山別墅 (I棟) 可以住幾個人?

    已完成
    第 1 次嘗試 · 已完成 46731ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER迎山別墅 (I棟) 可以住幾個人?
    BOT稍等一下我來幫您查詢 💡 迎山別墅(I棟)最多可入住12位客人,房型包含:雙人房1間、三人房2間、四人房1間,非常適合大家庭或團體入住。如果您有其他住宿需求,也歡迎告訴我!

    產品檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • prod_4442 · 迎山別墅 (I棟)
      標題
      迎山別墅 (I棟)
      完整描述
      住房人數:12人 一樓:客廳、廚房、飯廳;三人房1間(含衛浴)。 二樓:雙人房1間、三人房1間,共用衛浴;四人房1間(含衛浴)。 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:300元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["包棟"]
    意料之外 (4)
    • ! prod_4443 · 湖光別墅 (J棟)
      標題
      湖光別墅 (J棟)
      完整描述
      住房人數:9人 一樓:客廳;三人房1間(含衛浴)。 二樓:雙人房1間(含衛浴);四人房1間(含衛浴)。 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:300元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["包棟"]
    • ! prod_4440 · 望山浴缸雙人房 (H區)
      標題
      望山浴缸雙人房 (H區)
      完整描述
      住房人數:3人 房間坪數:10坪 房內設備: – 1大床、1小床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["雙人房", "山景", "雙人房"]
    • ! prod_4437 · 庭園經濟4人房 (D區)
      標題
      庭園經濟4人房 (D區)
      完整描述
      住房人數:4人 房間坪數:10坪 房內設備: – 2大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "山景"]
    • ! prod_4441 · 望山四人房 (H區)
      標題
      望山四人房 (H區)
      完整描述
      住房人數:2人 房間坪數:13坪 房內設備: – 1大床 – Wifi(免費) – 藍芽音響 – 手沖咖啡組 ※本房型未配置電視 衛浴設備: – 淋浴間/浴缸 – 歐萊德沐浴用品 – 吹風機 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "山景"]
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,並且所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 迎山別墅(I棟)最多可入住12位客人,房型包含:雙人房1間、三人房2間、四人房1間,非常適合大家庭或團體入住。如果您有其他住宿需求,也歡迎告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 迎山別墅 (I棟) 可容納 12 人
    Judge 推理
    這個回答完全符合用戶的問題,提供了正確的容納人數,並且補充了房型的詳細資訊,讓回答更完整。
  • 案例 DB0F2B02

    春節期間的房價會貴嗎?

    已完成
    第 1 次嘗試 · 已完成 44683ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER春節期間的房價會貴嗎?
    BOT稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 春節期間屬於旺季,房價會比平日高,通常也會比較早訂滿。根據目前的資訊,旺季(像春節、連假等)房價可能比淡季高出50-100%。建議您盡早確認入住日期與人數,我可以幫您查詢當時的實際房價與空房狀況。 如果您有確切的入住日期,也歡迎提供,我可以為您查詢更詳細的價格資訊!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41887 · 想要春節期間訂房,有空房嗎?
      問題
      想要春節期間訂房,有空房嗎?
      回答
      春節期間是我們的旺季!請問您確切的入住日期是?幾位客人?住幾晚?想要什麼房型?春節屬於旺日價格會較高,而且通常會提早訂滿。我需要確認您的具體需求後查詢空房狀況,如果有空房我建議儘快確定,避免向隅。同時我也可以為您介紹春節期間的特別專案。
    意料之外 (4)
    • ! know_41902 · 什麼是平日?什麼是假日?
      問題
      什麼是平日?什麼是假日?
      回答
      平假日定義: 🗓️平日:週日~週五 🗓️假日:週六 🗓️旺日:連續假期與特殊節日。 平日價格較優惠,假日及旺日會有不同的價格調整。 建議您先確認入住日期,我們可為您報價最準確的房價。
    • ! know_41929 · 連續假期的取消規定是什麼?
      問題
      連續假期的取消規定是什麼?
      回答
      連續假期(春節、清明、端午、中秋、國慶等)屬於旺日,取消規定較嚴格: 📅提前通知:需要更早通知取消 💰手續費用:可能有較高的取消費用 🏷️特殊專案:假期專案可能有特別規定 📞個案處理:請致電詳細說明狀況。 請問您要取消哪個假期的訂房?
    • ! know_41988 · 淡旺季價格差多少?
      問題
      淡旺季價格差多少?
      回答
      📅季節價格差異: 🌸旺季(連假、花季):價格最高 ☀️平季(一般假日):中等價格 🍂淡季(平日、冬季):價格最優惠 💰差異幅度:旺季可能比淡季高50-100% 📋建議:淡季入住最經濟實惠。請告訴我您的入住日期,我為您確認當時的價格標準。
    • ! know_41881 · 我想訂3月15日的望山浴缸雙人房
      問題
      我想訂3月15日的望山浴缸雙人房
      回答
      好的,我來為您查詢3月15日望山浴缸雙人房的空房狀況。 🏔️望山浴缸雙人房位於H區,房內有浴缸、冷暖空調、大片落地窗可賞山景,無電視設計讓您更專注享受自然。 3月15日是週六屬假日,房價$5,200(含早餐)。請問您要住幾晚?我需要確認連續日期的空房狀況。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到春節期間的房價會較高,這與來源中的資訊一致,且具體數據(50-100%)也有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 春節期間屬於旺季,房價會比平日高,通常也會比較早訂滿。根據目前的資訊,旺季(像春節、連假等)房價可能比淡季高出50-100%。建議您盡早確認入住日期與人數,我可以幫您查詢當時的實際房價與空房狀況。 如果您有確切的入住日期,也歡迎提供,我可以為您查詢更詳細的價格資訊!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 春節屬於旺日價格會較高
    Judge 推理
    這個回答完全針對用戶的問題,並且提供了春節期間房價較高的詳細解釋,符合預期的回答風格。
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 80.0% · 召回 90.0% · 精確 75.0%
10 / 10 適用
用對工具 召回
tool_usage
60.0%
[30.0% – 90.0%] · n=10
F1 60.0% · 召回 60.0% · 精確 60.0%
10 / 10 適用
答得到位 平均
answer_quality
58.7%
[45.7% – 70.7%] · n=10
10 / 10 適用
  • 案例 FA0F3EA4

    請問有關活動報名的優惠或折扣有哪些?

    已完成
    第 1 次嘗試 · 已完成 26796ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問有關活動報名的優惠或折扣有哪些?
    BOT馬上為您找找看相關內容 📋 您好,我是 GH 智能客服,很高興為您服務! 關於活動報名的優惠或折扣,目前主要有以下幾種方案: 1. 團體訂房優惠 - 針對團體訂房有特別方案,包含房價或餐食的優惠幅度。 - 需要提供團體人數和需求,才能安排最優惠的方案。 - 也有團體用餐的相關優惠。 2. 長住(連住多晚)優惠 - 有慢旅行長住方案,連住兩天一夜至七天六夜都可享有比單日訂房更優惠的價格。 - 每天早晚餐包含在內,並可依入住天數和人數客製化報價。 如果您方便提供預計參加活動的人數、入住天數或其他需求,我可以幫您查詢最適合您的優惠內容!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 527 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    II 重要
    III 補充
    • 建議您跟真人客服確認一下喔
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 GH 智能客服,很高興為您服務! 關於活動報名的優惠或折扣,目前主要有以下幾種方案: 1. 團體訂房優惠 - 針對團體訂房有特別方案,包含房價或餐食的優惠幅度。 - 需要提供團體人數和需求,才能安排最優惠的方案。 - 也有團體用餐的相關優惠。 2. 長住(連住多晚)優惠 - 有慢旅行長住方案,連住兩天一夜至七天六夜都可享有比單日訂房更優惠的價格。 - 每天早晚餐包含在內,並可依入住天數和人數客製化報價。 如果您方便提供預計參加活動的人數、入住天數或其他需求,我可以幫您查詢最適合您的優惠內容!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們的活動相關詢問包括報名、優惠、折扣等資訊
    III 補充說明 w 10%
    • 建議您跟真人客服確認一下喔
    Judge 推理
    這個回覆的內容偏離了用戶的問題,並且提供了不正確的優惠資訊,未能遵循語言一致性規則,且缺少建議用戶確認的提示。
    錯誤陳述 (1)
    • 提供了不正確的優惠或折扣資訊
  • 案例 65D7AE98

    請問清洗這個髮片的方式是什麼?有沒有特別的注意事項?

    已完成
    第 1 次嘗試 · 已完成 43174ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問清洗這個髮片的方式是什麼?有沒有特別的注意事項?
    BOT讓我幫您查詢一下相關資訊 🔍 很抱歉,目前沒有查到關於「髮片清洗方式與注意事項」的相關資訊。根據我的了解,髮片通常建議使用溫和洗髮精輕柔手洗,避免用力搓揉及高溫吹整,並自然晾乾。但為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 527 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    80.0%
    相關性
    80.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 建議輕柔地清洗並避免高溫水
    • 清洗時使用無刺激性的洗髮產品
    • 在清洗後自然風乾
    • 使用時要注意避免與尖銳物品接觸
    II 重要
    0.0% · w 30%
    • 可以延長使用壽命
    III 補充
    100.0% · w 10%
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 很抱歉,目前沒有查到關於「髮片清洗方式與注意事項」的相關資訊。根據我的了解,髮片通常建議使用溫和洗髮精輕柔手洗,避免用力搓揉及高溫吹整,並自然晾乾。但為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 建議輕柔地清洗並避免高溫水
    • 清洗時使用無刺激性的洗髮產品
    • 在清洗後自然風乾
    • 使用時要注意避免與尖銳物品接觸
    II 重要限制 w 30%
    • 可以延長使用壽命
    III 補充說明 w 10%
    • 建議您跟真人客服確認一下喔
    Judge 推理
    這個回答在相關性上表現良好,但缺少了多個關鍵的清洗注意事項,導致完整性分數偏低。雖然提供了一些正確的建議,但未能涵蓋所有必要的要點。
  • 案例 58AFD63A

    請問我可以查詢我的訂單詳細資訊嗎?

    已完成
    第 1 次嘗試 · 已完成 53456ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我可以查詢我的訂單詳細資訊嗎?
    BOT馬上為您找找看相關內容 📋 您好,我是 GH 智能客服,很高興為您服務! 如果您想查詢訂單詳細資訊,通常在訂房確認後,您會收到一封確認信,裡面包含: - 訂房詳細資訊 - 價格明細(房型、價格、付款方式) - 入住資訊(地址、交通方式、聯絡電話) - 重要提醒(入住時間、注意事項等) 請您保留這封確認信以備入住時使用。如果您需要查詢特定訂單的詳細內容,建議您提供訂單編號或聯絡我們的真人客服協助查詢喔!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 528 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    73.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 請提供您的訂單編號和聯絡電話
    • 我將幫您查詢訂單的詳細資訊
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 GH 智能客服,很高興為您服務! 如果您想查詢訂單詳細資訊,通常在訂房確認後,您會收到一封確認信,裡面包含: - 訂房詳細資訊 - 價格明細(房型、價格、付款方式) - 入住資訊(地址、交通方式、聯絡電話) - 重要提醒(入住時間、注意事項等) 請您保留這封確認信以備入住時使用。如果您需要查詢特定訂單的詳細內容,建議您提供訂單編號或聯絡我們的真人客服協助查詢喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您的訂單編號和聯絡電話
    • 我將幫您查詢訂單的詳細資訊
    Judge 推理
    回覆中提到的內容雖然與查詢訂單有關,但未直接要求用戶提供訂單編號和聯絡電話,導致核心要點未完全覆蓋。
  • 案例 66FB2307

    現在有什麼優惠活動嗎?

    已完成
    第 1 次嘗試 · 已完成 47526ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER現在有什麼優惠活動嗎?
    BOT稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務!目前有以下幾種優惠活動: 1. 團體訂房優惠:針對團體訂房有特別方案,包含房價或餐食的折扣。請提供您的團體人數、預計入住日期及天數,我可以幫您查詢最適合的優惠內容。 2. 連住多晚優惠:有慢旅行長住方案,連住兩天一夜至七天六夜都能享有比單日更優惠的價格,且每天早晚餐都包含在內。請告訴我您想住幾晚及人數,我可以為您計算專屬報價。 如果您有特定需求或想了解更多細節,歡迎隨時告訴我!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 527 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    60.0%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    II 重要
    III 補充
    • 建議您查詢我們的官網或社群媒體
    • 建議你跟真人客服確認一下喔
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務!目前有以下幾種優惠活動: 1. 團體訂房優惠:針對團體訂房有特別方案,包含房價或餐食的折扣。請提供您的團體人數、預計入住日期及天數,我可以幫您查詢最適合的優惠內容。 2. 連住多晚優惠:有慢旅行長住方案,連住兩天一夜至七天六夜都能享有比單日更優惠的價格,且每天早晚餐都包含在內。請告訴我您想住幾晚及人數,我可以為您計算專屬報價。 如果您有特定需求或想了解更多細節,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 目前我們有各種優惠活動,包括參加抽獎與優惠折扣等
    III 補充說明 w 10%
    • 建議您查詢我們的官網或社群媒體
    • 建議你跟真人客服確認一下喔
    Judge 推理
    這個回覆雖然提到了優惠活動,但未能完全符合用戶的詢問,且缺少了建議查詢官網或真人客服的部分,導致完整性不足。
  • 案例 81468F8B

    活動有沒有優惠或折扣?

    已完成
    第 1 次嘗試 · 已完成 33195ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER活動有沒有優惠或折扣?
    BOT稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 目前有以下幾種優惠方案: 1. 團體訂房優惠:如果您是團體訂房,依人數和需求會有房價或餐食的特別折扣。請告訴我您的團體人數和需求,我可以為您安排最優惠的方案。 2. 連住多晚優惠:有慢旅行長住方案,連住兩天一夜到七天六夜都會比單日訂房更優惠,且每天早晚餐包含在內。請提供預計入住天數和人數,我可以幫您計算專屬價格。 如果您有特定房型需求,也可以告訴我,我再為您查詢是否有額外折扣!請問您的入住人數、天數或其他需求是?

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 527 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    II 重要
    0.0% · w 30%
    • 需要更具體的活動名稱或類型來提供詳細資訊
    III 補充
    0.0% · w 10%
    • 請問您想詢問哪一項活動的優惠呢
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 目前有以下幾種優惠方案: 1. 團體訂房優惠:如果您是團體訂房,依人數和需求會有房價或餐食的特別折扣。請告訴我您的團體人數和需求,我可以為您安排最優惠的方案。 2. 連住多晚優惠:有慢旅行長住方案,連住兩天一夜到七天六夜都會比單日訂房更優惠,且每天早晚餐包含在內。請提供預計入住天數和人數,我可以幫您計算專屬價格。 如果您有特定房型需求,也可以告訴我,我再為您查詢是否有額外折扣!請問您的入住人數、天數或其他需求是?
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 活動的優惠或折扣資訊可以查詢
    II 重要限制 w 30%
    • 需要更具體的活動名稱或類型來提供詳細資訊
    III 補充說明 w 10%
    • 請問您想詢問哪一項活動的優惠呢
    Judge 推理
    回覆未能針對用戶的問題提供正確的資訊,且未詢問具體的活動名稱或類型,導致回答不完整。
    錯誤陳述 (1)
    • 提供了不正確的優惠方案,未根據用戶的具體需求進行查詢
  • 案例 E4DD09AE

    我的訂單狀態怎麼查?

    已完成
    第 1 次嘗試 · 已完成 26645ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我的訂單狀態怎麼查?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 查詢訂單狀態的方式,建議您可以透過以下幾種管道: - 直接致電櫃台(服務時間09:00-21:00) - 透過我們的官方網站線上客服系統詢問 請問您是透過哪一個管道訂房的呢?如果需要更詳細的查詢協助,也歡迎提供您的訂單資訊,我可以協助您確認。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 528 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    46.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 請提供你的訂購姓名或聯絡電話,以便我幫你查詢訂單狀態
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 查詢訂單狀態的方式,建議您可以透過以下幾種管道: - 直接致電櫃台(服務時間09:00-21:00) - 透過我們的官方網站線上客服系統詢問 請問您是透過哪一個管道訂房的呢?如果需要更詳細的查詢協助,也歡迎提供您的訂單資訊,我可以協助您確認。
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請提供你的訂購姓名或聯絡電話,以便我幫你查詢訂單狀態
    Judge 推理
    回覆中未提供用戶查詢訂單狀態所需的姓名或聯絡電話,導致完整性不足。雖然回覆有提供查詢方式,但未符合具體要求。
  • 案例 D36123F2

    如果沒有找到我之前的訂單,會提供什麼協助?

    已完成
    第 1 次嘗試 · 已完成 27951ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如果沒有找到我之前的訂單,會提供什麼協助?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 如果您找不到之前的訂單,建議您可以立即聯絡我們的櫃台(服務時間 09:00-21:00),提供您的姓名、訂房日期或其他相關資訊,我們會協助您查詢與確認。若有資料錯誤或需要修正,也會協助您儘快處理,請不用擔心。 如需進一步協助,歡迎隨時告訴我!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 528 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    76.7%
    相關性
    90.0%
    完整性
    60.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 如果系統未找到相關訂單,我會確認並提供客戶服務的協助
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 如果您找不到之前的訂單,建議您可以立即聯絡我們的櫃台(服務時間 09:00-21:00),提供您的姓名、訂房日期或其他相關資訊,我們會協助您查詢與確認。若有資料錯誤或需要修正,也會協助您儘快處理,請不用擔心。 如需進一步協助,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 如果系統未找到相關訂單,我會確認並提供客戶服務的協助
    Judge 推理
    回覆中提到聯絡櫃台協助查詢,但未明確確認系統未找到訂單的情況,缺少了核心必答的內容。
  • 案例 7D65E737

    我想查詢我的訂單,怎麼做?

    已完成
    第 1 次嘗試 · 已完成 29558ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想查詢我的訂單,怎麼做?
    BOT稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 如果您想查詢自己的訂單,通常在訂房確認後,會收到一封確認信,裡面包含您的訂單詳細資訊、價格明細、入住資訊等。請您先檢查您的電子郵件信箱(包含垃圾郵件夾),找尋我們寄出的訂房確認信。 若您需要進一步查詢或找不到相關資料,建議您提供訂房時使用的姓名與電話,或直接聯絡我們的櫃台,我們會協助您查詢訂單內容。 請問您需要我協助聯絡櫃台查詢嗎?還是有其他相關問題呢?

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 528 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    76.7%
    相關性
    90.0%
    完整性
    60.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 請提供您的訂購姓名或聯絡電話
    II 重要
    50.0% · w 30%
    • 若未找到相關訂單,我會確認並提供客戶服務的協助
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 如果您想查詢自己的訂單,通常在訂房確認後,會收到一封確認信,裡面包含您的訂單詳細資訊、價格明細、入住資訊等。請您先檢查您的電子郵件信箱(包含垃圾郵件夾),找尋我們寄出的訂房確認信。 若您需要進一步查詢或找不到相關資料,建議您提供訂房時使用的姓名與電話,或直接聯絡我們的櫃台,我們會協助您查詢訂單內容。 請問您需要我協助聯絡櫃台查詢嗎?還是有其他相關問題呢?
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您的訂購姓名或聯絡電話
    II 重要限制 w 30%
    • 若未找到相關訂單,我會確認並提供客戶服務的協助
    Judge 推理
    回覆中提到需要提供姓名與電話,但未明確要求用戶提供這些資訊,導致核心要點缺失。此外,未提及若未找到訂單的後續處理方式,影響了完整性。
  • 案例 211326BB

    請問有關最近的活動和優惠有哪些資訊?

    已完成
    第 1 次嘗試 · 已完成 28963ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問有關最近的活動和優惠有哪些資訊?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 目前我們有以下優惠資訊: - 連住多晚有優惠:我們提供慢旅行長住方案,連住兩天一夜到七天六夜都有比單日訂房更優惠的價格,且每天早晚餐都包含在內。優惠會依您的入住天數和人數客製化報價,歡迎告訴我您想住幾晚、幾位客人,我可以幫您計算最優惠的價格。 如果您需要了解特定房型或其他活動內容,也可以隨時告訴我喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 527 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 您可以查看我們的官方網站以獲取最近的活動和優惠
    II 重要
    III 補充
    • 也可以隨時詢問真人客服以獲取更詳細的資訊
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 目前我們有以下優惠資訊: - 連住多晚有優惠:我們提供慢旅行長住方案,連住兩天一夜到七天六夜都有比單日訂房更優惠的價格,且每天早晚餐都包含在內。優惠會依您的入住天數和人數客製化報價,歡迎告訴我您想住幾晚、幾位客人,我可以幫您計算最優惠的價格。 如果您需要了解特定房型或其他活動內容,也可以隨時告訴我喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以查看我們的官方網站以獲取最近的活動和優惠
    III 補充說明 w 10%
    • 也可以隨時詢問真人客服以獲取更詳細的資訊
    Judge 推理
    這個回覆雖然提供了一些優惠資訊,但未能遵循規則,虛構了內容,且未提及用戶可以查看官方網站的資訊,導致完整性和正確性得分低。
    錯誤陳述 (1)
    • 根據規則,回覆必須完全基於工具的結果,不能虛構任何內容。
  • 案例 C4A3E5D6

    我的訂單查詢有沒有找到?

    已完成
    第 1 次嘗試 · 已完成 25479ms
    腳本進度 · 訂單查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ● 已呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → shopline_search_orders
    USER我的訂單查詢有沒有找到?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務。 目前沒有找到與您的查詢相關的訂單資訊。請問您可以提供更詳細的資料嗎?例如訂單編號、下單時使用的手機號碼或電子郵件,我會再幫您查詢一次。謝謝!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 528 · 訂單查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • shopline_search_orders
    TP 1
    FP 0
    FN 0

    回答品質

    76.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 提供客服的協助
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務。 目前沒有找到與您的查詢相關的訂單資訊。請問您可以提供更詳細的資料嗎?例如訂單編號、下單時使用的手機號碼或電子郵件,我會再幫您查詢一次。謝謝!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 如果找不到相關訂單,我會確認並提供客服的協助
    Judge 推理
    回覆中提到沒有找到相關訂單資訊,並詢問用戶提供更多資料,這在相關性上是高的。然而,回覆未能明確提供客服協助的承諾,因此在完整性上得分較低。
項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 33.3% · 相關率 40.0% · 精確 20.0%
8 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=8
10 / 10 適用
答得到位 平均
answer_quality
80.7%
[65.3% – 94.0%] · n=10
10 / 10 適用
  • 案例 C34CCE87

    請問會議室有提供投影機和音響嗎?

    已完成
    第 1 次嘗試 · 已完成 27986ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問會議室有提供投影機和音響嗎?
    BOT馬上為您找找看相關內容 📋 您好,我是 GH 智能客服,很高興為您服務! 關於會議室是否有提供投影機和音響,目前需要進一步確認會議空間的詳細設備。請問您需要多大的會議空間,以及預計幾人使用呢?我可以幫您查詢更完整的設施資訊,並協助您預約或安排。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41945 · 有會議室可以使用嗎?
      問題
      有會議室可以使用嗎?
      回答
      關於會議室設施,我需要為您確認: 🏢會議空間:是否有會議室或多功能空間 👥容納人數:可容納多少人開會 📊設備提供:投影機、音響等設備 💰租借費用:使用會議室的費用。 請問您需要多大的會議空間?幾人使用?我為您查詢相關資訊。
    意料之外 (4)
    • ! know_41912 · 訂房需要提供什麼資訊?
      問題
      訂房需要提供什麼資訊?
      回答
      請提供以下資訊: 📅入住日期(入住/退房日) 👥入住人數(大人/小孩數量) 🏠房型偏好(如有特殊需求) 📱聯絡資訊(電話、姓名) 🍽️餐食需求(如有特殊飲食要求) 🚗交通方式(是否需要停車位)。
    • ! know_41970 · 你們有提供餐點嗎?
      問題
      你們有提供餐點嗎?
      回答
      🍽️我們提供早餐和晚餐服務: 🌅早餐:活力早餐,讓您開始美好的一天 🌃晚餐:提供火鍋饗宴和燒肉饗宴兩種選擇,可邊用餐邊欣賞清境山景和碧湖夕陽景色。 📋菜單參考:火鍋饗宴菜單和燒肉饗宴菜單,歡迎留下房號、餐點、份數,我們將為您保留座位。
    • ! know_41872 · 你們有什麼服務跟設施嗎?
      問題
      你們有什麼服務跟設施嗎?
      回答
      我們提供多項貼心服務: 📱免費WIFI(「ZS」開頭帳號免密碼) 🍽️館內餐廳提供火鍋與燒肉饗宴 🏞️景觀陽台可賞山景 🚗汽機車可停至房間附近 以及溫馨的客房服務。 櫃檯服務時間09:00-21:00,超過21:00入住可事先聯絡辦理線上自助入住。 請問您對哪種房型或服務特別感興趣?我可以為您詳細介紹。
    • ! know_41944 · 園區內可以烤肉嗎?
      問題
      園區內可以烤肉嗎?
      回答
      關於烤肉活動,我需要確認園區的相關規定: 🔥烤肉區域:是否有指定的烤肉區 📋申請程序:是否需要事前申請 🛒設備租借:是否提供烤肉設備 ⚠️安全規定:防火和安全注意事項。 建議您事先詢問,我們可以協助安排或推薦替代方案。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到需要確認會議室的設備,這與來源中的內容相符,因此沒有虛構的聲明。回覆中的所有事實聲明都可以從來源中找到支持。

    回答品質

    36.7%
    相關性
    80.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 會議室提供投影機
    • 會議室提供音響等設備
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 GH 智能客服,很高興為您服務! 關於會議室是否有提供投影機和音響,目前需要進一步確認會議空間的詳細設備。請問您需要多大的會議空間,以及預計幾人使用呢?我可以幫您查詢更完整的設施資訊,並協助您預約或安排。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 會議室提供投影機
    • 會議室提供音響等設備
    Judge 推理
    回覆未直接回答會議室是否提供投影機和音響,且未提供任何具體的設備資訊,導致回答不完整。
  • 案例 B4E3D19A

    請問暮光標準三人房的房間坪數為多少?

    已完成
    第 1 次嘗試 · 已完成 31967ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問暮光標準三人房的房間坪數為多少?
    BOT正在為您搜尋最新資料 ⏳ 暮光標準三人房(G3區)的房間坪數為6坪。若您有其他關於房型或設施的問題,也歡迎隨時詢問!

    產品檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • prod_4439 · 暮光標準三人房 (G3區)
      標題
      暮光標準三人房 (G3區)
      完整描述
      住房人數:2人 房間坪數:6坪 房內設備: – 1大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["三人房", "山景"]
    意料之外 (4)
    • ! prod_4436 · 碧湖標準四人房 (B區)
      標題
      碧湖標準四人房 (B區)
      完整描述
      住房人數:4人 房間坪數:10坪 房內設備: – 1大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "碧湖"]
    • ! prod_4438 · 暮光經濟雙人房 (G2區)
      標題
      暮光經濟雙人房 (G2區)
      完整描述
      住房人數:4人 房間坪數:13坪 房內設備: – 兩大床 – Wifi(免費) – 藍芽音響 – 手沖咖啡組 ※本房型未配置電視 衛浴設備: – 淋浴間(乾溼分離) – 歐萊德沐浴用品 – 吹風機 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["雙人房", "山景", "雙人房"]
    • ! prod_4443 · 湖光別墅 (J棟)
      標題
      湖光別墅 (J棟)
      完整描述
      住房人數:9人 一樓:客廳;三人房1間(含衛浴)。 二樓:雙人房1間(含衛浴);四人房1間(含衛浴)。 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:300元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["包棟"]
    • ! prod_4437 · 庭園經濟4人房 (D區)
      標題
      庭園經濟4人房 (D區)
      完整描述
      住房人數:4人 房間坪數:10坪 房內設備: – 2大床 – Wifi(免費) – 電視 衛浴設備: – 淋浴間(乾溼分離) – 沐浴用品 – 吹風機 窗戶:有 景觀陽台 加休費用:100元/小時,平日最多二小時為限,假日最多一小時
      分類
      ["四人房", "山景"]
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的房間坪數6坪,與來源中的描述一致,因此該資訊是有根據的。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 暮光標準三人房(G3區)的房間坪數為6坪。若您有其他關於房型或設施的問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 暮光標準三人房的房間坪數為6坪
    Judge 推理
    該回覆正確回答了用戶的問題,並提供了所需的房間坪數,且沒有錯誤的陳述。
  • 案例 BFD8376D

    電商訂單搜尋是怎麼運作的?

    已完成
    第 1 次嘗試 · 已完成 34239ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER電商訂單搜尋是怎麼運作的?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您解答! 關於「電商訂單搜尋是怎麼運作的」,目前沒有查到詳細的運作流程說明。如果您有特定的平台或想了解哪一部分(例如:搜尋條件、查詢方式、進度追蹤等),歡迎再補充說明,我會協助您查詢更精確的資訊。為了確保準確,建議你跟真人客服確認一下喔!

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 電商訂單搜尋 executor 透過 JTCG SaaS API 和 vendor parser 格式化搜尋結果
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您解答! 關於「電商訂單搜尋是怎麼運作的」,目前沒有查到詳細的運作流程說明。如果您有特定的平台或想了解哪一部分(例如:搜尋條件、查詢方式、進度追蹤等),歡迎再補充說明,我會協助您查詢更精確的資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 電商訂單搜尋 executor 透過 JTCG SaaS API 和 vendor parser 格式化搜尋結果
    Judge 推理
    這個回覆未能提供任何關於電商訂單搜尋的具體運作流程,且錯誤地聲稱沒有相關資訊。回覆缺乏關鍵的核心內容,導致完整性和正確性都很低。
    錯誤陳述 (1)
    • 目前沒有查到詳細的運作流程說明
  • 案例 D2FB5A12

    什麼情況下可以轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 35358ms
    腳本進度 · 轉接真人客服 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 轉接真人客服
    腳本規則
    - 線上客服/轉線上客服
    - 在線客服/轉在線客服
    - 真人客服/轉真人客服
    - 轉真人/找真人
    - Direct transfer request
    - Emotional escalation
    - Resolution failure
    
    轉接真人客服的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Acknowledge situation
    - Return transfer response in specified format
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER什麼情況下可以轉接真人客服?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 通常在以下情況下,建議您可以直接聯絡真人客服: - 遇到緊急狀況(如天災、疾病等)需要臨時取消或有特殊處理需求 - 颱風等天災導致交通中斷或政府發布停班停課令時 - 有訂房、退費等需要即時協助的問題 如果您目前遇到上述情形,建議您立即致電櫃台或聯絡我們的真人客服說明您的狀況,我們會盡力協助您處理。請問您目前遇到什麼問題呢?我可以幫您初步了解或協助轉接真人客服。

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    回覆中的所有事實陳述均有來源支持,且遵循了回應規則,確認了情況並以指定格式回應轉接真人客服的資訊。

    回答品質

    73.3%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 轉接真人客服的情況包括線上客服、在線客服、真人客服,或是轉真人、找真人的請求
    • 如果情緒升高或解決失敗,也可以轉接真人客服
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 通常在以下情況下,建議您可以直接聯絡真人客服: - 遇到緊急狀況(如天災、疾病等)需要臨時取消或有特殊處理需求 - 颱風等天災導致交通中斷或政府發布停班停課令時 - 有訂房、退費等需要即時協助的問題 如果您目前遇到上述情形,建議您立即致電櫃台或聯絡我們的真人客服說明您的狀況,我們會盡力協助您處理。請問您目前遇到什麼問題呢?我可以幫您初步了解或協助轉接真人客服。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 轉接真人客服的情況包括線上客服、在線客服、真人客服,或是轉真人、找真人的請求
    • 如果情緒升高或解決失敗,也可以轉接真人客服
    Judge 推理
    AI的回覆雖然提到了一些轉接真人客服的情況,但未完整涵蓋所有關鍵點,特別是缺少了線上客服和情緒升高的情況。此外,回覆的格式也未完全符合要求。
  • 案例 846FF681

    兒童餐適用的年齡範圍是幾歲?

    已完成
    第 1 次嘗試 · 已完成 40178ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER兒童餐適用的年齡範圍是幾歲?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 關於兒童餐適用的年齡範圍,需根據實際情況確認,因為不同方案或活動可能有不同的年齡標準。請您提供小朋友的年齡,我可以幫您查詢並安排最適合的兒童餐選擇。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41977 · 有兒童餐嗎?
      問題
      有兒童餐嗎?
      回答
      👶兒童餐服務: 🍽️兒童餐點:適合小朋友的餐點選擇 💰兒童價格:可能有兒童優惠價格 🥛兒童飲品:果汁、牛奶等適合兒童的飲料 🪑兒童座椅:是否提供兒童座椅 📋年齡標準:兒童餐適用的年齡範圍。 請告訴我小朋友的年齡,我為您安排適合的兒童餐。
    意料之外 (4)
    • ! know_41983 · 小朋友怎麼算錢?
      問題
      小朋友怎麼算錢?
      回答
      👶兒童收費標準:我需要為您確認兒童的收費方式: 🎂年齡標準:多大年齡以下算兒童 🛏️不佔床:不佔床兒童的收費 🍽️餐食費用:兒童餐食是否額外收費 💰優惠政策:兒童可能享有的優惠。 請告訴我小朋友的年齡和人數,我為您確認收費標準。
    • ! know_41907 · 小朋友需要額外收費嗎?
      問題
      小朋友需要額外收費嗎?
      回答
      關於小朋友的收費標準,我需要確認年齡限制和計費方式。 請問您的小朋友幾歲?總共幾位大人幾位小朋友? 我可以為您查詢兒童收費政策,包括是否需要加床、餐食費用等,為您計算最準確的價格。
    • ! know_41972 · 早餐幾點開始?內容有什麼?
      問題
      早餐幾點開始?內容有什麼?
      回答
      🌅早餐時間:我需要為您確認確切的早餐供應時間 🍳早餐內容:活力早餐包含中西式選擇 📍用餐地點:館內餐廳,可邊用餐邊賞景 👶兒童餐食:如有小朋友請告知年齡 🥗特殊需求:素食或過敏等特殊飲食需求請提前告知。 我可以為您確認詳細的早餐資訊。
    • ! know_41953 · 園區有提供接駁服務嗎?
      問題
      園區有提供接駁服務嗎?
      回答
      關於接駁服務,我需要為您確認: 🚐接駁範圍:是否有從清境農場或其他地點的接駁 ⏰接駁時間:班次和時間安排 💰接駁費用:是否收費 📞預約方式:如何預約接駁服務。請問您從哪裡需要接駁? 我為您查詢相關服務。
    TP 1
    FP 4
    FN 0

    回答品質

    70.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 關於兒童餐適用的年齡範圍,需根據實際情況確認,因為不同方案或活動可能有不同的年齡標準。請您提供小朋友的年齡,我可以幫您查詢並安排最適合的兒童餐選擇。
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請告訴我小朋友的年齡
    Judge 推理
    這個回覆在相關性上表現良好,但未能直接回答年齡範圍的問題,且未完全符合預期的回覆風格。雖然有詢問小朋友的年齡,但未提供具體的兒童餐年齡範圍資訊,因此完整性得分較低。
  • 案例 B211DB08

    雲香園的香酥炸豆腐好吃嗎?

    已完成
    第 1 次嘗試 · 已完成 54098ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER雲香園的香酥炸豆腐好吃嗎?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是GH 智能客服,很高興為您服務! 雲香園以土雞火鍋和合菜聞名,其中香酥炸豆腐也是主打菜色之一,受到許多客人推薦。餐廳用餐環境溫馨舒適,適合多人聚餐,還可以欣賞山巒美景。如果您喜歡酥脆口感的豆腐料理,雲香園的香酥炸豆腐應該會很合您的口味! 如果需要更多詳細資訊或想預約訂位,也歡迎隨時告訴我喔!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41961 · 有推薦的餐廳嗎?
      問題
      有推薦的餐廳嗎?
      回答
      🍽️雲香園:位於高海拔山區,以土雞火鍋與合菜聞名,主打濃郁香醇的雞湯鍋、手工菜脯雞湯和香酥炸豆腐,是多人聚餐的絕佳選擇。用餐環境溫馨舒適,窗邊還可遠眺山巒層疊。 🗺️Google地圖:https://maps.app.goo.gl/NuH8z1uCj9cZDKo17
    意料之外 (4)
    • ! know_41960 · 葉綠宿附近有什麼推薦的景點?
      問題
      葉綠宿附近有什麼推薦的景點?
      回答
      🏔️自然景點:清境農場、青青草原、合歡山、武嶺、梅峰農場 🏪遊樂景點:清境小瑞士花園、清境遊客中心 🍽️美食推薦:雲香園(土雞火鍋與合菜,可遠眺山巒) 🌸季節景點:依季節有不同花卉可欣賞。 這些景點都在葉綠宿周邊,適合安排一日或多日遊行程。
    • ! know_41968 · 適合帶小朋友的景點有哪些?
      問題
      適合帶小朋友的景點有哪些?
      回答
      👶親子友善景點: 🐑清境農場:可以近距離接觸綿羊,小朋友最愛 🌺小瑞士花園:平坦好走,適合推嬰兒車 🎠清境遊客中心:有展示和影片介紹 🏞️青青草原:空間開闊,適合小朋友跑跳 🍽️餐廳用餐:雲香園等餐廳適合家庭聚餐。建議選擇較平坦、安全的景點。
    • ! know_41973 · 可以素食嗎?
      問題
      可以素食嗎?
      回答
      🥗素食服務:我們可以提供素食選擇: 🌱早餐:素食早餐選項 🍲火鍋:素食火鍋和蔬菜 🥬燒肉替代:素食燒烤或其他素食主餐 📋事前告知:請在訂餐時告知素食需求 🧄口味偏好:全素、蛋奶素等不同需求。 請提前告知,我們會為您安排適合的素食餐點。
    • ! know_41970 · 你們有提供餐點嗎?
      問題
      你們有提供餐點嗎?
      回答
      🍽️我們提供早餐和晚餐服務: 🌅早餐:活力早餐,讓您開始美好的一天 🌃晚餐:提供火鍋饗宴和燒肉饗宴兩種選擇,可邊用餐邊欣賞清境山景和碧湖夕陽景色。 📋菜單參考:火鍋饗宴菜單和燒肉饗宴菜單,歡迎留下房號、餐點、份數,我們將為您保留座位。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的雲香園的香酥炸豆腐受到客人推薦,並且描述了餐廳的環境,這些資訊都可以在來源中找到,因此沒有任何虛構的陳述。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是GH 智能客服,很高興為您服務! 雲香園以土雞火鍋和合菜聞名,其中香酥炸豆腐也是主打菜色之一,受到許多客人推薦。餐廳用餐環境溫馨舒適,適合多人聚餐,還可以欣賞山巒美景。如果您喜歡酥脆口感的豆腐料理,雲香園的香酥炸豆腐應該會很合您的口味! 如果需要更多詳細資訊或想預約訂位,也歡迎隨時告訴我喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 雲香園的香酥炸豆腐是受歡迎的菜品
    • 香酥炸豆腐值得嘗試
    Judge 推理
    這個回答完全針對了使用者的問題,並且提供了雲香園香酥炸豆腐的受歡迎程度和推薦,符合核心必答的要求。內容完整且正確,沒有遺漏或錯誤的資訊。
  • 案例 52151360

    訂房確認後會收到什麼通知?

    已完成
    第 1 次嘗試 · 已完成 32005ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂房確認後會收到什麼通知?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 訂房確認後,您會收到以下通知內容: - 確認信:包含您的訂房詳細資訊 - 價格明細:房型、價格、付款方式等 - 入住資訊:地址、交通方式、聯絡電話 - 重要提醒:入住時間及注意事項 請記得保留這封確認信,入住時會需要使用喔!如果還有其他問題,歡迎隨時詢問。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41913 · 訂房確認後會收到什麼通知?
      問題
      訂房確認後會收到什麼通知?
      回答
      訂房確認後,我們會提供:📧確認信:包含訂房詳細資訊、💰價格明細:房型、價格、付款方式、📍入住資訊:地址、交通方式、聯絡電話、⏰重要提醒:入住時間、注意事項等。請保留確認信以備入住時使用。
    意料之外 (4)
    • ! know_41919 · 訂房確認後發現資料錯誤怎麼辦?
      問題
      訂房確認後發現資料錯誤怎麼辦?
      回答
      發現資料錯誤請立即聯絡我們: 📞櫃台電話:09:00-21:00 ⚡立即處理:姓名、日期、人數、房型等都可以修正 ⏰時效性:越早通知越容易處理 📝核對資訊:我們會再次確認所有修正後的資料。請不要擔心,我們會協助您儘快修正。
    • ! know_41910 · 團體訂房有優惠嗎?
      問題
      團體訂房有優惠嗎?
      回答
      關於團體訂房優惠,我需要確認人數標準和優惠內容。請問您是多少人的團體?預計何時入住?住幾晚?我可以為您查詢團體訂房的優惠方案,可能在房價、餐食或其他服務上會有特別優惠。
    • ! know_41926 · 部分取消可以嗎?比如取消一間房
      問題
      部分取消可以嗎?比如取消一間房
      回答
      部分取消是可能的,需要確認: 🏠訂房內容:您總共訂了幾間房? 📋取消項目:要取消哪間房? 💰退費計算:會按比例計算退費 📞立即處理:請致電櫃台辦理。 請說明您的訂房狀況和要取消的部分,我協助您處理。
    • ! know_41920 · 如果要變更或取消訂房怎麼辦?
      問題
      如果要變更或取消訂房怎麼辦?
      回答
      如需變更或取消訂房,請儘早聯絡櫃台: 📞服務時間:09:00-21:00 ⏰變更時機:建議至少提前1-2天告知 💰取消政策:依據不同專案可能有不同規定 📝變更內容:可協助調整入住日期、人數、房型等。 詳細取消政策請洽櫃台人員為您說明。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆內容完全符合來源資料,所有提到的通知內容都能在來源中找到,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 GH 智能客服,很高興為您服務! 訂房確認後,您會收到以下通知內容: - 確認信:包含您的訂房詳細資訊 - 價格明細:房型、價格、付款方式等 - 入住資訊:地址、交通方式、聯絡電話 - 重要提醒:入住時間及注意事項 請記得保留這封確認信,入住時會需要使用喔!如果還有其他問題,歡迎隨時詢問。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們會提供確認信,包含訂房詳細資訊
    • 提供價格明細,包括房型、價格、付款方式
    • 提供入住資訊,包括地址、交通方式、聯絡電話
    • 提供重要提醒,包括入住時間、注意事項
    II 重要限制 w 30%
    • 請保留確認信以備入住時使用
    Judge 推理
    這個回答完全符合用戶的問題,涵蓋了所有必要的通知內容,並且正確無誤。
  • 案例 AA5F2041

    火鍋饗宴有什麼套餐?

    已完成
    第 1 次嘗試 · 已完成 51568ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER火鍋饗宴有什麼套餐?
    BOT稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 火鍋饗宴提供各式火鍋套餐,套餐內容包含主餐、配菜、飲料等,並且有素食火鍋選擇。如果您有特別的口味需求(如全素、蛋奶素),也可以提前告知,我們會為您安排適合的餐點。 不同火鍋套餐的價格會依所選鍋物而有所不同。若您需要詳細的菜單或價格資訊,請告訴我您想了解哪一種火鍋或用餐人數,我可以幫您查詢更詳細內容!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41971 · 晚餐有什麼選擇?如何訂餐?
      問題
      晚餐有什麼選擇?如何訂餐?
      回答
      🍲火鍋饗宴:提供各式火鍋套餐 🥩燒肉饗宴:提供精緻燒肉套餐 📋訂餐方式: 請留下您的房號、餐點選擇、用餐份數,我們將儘快為您保留座位。用餐時還能伴隨著美麗的清境山景和碧湖的夕陽景色,增添用餐氛圍。
    意料之外 (4)
    • ! know_41974 · 晚餐價格多少?
      問題
      晚餐價格多少?
      回答
      💰晚餐價格:我需要為您確認火鍋饗宴和燒肉饗宴的確切價格: 🍲火鍋套餐:依不同鍋物價格不同 🥩燒肉套餐:依肉品等級價格不同 👶兒童價格:小朋友可能有優惠價格 📋套餐內容:包含主餐、配菜、飲料等。 請問您想了解哪種餐點?我為您查詢詳細價格。
    • ! know_41970 · 你們有提供餐點嗎?
      問題
      你們有提供餐點嗎?
      回答
      🍽️我們提供早餐和晚餐服務: 🌅早餐:活力早餐,讓您開始美好的一天 🌃晚餐:提供火鍋饗宴和燒肉饗宴兩種選擇,可邊用餐邊欣賞清境山景和碧湖夕陽景色。 📋菜單參考:火鍋饗宴菜單和燒肉饗宴菜單,歡迎留下房號、餐點、份數,我們將為您保留座位。
    • ! know_41917 · 訂房後可以加訂餐食嗎?
      問題
      訂房後可以加訂餐食嗎?
      回答
      當然可以!我們提供: 🌅早餐:已包含在房價中 🌃晚餐:火鍋饗宴或燒肉饗宴可加訂 🍽️訂餐方式: 請提供 房號 餐點選擇 用餐份數。 建議提前預訂晚餐,確保有座位並能邊用餐邊欣賞清境山景和碧湖夕陽。
    • ! know_41973 · 可以素食嗎?
      問題
      可以素食嗎?
      回答
      🥗素食服務:我們可以提供素食選擇: 🌱早餐:素食早餐選項 🍲火鍋:素食火鍋和蔬菜 🥬燒肉替代:素食燒烤或其他素食主餐 📋事前告知:請在訂餐時告知素食需求 🧄口味偏好:全素、蛋奶素等不同需求。 請提前告知,我們會為您安排適合的素食餐點。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆內容完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 GH 智能客服,很高興為您服務! 火鍋饗宴提供各式火鍋套餐,套餐內容包含主餐、配菜、飲料等,並且有素食火鍋選擇。如果您有特別的口味需求(如全素、蛋奶素),也可以提前告知,我們會為您安排適合的餐點。 不同火鍋套餐的價格會依所選鍋物而有所不同。若您需要詳細的菜單或價格資訊,請告訴我您想了解哪一種火鍋或用餐人數,我可以幫您查詢更詳細內容!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 火鍋饗宴提供各式火鍋套餐
    Judge 推理
    這個回答完整地提到了火鍋饗宴提供各式火鍋套餐,並且在內容上也提供了額外的資訊,符合用戶的查詢需求。
  • 案例 7DD0629D

    如果晚上九點後到,怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 35008ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如果晚上九點後到,怎麼辦?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 如果您晚上九點後才會抵達,沒問題!只需要提前通知我們您的抵達時間,我們會安排線上自助入住,並提供自助入住指引給您。櫃台服務時間是09:00-21:00,超過這個時間請務必事先聯絡。 請問您預計幾點抵達呢?我可以協助您安排自助入住流程。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41890 · 可以訂今天晚上的房間嗎?
      問題
      可以訂今天晚上的房間嗎?
      回答
      當日入住我來為您確認!請問您是幾位客人?想要什麼房型?由於今天入住,我需要立即確認空房狀況。另外提醒您,我們櫃檯服務到21:00,如果您會在21:00後抵達,需要事先聯絡辦理線上自助入住。請告訴我您的需求,我馬上為您查詢並安排。
    意料之外 (4)
    • ! know_41934 · 晚上很晚才到可以入住嗎?
      問題
      晚上很晚才到可以入住嗎?
      回答
      可以!但需要注意: 🕘櫃台時間:09:00-21:00有人服務 🌙21:00後:需要事先聯絡辦理線上自助入住 📞提前通知:請務必提前告知抵達時間 🗝️自助入住:我們會提供自助入住指引。 請問您預計幾點抵達?我為您安排自助入住流程。
    • ! know_41933 · 可以提早入住嗎?
      問題
      可以提早入住嗎?
      回答
      關於提早入住: 🕒標準入住時間:15:00後 ⏰提早入住:可能需要加休費用 🏠房間準備:需要確認房間是否已清潔完成 📞事前聯絡:建議先致電確認是否可提早入住。 請問您預計幾點抵達?我可以為您確認是否能安排提早入住。
    • ! know_41930 · 入住和退房時間是幾點?
      問題
      入住和退房時間是幾點?
      回答
      ⏰入住時間:下午15:00後 ⏰退房時間:上午11:00前 🕘櫃檯服務:09:00-21:00 🌙夜間入住:超過21:00請事先聯絡辦理線上自助入住 ⏱️延遲退房:加休費用100元/小時,平日最多2小時,假日最多1小時。
    • ! know_41935 · 房間鑰匙怎麼拿?
      問題
      房間鑰匙怎麼拿?
      回答
      🗝️鑰匙領取方式: 🕘櫃台時間(09:00-21:00):直接至櫃台辦理入住領取 🌙夜間入住:線上自助入住後會提供鑰匙領取方式 📱聯絡方式:櫃台電話或緊急聯絡電話 🏠房間位置:入住時會提供房間位置和停車指引。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    回覆中的所有事實陳述均有來源支持,且符合用戶的查詢需求。

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 需要事先聯絡辦理線上自助入住
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 如果您晚上九點後才會抵達,沒問題!只需要提前通知我們您的抵達時間,我們會安排線上自助入住,並提供自助入住指引給您。櫃台服務時間是09:00-21:00,超過這個時間請務必事先聯絡。 請問您預計幾點抵達呢?我可以協助您安排自助入住流程。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 如果您會在21:00後抵達,需要事先聯絡辦理線上自助入住
    Judge 推理
    這個回答的內容與用戶的問題相關,並且提供了自助入住的指引,但未明確提到需要事先聯絡的要求,因此在完整性上有所欠缺。
  • 案例 6FDDE437

    請問晚餐可以加訂火鍋饗宴或燒肉饗宴嗎?

    已完成
    第 1 次嘗試 · 已完成 40919ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問晚餐可以加訂火鍋饗宴或燒肉饗宴嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 晚餐確實可以加訂火鍋饗宴或燒肉饗宴。您只需要提供您的房號、想要的餐點(火鍋或燒肉)以及用餐份數,我們就能幫您預訂。建議提前預訂,這樣可以確保有座位,還能邊用餐邊欣賞美麗的山景和夕陽。 如果有素食需求,也可以提前告知,我們會為您安排素食火鍋或素食燒烤。 請問您需要加訂哪一種晚餐?歡迎提供房號與份數,我們會協助您完成預訂!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_41917 · 訂房後可以加訂餐食嗎?
      問題
      訂房後可以加訂餐食嗎?
      回答
      當然可以!我們提供: 🌅早餐:已包含在房價中 🌃晚餐:火鍋饗宴或燒肉饗宴可加訂 🍽️訂餐方式: 請提供 房號 餐點選擇 用餐份數。 建議提前預訂晚餐,確保有座位並能邊用餐邊欣賞清境山景和碧湖夕陽。
    意料之外 (4)
    • ! know_41971 · 晚餐有什麼選擇?如何訂餐?
      問題
      晚餐有什麼選擇?如何訂餐?
      回答
      🍲火鍋饗宴:提供各式火鍋套餐 🥩燒肉饗宴:提供精緻燒肉套餐 📋訂餐方式: 請留下您的房號、餐點選擇、用餐份數,我們將儘快為您保留座位。用餐時還能伴隨著美麗的清境山景和碧湖的夕陽景色,增添用餐氛圍。
    • ! know_41974 · 晚餐價格多少?
      問題
      晚餐價格多少?
      回答
      💰晚餐價格:我需要為您確認火鍋饗宴和燒肉饗宴的確切價格: 🍲火鍋套餐:依不同鍋物價格不同 🥩燒肉套餐:依肉品等級價格不同 👶兒童價格:小朋友可能有優惠價格 📋套餐內容:包含主餐、配菜、飲料等。 請問您想了解哪種餐點?我為您查詢詳細價格。
    • ! know_41970 · 你們有提供餐點嗎?
      問題
      你們有提供餐點嗎?
      回答
      🍽️我們提供早餐和晚餐服務: 🌅早餐:活力早餐,讓您開始美好的一天 🌃晚餐:提供火鍋饗宴和燒肉饗宴兩種選擇,可邊用餐邊欣賞清境山景和碧湖夕陽景色。 📋菜單參考:火鍋饗宴菜單和燒肉饗宴菜單,歡迎留下房號、餐點、份數,我們將為您保留座位。
    • ! know_41973 · 可以素食嗎?
      問題
      可以素食嗎?
      回答
      🥗素食服務:我們可以提供素食選擇: 🌱早餐:素食早餐選項 🍲火鍋:素食火鍋和蔬菜 🥬燒肉替代:素食燒烤或其他素食主餐 📋事前告知:請在訂餐時告知素食需求 🧄口味偏好:全素、蛋奶素等不同需求。 請提前告知,我們會為您安排適合的素食餐點。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的資訊,所有的事實陳述都有來源支持,因此沒有虛構的內容。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    100.0% · w 10%
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 GH 智能客服,很高興為您服務! 晚餐確實可以加訂火鍋饗宴或燒肉饗宴。您只需要提供您的房號、想要的餐點(火鍋或燒肉)以及用餐份數,我們就能幫您預訂。建議提前預訂,這樣可以確保有座位,還能邊用餐邊欣賞美麗的山景和夕陽。 如果有素食需求,也可以提前告知,我們會為您安排素食火鍋或素食燒烤。 請問您需要加訂哪一種晚餐?歡迎提供房號與份數,我們會協助您完成預訂!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 晚餐有火鍋饗宴或燒肉饗宴可加訂
    II 重要限制 w 30%
    • 建議提前預訂晚餐,確保有座位
    III 補充說明 w 10%
    • 能邊用餐邊欣賞清境山景和碧湖夕陽
    Judge 推理
    這個回答完全符合用戶的問題,並且涵蓋了所有關鍵點,包括加訂的選項、提前預訂的建議,以及用餐時的美景。