執行 #35

AI 智能客服名稱 (bulk R1) → production-baseline

狀態
已完成
案例
15
開始時間
16 May 11:02
耗時
278.6s
¶ Economics · Bot-side N=15 attempts

Cost & Tokens

$0.0692
Total Bot Cost · USD
58.6%
Prompt Cache Hit
cost per case
$0.0046
cost per 1k tokens
$0.0012
input tokens
55,264
output tokens
900
cached tokens — prompt-cache hit
32,384
Total Tokens
56,164
economic efficiency
cost per correct
$0.0020
pass rate
40.0%
6 / 15
judge cost
$0.0119
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • bcff2b97-5e3e-4dfd-972b-7736bf9598c2 0 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:e3b0c442 Tools: sha256:13e5aa51 Scenarios: sha256:6d5a7b39 AI: gpt-4.1-2025-04-14 (T=0.0, max=32768)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
15 / 15
錯誤
0
失敗維度
0
首字延遲 p95
4026 ms
Bot 成本(Neptune)
$0.0692
Bot Tokens(Neptune)
56,164
Judge 成本(Eris)
$0.0119
Judge Tokens(Eris)
93,838
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
用對工具 召回
tool_usage
100.0%
[100.0% – 100.0%] · n=10
F1 100.0% · 召回 100.0% · 精確 100.0%
10 / 10 適用
答得到位 平均
answer_quality
61.7%
[47.3% – 75.0%] · n=10
10 / 10 適用
  • 案例 B721D3B4

    請問現在有什麼活動或優惠可以參加嗎?

    已完成
    第 1 次嘗試 · 已完成 10449ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問現在有什麼活動或優惠可以參加嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到相關的活動或優惠資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    0.0% · w 10%
    • 建議您查看我們的官方網站以獲取最新資訊
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到相關的活動或優惠資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 建議您查看我們的官方網站以獲取最新資訊
    • 建議你跟真人客服確認一下喔
    Judge 推理
    回覆中提到目前沒有活動或優惠資訊,這與事實不符,因為根據正確資訊,近期有多個活動和優惠。此外,回覆中缺少建議查看官方網站的內容,未能完全符合規範要求。
    錯誤陳述 (1)
    • 目前沒有查詢到相關的活動或優惠資訊
  • 案例 930868F9

    這個髮片的價格是多少?

    已完成
    第 1 次嘗試 · 已完成 11006ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 請問最新的無線耳機有哪些推薦? — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER這個髮片的價格是多少?
    BOT稍等一下我來幫您查詢 💡 根據我的了解,目前沒有查詢到相關髮片的價格資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    70.0%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 具體的金額可能依每款產品而不同
    II 重要
    III 補充
    50.0% · w 10%
    AI 回覆
    稍等一下我來幫您查詢 💡 根據我的了解,目前沒有查詢到相關髮片的價格資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 具體的金額可能依每款產品而不同
    III 補充說明 w 10%
    • 建議您向真人客服確認更準確的價格信息
    Judge 推理
    回覆中提到沒有查詢到價格資訊,這與用戶詢問的具體金額不符,且未能提供具體的金額可能依每款產品而不同的資訊,因此在正確性上得分較低。
    錯誤陳述 (1)
    • 根據我的了解,目前沒有查詢到相關髮片的價格資訊。
  • 案例 8C1C2EC3

    有沒有抽獎活動啊?

    已完成
    第 1 次嘗試 · 已完成 12294ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 請問最新的無線耳機有哪些推薦? — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER有沒有抽獎活動啊?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到相關的抽獎活動資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 目前有舉辦抽獎活動
    • 具體信息和報名方式可以在官網或社群媒體找到
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到相關的抽獎活動資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 目前有舉辦抽獎活動
    • 具體信息和報名方式可以在官網或社群媒體找到
    III 補充說明 w 10%
    • 建議你跟真人客服確認一下喔
    Judge 推理
    回覆中錯誤地表示目前沒有抽獎活動,與事實不符,且未提供正確的活動資訊,導致回答不完整。
  • 案例 ACD9D12C

    我想知道你們有什麼促銷活動嗎?

    已完成
    第 1 次嘗試 · 已完成 8776ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我想知道你們有什麼促銷活動嗎?
    BOT馬上為您找找看相關內容 📋 根據我的了解,目前沒有查詢到相關的促銷活動資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    83.3%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 我們的促銷活動會不定期更新
    • 促銷活動的資訊可能包含優惠、折扣等內容
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,目前沒有查詢到相關的促銷活動資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們的促銷活動會不定期更新
    • 促銷活動的資訊可能包含優惠、折扣等內容
    III 補充說明 w 10%
    • 建議你跟真人客服確認一下喔
    Judge 推理
    回覆中提到目前沒有促銷活動的資訊,但未提及促銷活動會不定期更新及可能包含的優惠、折扣等內容,因此在完整性上有所欠缺。
  • 案例 FE5C8766

    你們的產品價格是多少?

    已完成
    第 1 次嘗試 · 已完成 10161ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的產品價格是多少?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到具體的產品價格資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    83.3%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 產品的價格會因不同的型號和功能而有所不同
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查詢到具體的產品價格資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 產品的價格會因不同的型號和功能而有所不同
    III 補充說明 w 10%
    • 建議你跟真人客服確認一下
    Judge 推理
    回覆中提到沒有查詢到具體的產品價格資訊,這部分雖然符合規範,但未能提供關於價格會因型號和功能而異的關鍵資訊,因此在完整性上有所缺失。
  • 案例 4F560D7A

    短的問題也可以查詢嗎?

    已完成
    第 1 次嘗試 · 已完成 12843ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER短的問題也可以查詢嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,短的問題也可以查詢。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    80.0%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 短於 10 個字的查詢會被視為觸發條件之一
    • 能夠觸發知識與產品查詢
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,短的問題也可以查詢。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 短於 10 個字的查詢會被視為觸發條件之一
    • 能夠觸發知識與產品查詢
    Judge 推理
    回覆中提到短的問題可以查詢,但未具體說明短於 10 個字的查詢會被視為觸發條件之一,導致完整性不足。回覆的正確性部分符合要求,但未完全涵蓋所有關鍵點。
  • 案例 A61522F9

    你們的服務時間是什麼時候?

    已完成
    第 1 次嘗試 · 已完成 9435ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的服務時間是什麼時候?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,目前沒有查詢到具體的服務時間資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 服務時間是週一到週五,上午 9:00 到下午 6:00
    • 週末和假日休息
    II 重要
    III 補充
    0.0% · w 10%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,目前沒有查詢到具體的服務時間資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 服務時間是週一到週五,上午 9:00 到下午 6:00
    • 週末和假日休息
    III 補充說明 w 10%
    • 建議你隨時聯繫我們的客服
    Judge 推理
    回覆未提供正確的服務時間資訊,且未遵循語言一致性規則,導致回答不完整。
  • 案例 E0E02567

    查詢資料怎麼做?

    已完成
    第 1 次嘗試 · 已完成 7589ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER查詢資料怎麼做?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,查詢資料通常可以透過搜尋功能或相關平台進行。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    83.3%
    相關性
    90.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 你可以使用關鍵字搜索
    • 可以直接提出你想了解的問題,比如「產品價格」或「使用方式」
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,查詢資料通常可以透過搜尋功能或相關平台進行。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 你可以使用關鍵字搜索
    • 可以直接提出你想了解的問題,比如「產品價格」或「使用方式」
    III 補充說明 w 10%
    • 如果需要更多幫助,建議你跟真人客服確認一下喔
    Judge 推理
    回覆中提到的查詢方式不夠完整,缺少了使用關鍵字搜索和提出具體問題的建議,這是核心必答的部分。雖然有提到跟真人客服確認,但整體回答未能涵蓋所有關鍵點。
  • 案例 E5B9C4C5

    這款髮片的功能和適用對象是什麼呢?

    已完成
    第 1 次嘗試 · 已完成 11932ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER這款髮片的功能和適用對象是什麼呢?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,髮片通常用於增加頭髮的豐盈感或修飾髮型,適合需要改善髮量或想要快速變換造型的人。不過,為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    73.3%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 這款髮片具有自然增髮的功能
    • 適用於需要增強髮量的男女
    • 尤其是對於掉髮或髮量稀疏的人士
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,髮片通常用於增加頭髮的豐盈感或修飾髮型,適合需要改善髮量或想要快速變換造型的人。不過,為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 這款髮片具有自然增髮的功能
    • 適用於需要增強髮量的男女
    • 尤其是對於掉髮或髮量稀疏的人士
    III 補充說明 w 10%
    • 若您需要更多詳細規格,建議和真人客服確認
    Judge 推理
    回覆中提到髮片的功能,但未完整回答所有關鍵點,特別是缺少了髮片的具體功能和適用對象的詳細描述。雖然有建議確認真人客服,但整體回覆仍不夠完整。
  • 案例 26E315FA

    請問這個產品的價格是多少呢?

    已完成
    第 1 次嘗試 · 已完成 10445ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問這個產品的價格是多少呢?
    BOT稍等一下我來幫您查詢 💡 根據我的了解,目前沒有查詢到相關產品的價格資訊。為了確保準確,建議你跟真人客服確認一下喔!如果方便的話,也請提供產品名稱或型號,我可以再幫你查詢看看。

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2647 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    46.7%
    相關性
    80.0%
    完整性
    60.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 價格會根據不同的產品而有所不同
    II 重要
    III 補充
    0.0% · w 10%
    • 建議你跟真人客服確認一下
    AI 回覆
    稍等一下我來幫您查詢 💡 根據我的了解,目前沒有查詢到相關產品的價格資訊。為了確保準確,建議你跟真人客服確認一下喔!如果方便的話,也請提供產品名稱或型號,我可以再幫你查詢看看。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 價格會根據不同的產品而有所不同
    III 補充說明 w 10%
    • 建議你跟真人客服確認一下
    Judge 推理
    這個回覆未能正確回答用戶的問題,並且包含了不正確的聲明,因為根據規則應該提供一般性的價格資訊。回覆中缺少了關鍵的價格資訊和建議確認真人客服的內容。
    錯誤陳述 (1)
    • 目前沒有查詢到相關產品的價格資訊
項目 III.

對話素養(混合問答)

mixed_qa 5 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
不亂編造 平均
faithfulness
0.0%
[0.0% – 0.0%] · n=2
5 / 5 適用
答得到位 平均
answer_quality
37.3%
[28.0% – 49.3%] · n=5
5 / 5 適用
  • 案例 9AF2D19E

    統一搜尋怎麼生成每個地區的關鍵字?

    已完成
    第 1 次嘗試 · 已完成 17937ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER統一搜尋怎麼生成每個地區的關鍵字?
    BOT馬上為您找找看相關內容 📋 根據我的了解,統一搜尋如何生成每個地區的關鍵字,目前沒有查詢到具體的說明。為了確保準確,建議你跟真人客服確認一下喔!

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 統一搜尋會針對每個地區生成 BM25 關鍵字
    • 同時產生 3 種多樣的向量查詢
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,統一搜尋如何生成每個地區的關鍵字,目前沒有查詢到具體的說明。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 統一搜尋會針對每個地區生成 BM25 關鍵字
    • 同時產生 3 種多樣的向量查詢
    Judge 推理
    回覆未能正確回答使用者的問題,缺少了關於統一搜尋生成關鍵字的具體資訊,且提供的建議無法解決問題。
    錯誤陳述 (1)
    • 目前沒有查詢到具體的說明
  • 案例 6DC13EF0

    有關聯絡方式是什麼?

    已完成
    第 1 次嘗試 · 已完成 12769ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified — 統一搜尋知識庫、產品與網頁資料,支援自適應三通道智能排序
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER有關聯絡方式是什麼?
    BOT馬上為您找找看相關內容 📋 根據我的了解,聯絡方式相關資訊目前沒有查詢到。為了確保準確,建議你跟真人客服確認一下喔!
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 公司聯絡方式包括電話和電子郵件
    • 具體資訊可參考我們的官網
    II 重要
    0.0% · w 30%
    • 聯絡我們時,請提供具體需求以便更好地協助你
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,聯絡方式相關資訊目前沒有查詢到。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 公司聯絡方式包括電話和電子郵件
    • 具體資訊可參考我們的官網
    II 重要限制 w 30%
    • 聯絡我們時,請提供具體需求以便更好地協助你
    Judge 推理
    回覆未能提供任何聯絡方式的具體資訊,且錯誤地聲稱沒有查詢到相關內容,完全未符合用戶的需求。
    錯誤陳述 (1)
    • 根據我的了解,聯絡方式相關資訊目前沒有查詢到。
  • 案例 85BC7611

    可以查詢之前的對話記錄嗎

    已完成
    第 1 次嘗試 · 已完成 10883ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:get_history
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER可以查詢之前的對話記錄嗎
    BOT馬上為您找找看相關內容 📋 根據我的了解,目前無法直接查詢之前的對話記錄。如果您有需要查詢特定內容,建議您將想要查詢的重點或問題告訴我,我會盡力協助您!為了確保準確,建議你跟真人客服確認一下喔!

    回答品質

    40.0%
    相關性
    90.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    30.0% · w 60%
    • 使用 get_history 功能可以檢索之前的對話記錄
    • 如果沒有參數,會顯示簡短摘要
    • 如果帶有 trace 或 end_trace,則會顯示完整內容
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,目前無法直接查詢之前的對話記錄。如果您有需要查詢特定內容,建議您將想要查詢的重點或問題告訴我,我會盡力協助您!為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 使用 get_history 功能可以檢索之前的對話記錄
    • 如果沒有參數,會顯示簡短摘要
    • 如果帶有 trace 或 end_trace,則會顯示完整內容
    Judge 推理
    回覆中提到無法查詢之前的對話記錄,這與正確答案相矛盾。回覆未提及使用 get_history 功能的具體細節,導致完整性不足。
    錯誤陳述 (1)
    • 目前無法直接查詢之前的對話記錄
  • 案例 749F95AB

    轉接真人客服的回覆要怎麼回?

    已完成
    第 1 次嘗試 · 已完成 12485ms
    腳本進度 · 轉接真人客服 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 轉接真人客服
    腳本規則
    - 線上客服/轉線上客服
    在線客服/轉在線客服
    真人客服/轉真人客服
    轉真人/找真人
    Direct transfer request
    Emotional escalation
    Resolution failure
    
    轉接真人客服的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Acknowledge situation
    Return transfer response in specified format
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER轉接真人客服的回覆要怎麼回?
    BOT稍等一下我來幫您查詢 💡 根據我的了解,轉接真人客服的回覆方式目前沒有查詢到具體說明。為了確保準確,建議你跟真人客服確認一下喔!
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    30.0% · w 60%
    • 轉接真人客服的回覆必須以指定格式返回
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 根據我的了解,轉接真人客服的回覆方式目前沒有查詢到具體說明。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 轉接真人客服的回覆必須以指定格式返回
    Judge 推理
    回覆未能提供轉接真人客服的具體格式,且錯誤地聲稱沒有具體說明,這導致了正確性和完整性不足。
    錯誤陳述 (1)
    • 轉接真人客服的回覆方式目前沒有查詢到具體說明
  • 案例 FDE30962

    我表現出負面情緒時怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 14344ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:transfer_to_human_agent
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我表現出負面情緒時怎麼辦?
    BOT稍等一下我來幫您查詢 💡 根據我的了解,當你表現出負面情緒時,可以嘗試一些自我調適的方法,例如深呼吸、暫時離開情境或尋求信任的人傾訴。不過,為了確保準確,建議你跟真人客服確認一下喔!

    回答品質

    60.0%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 當你表現出強烈的負面情緒時,可以轉接給人類客服代理
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 根據我的了解,當你表現出負面情緒時,可以嘗試一些自我調適的方法,例如深呼吸、暫時離開情境或尋求信任的人傾訴。不過,為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 當你表現出強烈的負面情緒時,可以轉接給人類客服代理
    Judge 推理
    回覆中提到的自我調適方法雖然相關,但未直接回答用戶的問題,且缺少了轉接給人類客服的關鍵建議,因此在完整性和正確性上得分較低。