執行 #191

OllieTest (bulk R1) → production-baseline

狀態
已完成
案例
24
開始時間
16 May 12:10
耗時
381.1s
¶ Economics · Bot-side N=24 attempts

Cost & Tokens

$0.1012
Total Bot Cost · USD
72.2%
Prompt Cache Hit
cost per case
$0.0042
cost per 1k tokens
$0.0011
input tokens
92,597
output tokens
2,026
cached tokens — prompt-cache hit
66,816
Total Tokens
94,623
economic efficiency
cost per correct
$0.0014
pass rate
58.3%
14 / 24
judge cost
$0.0191
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • e67d9c8e-ff77-4223-b206-6f876a465dc7 4 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:20dabb49 Tools: sha256:cb414772 Scenarios: sha256:ef017b68 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
24 / 24
錯誤
0
失敗維度
6
首字延遲 p95
2220 ms
Bot 成本(Neptune)
$0.1012
Bot Tokens(Neptune)
94,623
Judge 成本(Eris)
$0.0191
Judge Tokens(Eris)
150,876
項目 I.

知識庫精準度

kb_accuracy 4 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=4
F1 40.0% · 相關率 25.0% · 精確 25.0%
4 / 4 適用
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=4
4 / 4 適用
答得到位 平均
answer_quality
93.3%
[86.7% – 100.0%] · n=4
4 / 4 適用
  • 案例 12B37A78

    運費是怎麼計算的?

    已完成
    第 1 次嘗試 · 已完成 8587ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER運費是怎麼計算的?
    BOT馬上為您找找看相關內容 📋 您好,我是OllieTest,很高興為您服務! 運費的計算方式如下:訂單滿1000元免運費,未滿則酌收80元運費。如果您有其他相關問題,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    25.0%
    Recall
    100.0%
    F1
    40.0%
    預期 (1)
    • know_111443 · 運費如何計算?
      問題
      運費如何計算?
      回答
      訂單滿1000元免運費,未滿則酌收80元運費。
    意料之外 (3)
    • ! know_111444 · 如何查詢訂單狀態?
      問題
      如何查詢訂單狀態?
      回答
      請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。
    • ! know_111442 · 我要如何退換貨?
      問題
      我要如何退換貨?
      回答
      您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。
    • ! know_111445 · 狗狗不可以吃哪些東西?
      問題
      狗狗不可以吃哪些東西?
      回答
      巧克力、葡萄、生雞蛋、生肉類、蔥蒜,洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆,堅果類、富含酒精,酒類的食物、第八名:番茄
    TP 1
    FP 3
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的運費計算方式完全符合來源中的內容,因此所有的事實陳述都是有根據的。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是OllieTest,很高興為您服務! 運費的計算方式如下:訂單滿1000元免運費,未滿則酌收80元運費。如果您有其他相關問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 訂單滿1000元免運費
    • 未滿則酌收80元運費
    Judge 推理
    這個回答完整地涵蓋了運費計算的所有關鍵點,並且沒有錯誤的陳述,符合用戶的問題要求。
  • 案例 A9476395

    狗狗可以吃生雞蛋嗎

    已完成
    第 1 次嘗試 · 已完成 10883ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER狗狗可以吃生雞蛋嗎
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,狗狗不建議吃生雞蛋。除了生雞蛋之外,巧克力、葡萄、生肉類、蔥蒜、洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆、堅果類,以及含酒精的食物和番茄也都不適合狗狗食用。為了確保準確,建議你跟真人客服確認一下喔!

    知識檢索

    100.0%
    Precision
    25.0%
    Recall
    100.0%
    F1
    40.0%
    預期 (1)
    • know_111445 · 狗狗不可以吃哪些東西?
      問題
      狗狗不可以吃哪些東西?
      回答
      巧克力、葡萄、生雞蛋、生肉類、蔥蒜,洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆,堅果類、富含酒精,酒類的食物、第八名:番茄
    意料之外 (3)
    • ! know_111442 · 我要如何退換貨?
      問題
      我要如何退換貨?
      回答
      您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。
    • ! know_111443 · 運費如何計算?
      問題
      運費如何計算?
      回答
      訂單滿1000元免運費,未滿則酌收80元運費。
    • ! know_111444 · 如何查詢訂單狀態?
      問題
      如何查詢訂單狀態?
      回答
      請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。
    TP 1
    FP 3
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到狗狗不建議吃生雞蛋,這一點在來源中有明確支持,因此所有的事實陳述都是有根據的。

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 狗狗不可以吃生雞蛋
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,狗狗不建議吃生雞蛋。除了生雞蛋之外,巧克力、葡萄、生肉類、蔥蒜、洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆、堅果類,以及含酒精的食物和番茄也都不適合狗狗食用。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 狗狗不可以吃生雞蛋
    Judge 推理
    回覆中提到狗狗不建議吃生雞蛋,但未直接回答「狗狗不可以吃生雞蛋」,因此在完整性上有所缺失。
  • 案例 02AF8516

    請問要如何查詢訂單狀態呢?

    已完成
    第 1 次嘗試 · 已完成 8881ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問要如何查詢訂單狀態呢?
    BOT馬上為您找找看相關內容 📋 您好,我是 OllieTest,很高興為您服務! 查詢訂單狀態的方法是:請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。 如果還有其他問題,歡迎隨時告訴我!

    知識檢索

    100.0%
    Precision
    25.0%
    Recall
    100.0%
    F1
    40.0%
    預期 (1)
    • know_111444 · 如何查詢訂單狀態?
      問題
      如何查詢訂單狀態?
      回答
      請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。
    意料之外 (3)
    • ! know_111443 · 運費如何計算?
      問題
      運費如何計算?
      回答
      訂單滿1000元免運費,未滿則酌收80元運費。
    • ! know_111442 · 我要如何退換貨?
      問題
      我要如何退換貨?
      回答
      您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。
    • ! know_111445 · 狗狗不可以吃哪些東西?
      問題
      狗狗不可以吃哪些東西?
      回答
      巧克力、葡萄、生雞蛋、生肉類、蔥蒜,洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆,堅果類、富含酒精,酒類的食物、第八名:番茄
    TP 1
    FP 3
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的查詢訂單狀態的方法完全來自於來源資料,且沒有任何虛構的內容,因此所有的事實陳述都是有根據的。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 OllieTest,很高興為您服務! 查詢訂單狀態的方法是:請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。 如果還有其他問題,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請登入會員中心點選「訂單查詢」
    • 即可查看訂單處理進度
    Judge 推理
    這個回答完全符合用戶的查詢,提供了正確的查詢訂單狀態的方法,且內容完整無遺漏。
  • 案例 3E94B237

    退換貨的商品要有什麼條件?

    已完成
    第 1 次嘗試 · 已完成 19207ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER退換貨的商品要有什麼條件?
    BOT稍等一下我來幫您查詢 💡 您好,我是 OllieTest,很高興為您服務! 根據我的了解,退換貨的商品需要在收到商品後7天內申請,並且必須確保商品未使用且包裝完整。若您有其他特殊情況,建議您再與真人客服確認喔!

    知識檢索

    100.0%
    Precision
    25.0%
    Recall
    100.0%
    F1
    40.0%
    預期 (1)
    • know_111442 · 我要如何退換貨?
      問題
      我要如何退換貨?
      回答
      您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。
    意料之外 (3)
    • ! know_111444 · 如何查詢訂單狀態?
      問題
      如何查詢訂單狀態?
      回答
      請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。
    • ! know_111443 · 運費如何計算?
      問題
      運費如何計算?
      回答
      訂單滿1000元免運費,未滿則酌收80元運費。
    • ! know_111445 · 狗狗不可以吃哪些東西?
      問題
      狗狗不可以吃哪些東西?
      回答
      巧克力、葡萄、生雞蛋、生肉類、蔥蒜,洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆,堅果類、富含酒精,酒類的食物、第八名:番茄
    TP 1
    FP 3
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的內容,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 退換貨的商品必須在收到商品後7天內申請
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 OllieTest,很高興為您服務! 根據我的了解,退換貨的商品需要在收到商品後7天內申請,並且必須確保商品未使用且包裝完整。若您有其他特殊情況,建議您再與真人客服確認喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 退換貨的商品必須未使用且包裝完整
    Judge 推理
    回覆中提到的退換貨條件部分正確,但未完整涵蓋所有關鍵要點,缺少了必須在收到商品後7天內申請的條件。
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
100.0%
[100.0% – 100.0%] · n=10
F1 90.0% · 召回 100.0% · 精確 85.0%
10 / 10 適用
用對工具 召回
tool_usage
70.0%
[40.0% – 90.0%] · n=10
F1 70.0% · 召回 70.0% · 精確 70.0%
10 / 10 適用
答得到位 平均
answer_quality
53.7%
[33.3% – 75.7%] · n=10
10 / 10 適用
  • 案例 4C06A771

    最近有什麼活動嗎

    已完成
    第 1 次嘗試 · 已完成 11009ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能? — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER最近有什麼活動嗎
    BOT馬上為您找找看相關內容 📋 根據目前的資訊,沒有查詢到近期活動的相關內容。如果您需要更詳細或最新的活動資訊,建議您跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1415 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 我們目前有多項活動、優惠和促銷
    II 重要
    III 補充
    0.0% · w 10%
    • 建議你查看我們的官網或粉專以獲取最新資訊
    AI 回覆
    馬上為您找找看相關內容 📋 根據目前的資訊,沒有查詢到近期活動的相關內容。如果您需要更詳細或最新的活動資訊,建議您跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們目前有多項活動、優惠和促銷
    III 補充說明 w 10%
    • 建議你查看我們的官網或粉專以獲取最新資訊
    Judge 推理
    回覆未能提供用戶所需的活動資訊,且錯誤地聲稱沒有相關內容。根據規則,應該提供活動的資訊並建議查看官網或粉專。
    錯誤陳述 (1)
    • 沒有查詢到近期活動的相關內容
  • 案例 849D77FC

    請問我如何查詢訂單狀態呢?

    已完成
    第 1 次嘗試 · 已完成 11204ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我如何查詢訂單狀態呢?
    BOT稍等一下我來幫您查詢 💡 您好,我是OllieTest,很高興為您服務! 您可以登入會員中心,點選「訂單查詢」,即可查看您的訂單處理進度。如果有其他問題,也歡迎隨時詢問喔!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1416 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是OllieTest,很高興為您服務! 您可以登入會員中心,點選「訂單查詢」,即可查看您的訂單處理進度。如果有其他問題,也歡迎隨時詢問喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以登入會員中心
    • 點選「訂單查詢」查看訂單處理進度
    III 補充說明 w 10%
    • 如果有任何問題,也可以查詢客服來獲取幫助
    Judge 推理
    這個回答完全符合用戶的查詢,提供了登入會員中心和點選訂單查詢的具體步驟,並且也包含了查詢客服的建議,符合所有要求。
  • 案例 42CB9AFC

    產品的維護保養要注意什麼?

    已完成
    第 1 次嘗試 · 已完成 13112ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER產品的維護保養要注意什麼?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有找到關於產品維護保養注意事項的相關資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1415 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 產品維護保養包括清潔、維修以及壽命等方面
    • 建議定期檢查維護,以延長使用期限
    II 重要
    0.0% · w 30%
    • 如果有登入會員中心的功能,也可以查看相關的產品維護資訊
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有找到關於產品維護保養注意事項的相關資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 產品維護保養包括清潔、維修以及壽命等方面
    • 建議定期檢查維護,以延長使用期限
    II 重要限制 w 30%
    • 如果有登入會員中心的功能,也可以查看相關的產品維護資訊
    Judge 推理
    回覆未能提供任何有關產品維護保養的具體資訊,且錯誤地聲稱沒有相關資訊,這與使用者的問題不符。
    錯誤陳述 (1)
    • 目前沒有找到關於產品維護保養注意事項的相關資訊
  • 案例 376FE4C6

    我的訂單查詢有什麼進度?

    已完成
    第 1 次嘗試 · 已完成 10464ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我的訂單查詢有什麼進度?
    BOT馬上為您找找看相關內容 📋 您好,我是OllieTest,很高興為您服務! 如果您想查詢訂單進度,請登入會員中心並點選「訂單查詢」,即可查看您的訂單處理狀態。如果有其他問題,也歡迎隨時告訴我!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1416 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    70.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 請提供您訂單的相關資訊
    • 我會幫您查詢最新的訂單狀態
    II 重要
    0.0% · w 30%
    • 如果有多個相關訂單,我將會邏輯性地結合在一起回覆您
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是OllieTest,很高興為您服務! 如果您想查詢訂單進度,請登入會員中心並點選「訂單查詢」,即可查看您的訂單處理狀態。如果有其他問題,也歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供您訂單的相關資訊
    • 我會幫您查詢最新的訂單狀態
    II 重要限制 w 30%
    • 如果有多個相關訂單,我將會邏輯性地結合在一起回覆您
    Judge 推理
    回覆未能要求用戶提供訂單資訊,且未能承諾查詢最新的訂單狀態,因此在完整性上得分較低。
  • 案例 FE927736

    我的訂單狀態查詢不到,這樣要怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 9445ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我的訂單狀態查詢不到,這樣要怎麼辦?
    BOT馬上為您找找看相關內容 📋 您好,我是OllieTest,很高興為您服務! 如果您查詢不到訂單狀態,建議您先登入會員中心並點選「訂單查詢」,即可查看訂單處理進度。如果還是無法查詢到,建議您聯繫我們的客服協助處理。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1416 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    73.3%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    II 重要
    0.0% · w 30%
    • 您需要提供一些個人資訊以便我們更好地協助您
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是OllieTest,很高興為您服務! 如果您查詢不到訂單狀態,建議您先登入會員中心並點選「訂單查詢」,即可查看訂單處理進度。如果還是無法查詢到,建議您聯繫我們的客服協助處理。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 如果未找到相關訂單,我們可以幫你確認並提供客戶服務的協助
    II 重要限制 w 30%
    • 您需要提供一些個人資訊以便我們更好地協助您
    Judge 推理
    回覆中提到的查詢方式雖然相關,但未完整涵蓋需要提供個人資訊的要求,因此在完整性上得分較低。
  • 案例 F3A12890

    退換貨的流程是什麼?

    已完成
    第 1 次嘗試 · 已完成 13777ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER退換貨的流程是什麼?
    BOT馬上為您找找看相關內容 📋 您好,我是 OllieTest,很高興為您服務! 退換貨流程如下:您可以在收到商品後7天內申請退換貨,請確保商品未使用且包裝完整。 如果您需要更詳細的操作步驟或有其他疑問,歡迎再告訴我!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1415 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 OllieTest,很高興為您服務! 退換貨流程如下:您可以在收到商品後7天內申請退換貨,請確保商品未使用且包裝完整。 如果您需要更詳細的操作步驟或有其他疑問,歡迎再告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以在收到商品後7天內申請退換貨
    • 請確保商品未使用且包裝完整
    Judge 推理
    這個回答完全符合用戶的問題,清楚地說明了退換貨的流程,並且沒有任何錯誤或遺漏。
  • 案例 30D1E27A

    這個髮片需要怎麼保養呢?

    已完成
    第 1 次嘗試 · 已完成 12260ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER這個髮片需要怎麼保養呢?
    BOT正在為您搜尋最新資料 ⏳ 根據我的了解,目前沒有查詢到關於髮片保養的方法。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1415 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    0.0%
    相關性
    0.0%
    完整性
    0.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 髮片的維護保養包括定期清潔及適當存放
    • 建議每隔一段時間清洗一次
    • 避免長時間陽光直射
    II 重要
    0.0% · w 30%
    • 這樣可以延長使用壽命
    • 確保備品在使用時保持品質
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 根據我的了解,目前沒有查詢到關於髮片保養的方法。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 髮片的維護保養包括定期清潔及適當存放
    • 建議每隔一段時間清洗一次
    • 避免長時間陽光直射
    II 重要限制 w 30%
    • 這樣可以延長使用壽命
    • 確保備品在使用時保持品質
    Judge 推理
    這個回覆完全沒有回答使用者的問題,且未提供任何髮片保養的相關資訊,違反了回答的基本要求。
  • 案例 87EE3294

    請問這個產品的保養和維修要怎麼做?壽命大約是多久?

    已完成
    第 1 次嘗試 · 已完成 11407ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問這個產品的保養和維修要怎麼做?壽命大約是多久?
    BOT讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查到關於產品保養、維修方式或壽命的相關資訊。為了確保準確,建議你跟真人客服確認一下喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1415 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 產品的保養和維護包括定期清潔和妥善保存
    • 這有助於延長使用壽命
    • 壽命通常依產品類型而異
    II 重要
    0.0% · w 30%
    • 建議查看產品手冊或直接詢問客服以獲取準確資訊
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據我的了解,目前沒有查到關於產品保養、維修方式或壽命的相關資訊。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 產品的保養和維護包括定期清潔和妥善保存
    • 這有助於延長使用壽命
    • 壽命通常依產品類型而異
    II 重要限制 w 30%
    • 建議查看產品手冊或直接詢問客服以獲取準確資訊
    Judge 推理
    這個回覆未能提供任何有關產品保養和維修的具體資訊,且錯誤地聲稱沒有相關資訊,與正確答案相矛盾。
    錯誤陳述 (1)
    • 目前沒有查到關於產品保養、維修方式或壽命的相關資訊
  • 案例 996B58B5

    我該如何使用這個產品?

    已完成
    第 1 次嘗試 · 已完成 13364ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER我該如何使用這個產品?
    BOT讓我幫您查詢一下相關資訊 🔍 目前沒有找到與「如何使用這個產品」完全相關的說明。不過,這裡有幾個常見問題的資訊: - 如何退換貨:您可以在收到商品後7天內申請退換貨,請確保商品未使用且包裝完整。 - 運費如何計算:訂單滿1000元免運費,未滿則酌收80元運費。 - 如何查詢訂單狀態:請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。 - 狗狗不可以吃哪些東西:巧克力、葡萄、生雞蛋、生肉類、蔥蒜、洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆、堅果類、富含酒精的食物、番茄。 請問您想了解的是上述哪一項,還是能提供更明確的產品名稱或型號呢?這樣我才能給您最正確的使用說明喔!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1415 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 參考產品的使用方式與操作步驟
    • 通常這包括安裝、設定等步驟
    II 重要
    III 補充
    0.0% · w 10%
    • 具體的使用建議可以查詢相關資料或是聯絡客服以獲得協助
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 目前沒有找到與「如何使用這個產品」完全相關的說明。不過,這裡有幾個常見問題的資訊: - 如何退換貨:您可以在收到商品後7天內申請退換貨,請確保商品未使用且包裝完整。 - 運費如何計算:訂單滿1000元免運費,未滿則酌收80元運費。 - 如何查詢訂單狀態:請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。 - 狗狗不可以吃哪些東西:巧克力、葡萄、生雞蛋、生肉類、蔥蒜、洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆、堅果類、富含酒精的食物、番茄。 請問您想了解的是上述哪一項,還是能提供更明確的產品名稱或型號呢?這樣我才能給您最正確的使用說明喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 參考產品的使用方式與操作步驟
    • 通常這包括安裝、設定等步驟
    III 補充說明 w 10%
    • 具體的使用建議可以查詢相關資料或是聯絡客服以獲得協助
    Judge 推理
    這個回覆未能針對使用產品的具體問題提供正確的資訊,且未遵循語言一致性規則,導致內容不正確。
    錯誤陳述 (1)
    • 沒有提供正確的使用說明
  • 案例 922539F5

    請問我的訂單目前的運送狀態如何?

    已完成
    第 1 次嘗試 · 已完成 10000ms
    腳本進度 · 訂單查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ● 已呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → shopline_search_orders
    USER請問我的訂單目前的運送狀態如何?
    BOT馬上為您找找看相關內容 📋 您好,我是 OllieTest,很高興為您服務! 目前查詢不到您的訂單資訊。請您提供訂單編號、手機號碼或下單時使用的電子郵件,以便我協助您查詢運送狀態。謝謝!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1416 · 訂單查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • shopline_search_orders
    TP 1
    FP 0
    FN 0

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    II 重要
    III 補充
    10.0% · w 10%
    • 請提供您的個人資訊,我可以幫您查詢訂單的運送狀態
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 OllieTest,很高興為您服務! 目前查詢不到您的訂單資訊。請您提供訂單編號、手機號碼或下單時使用的電子郵件,以便我協助您查詢運送狀態。謝謝!
    預期答案 · 加權拆解
    III 補充說明 w 10%
    • 請提供您的個人資訊,我可以幫您查詢訂單的運送狀態
    Judge 推理
    回覆中提到需要用戶提供訂單編號、手機號碼或電子郵件,但未明確提到要提供個人資訊以查詢運送狀態,這是缺少的關鍵點。整體上回覆是相關的,但未完全符合預期的回應風格。
項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=4
F1 40.0% · 相關率 25.0% · 精確 25.0%
4 / 10 適用
不亂編造 平均
faithfulness
80.0%
[60.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
61.0%
[39.3% – 81.7%] · n=10
10 / 10 適用
  • 案例 C8416F53

    請問未滿 1000 元的訂單運費是多少?

    已完成
    第 1 次嘗試 · 已完成 10981ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問未滿 1000 元的訂單運費是多少?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 OllieTest,很高興為您服務! 訂單未滿 1000 元時,運費為 80 元。若訂單滿 1000 元則可享免運費優惠。若還有其他問題,歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    25.0%
    Recall
    100.0%
    F1
    40.0%
    預期 (1)
    • know_111443 · 運費如何計算?
      問題
      運費如何計算?
      回答
      訂單滿1000元免運費,未滿則酌收80元運費。
    意料之外 (3)
    • ! know_111444 · 如何查詢訂單狀態?
      問題
      如何查詢訂單狀態?
      回答
      請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。
    • ! know_111442 · 我要如何退換貨?
      問題
      我要如何退換貨?
      回答
      您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。
    • ! know_111445 · 狗狗不可以吃哪些東西?
      問題
      狗狗不可以吃哪些東西?
      回答
      巧克力、葡萄、生雞蛋、生肉類、蔥蒜,洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆,堅果類、富含酒精,酒類的食物、第八名:番茄
    TP 1
    FP 3
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆中提到的運費資訊完全來自於來源資料,且所有的事實陳述都有相應的支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 OllieTest,很高興為您服務! 訂單未滿 1000 元時,運費為 80 元。若訂單滿 1000 元則可享免運費優惠。若還有其他問題,歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 未滿1000元的訂單需支付80元運費
    Judge 推理
    這個回答完全符合用戶的問題,提供了正確的運費資訊,且沒有遺漏任何關鍵點。
  • 案例 BF9D0C1A

    統一搜尋可以處理什麼資料來源?

    已完成
    第 1 次嘗試 · 已完成 11819ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER統一搜尋可以處理什麼資料來源?
    BOT稍等一下我來幫您查詢 💡 根據我的了解,目前統一搜尋可以查詢的資料來源包括訂單狀態、運費計算方式、退換貨流程,以及狗狗不能吃的食物等相關資訊。如果您有特定想查詢的內容,歡迎告訴我,我可以幫您進一步查詢!

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的資料來源均可在提供的來源中找到,且沒有任何虛構的聲明,因此所有的事實聲明都是有根據的。

    回答品質

    36.7%
    相關性
    80.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 統一搜尋可以處理知識、產品、連結、文檔知識、文檔產品和視覺資料等五種資料來源
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 根據我的了解,目前統一搜尋可以查詢的資料來源包括訂單狀態、運費計算方式、退換貨流程,以及狗狗不能吃的食物等相關資訊。如果您有特定想查詢的內容,歡迎告訴我,我可以幫您進一步查詢!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 統一搜尋可以處理知識、產品、連結、文檔知識、文檔產品和視覺資料等五種資料來源
    Judge 推理
    回覆中提到的資料來源與正確答案不符,未能涵蓋統一搜尋可以處理的所有資料來源,且未提供正確的五種資料來源。
  • 案例 B6134214

    你們的營業時間是什麼時候?

    已完成
    第 1 次嘗試 · 已完成 10131ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER你們的營業時間是什麼時候?
    BOT馬上為您找找看相關內容 📋 根據目前的資訊,沒有查詢到關於營業時間的相關內容。為了確保準確,建議你跟真人客服確認一下喔!
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    0.0%
    相關性
    0.0%
    完整性
    0.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 我們的營業時間為週一至週五,上午 9 點至下午 6 點
    • 週末休息
    II 重要
    III 補充
    • 若有任何問題,歡迎聯繫我們
    AI 回覆
    馬上為您找找看相關內容 📋 根據目前的資訊,沒有查詢到關於營業時間的相關內容。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們的營業時間為週一至週五,上午 9 點至下午 6 點
    • 週末休息
    III 補充說明 w 10%
    • 若有任何問題,歡迎聯繫我們
    Judge 推理
    回覆完全未回答用戶的問題,且提供了錯誤的資訊,表示無法查詢到營業時間,這與事實不符。
    錯誤陳述 (1)
    • 沒有查詢到關於營業時間的相關內容
  • 案例 9405B118

    查詢訂單狀態要怎麼做?

    已完成
    第 1 次嘗試 · 已完成 10365ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER查詢訂單狀態要怎麼做?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 OllieTest,很高興為您服務! 查詢訂單狀態的方法是:請登入會員中心,點選「訂單查詢」,即可查看您的訂單處理進度。若有其他問題也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    25.0%
    Recall
    100.0%
    F1
    40.0%
    預期 (1)
    • know_111444 · 如何查詢訂單狀態?
      問題
      如何查詢訂單狀態?
      回答
      請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。
    意料之外 (3)
    • ! know_111443 · 運費如何計算?
      問題
      運費如何計算?
      回答
      訂單滿1000元免運費,未滿則酌收80元運費。
    • ! know_111442 · 我要如何退換貨?
      問題
      我要如何退換貨?
      回答
      您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。
    • ! know_111445 · 狗狗不可以吃哪些東西?
      問題
      狗狗不可以吃哪些東西?
      回答
      巧克力、葡萄、生雞蛋、生肉類、蔥蒜,洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆,堅果類、富含酒精,酒類的食物、第八名:番茄
    TP 1
    FP 3
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆完全符合來源資料,並且所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 OllieTest,很高興為您服務! 查詢訂單狀態的方法是:請登入會員中心,點選「訂單查詢」,即可查看您的訂單處理進度。若有其他問題也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請登入會員中心點選「訂單查詢」
    • 即可查看訂單處理進度
    Judge 推理
    這個回答完全符合用戶的查詢,提供了正確的步驟來查詢訂單狀態,並且沒有遺漏任何關鍵資訊。
  • 案例 E077B230

    電商訂單搜尋要怎麼操作?

    已完成
    第 1 次嘗試 · 已完成 15897ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER電商訂單搜尋要怎麼操作?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是OllieTest,很高興為您服務! 如果您想查詢電商訂單,請先登入會員中心,然後點選「訂單查詢」,即可查看您的訂單處理進度。 如果還有其他關於訂單的問題,也歡迎隨時告訴我!

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的查詢訂單的操作步驟完全符合來源中的資訊,因此所有的事實陳述都是有根據的。

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 可以使用電商訂單搜尋 executor
    • 透過 JTCG SaaS API 進行操作
    • 使用 vendor parser 格式化來搜尋訂單細節
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是OllieTest,很高興為您服務! 如果您想查詢電商訂單,請先登入會員中心,然後點選「訂單查詢」,即可查看您的訂單處理進度。 如果還有其他關於訂單的問題,也歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以使用電商訂單搜尋 executor
    • 透過 JTCG SaaS API 進行操作
    • 使用 vendor parser 格式化來搜尋訂單細節
    Judge 推理
    回覆未能正確回答用戶的問題,缺少了關於電商訂單搜尋的具體操作步驟,且提供的資訊與用戶查詢的需求不符。
  • 案例 BB0D5BA1

    收到商品後幾天內可以退換貨?

    已完成
    第 1 次嘗試 · 已完成 14253ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER收到商品後幾天內可以退換貨?
    BOT稍等一下我來幫您查詢 💡 您好,我是OllieTest,很高興為您服務! 您可以在收到商品後7天內申請退換貨,請確保商品未使用且包裝完整。如有其他問題,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    25.0%
    Recall
    100.0%
    F1
    40.0%
    預期 (1)
    • know_111442 · 我要如何退換貨?
      問題
      我要如何退換貨?
      回答
      您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。
    意料之外 (3)
    • ! know_111444 · 如何查詢訂單狀態?
      問題
      如何查詢訂單狀態?
      回答
      請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。
    • ! know_111443 · 運費如何計算?
      問題
      運費如何計算?
      回答
      訂單滿1000元免運費,未滿則酌收80元運費。
    • ! know_111445 · 狗狗不可以吃哪些東西?
      問題
      狗狗不可以吃哪些東西?
      回答
      巧克力、葡萄、生雞蛋、生肉類、蔥蒜,洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆,堅果類、富含酒精,酒類的食物、第八名:番茄
    TP 1
    FP 3
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的內容,並且所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是OllieTest,很高興為您服務! 您可以在收到商品後7天內申請退換貨,請確保商品未使用且包裝完整。如有其他問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以在收到商品後7天內申請退換貨
    • 請確保商品未使用且包裝完整
    Judge 推理
    這個回答完全符合用戶的問題,提供了正確的退換貨政策,並且包含了所有必要的資訊,沒有遺漏任何要點。
  • 案例 259064DE

    可以看之前的對話紀錄嗎?

    已完成
    第 1 次嘗試 · 已完成 14556ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:get_history
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER可以看之前的對話紀錄嗎?
    BOT稍等一下我來幫您查詢 💡 目前無法直接查看您與我的完整對話紀錄。不過,這裡有一些常見問題的資訊,請問您想查詢哪一項呢? 1. 如何查詢訂單狀態? 2. 我要如何退換貨? 3. 運費如何計算? 4. 狗狗不可以吃哪些東西? 請告訴我您需要哪一項資訊,或有其他問題也歡迎隨時提出!

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到無法查看完整對話紀錄,這是符合常見的系統限制,且提供了相關的常見問題資訊,所有的資訊都可以在來源中找到,因此沒有虛構的內容。

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 系統能檢索最近 7 輪之前的對話記錄
    • 能提供更詳細的內容摘要
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 目前無法直接查看您與我的完整對話紀錄。不過,這裡有一些常見問題的資訊,請問您想查詢哪一項呢? 1. 如何查詢訂單狀態? 2. 我要如何退換貨? 3. 運費如何計算? 4. 狗狗不可以吃哪些東西? 請告訴我您需要哪一項資訊,或有其他問題也歡迎隨時提出!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 系統能檢索最近 7 輪之前的對話記錄
    • 能提供更詳細的內容摘要
    Judge 推理
    回覆未能正確回答用戶的問題,並且錯誤地聲稱無法查看對話紀錄。缺少了系統能檢索最近 7 輪對話紀錄的關鍵資訊,導致完整性和正確性得分低。
    錯誤陳述 (1)
    • 目前無法直接查看您與我的完整對話紀錄
  • 案例 BA8837A1

    請問當我的情緒升高時,可以轉接真人客服嗎?

    已完成
    第 1 次嘗試 · 已完成 8835ms
    腳本進度 · 轉接真人客服 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 轉接真人客服
    腳本規則
    - 線上客服/轉線上客服
    - 在線客服/轉在線客服
    - 真人客服/轉真人客服
    - 轉真人/找真人
    - Direct transfer request
    - Emotional escalation
    - Resolution failure
    
    轉接真人客服的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Acknowledge situation
    - Return transfer response in specified format
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER請問當我的情緒升高時,可以轉接真人客服嗎?
    BOT已為您轉接真人客服,請稍候
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    83.3%
    相關性
    100.0%
    完整性
    50.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 可以要求轉接真人客服
    II 重要
    III 補充
    AI 回覆
    已為您轉接真人客服,請稍候
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以要求轉接真人客服
    Judge 推理
    AI 回覆中已經轉接真人客服,但未明確承認客戶的情緒升高情況,也未提及客戶可以主動要求轉接真人客服,因此在完整性上有所欠缺。
  • 案例 F80CDCDA

    狗狗可以吃生雞蛋嗎?

    已完成
    第 1 次嘗試 · 已完成 12873ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER狗狗可以吃生雞蛋嗎?
    BOT馬上為您找找看相關內容 📋 根據我的了解,狗狗不建議吃生雞蛋。除了生雞蛋之外,巧克力、葡萄、生肉類、蔥蒜、洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆、堅果類,以及含酒精的食物和番茄也都不適合狗狗食用。為了確保準確,建議你跟真人客服確認一下喔!

    知識檢索

    100.0%
    Precision
    25.0%
    Recall
    100.0%
    F1
    40.0%
    預期 (1)
    • know_111445 · 狗狗不可以吃哪些東西?
      問題
      狗狗不可以吃哪些東西?
      回答
      巧克力、葡萄、生雞蛋、生肉類、蔥蒜,洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆,堅果類、富含酒精,酒類的食物、第八名:番茄
    意料之外 (3)
    • ! know_111442 · 我要如何退換貨?
      問題
      我要如何退換貨?
      回答
      您可以在收到商品後7天內申請退換貨。請確保商品未使用且包裝完整。
    • ! know_111443 · 運費如何計算?
      問題
      運費如何計算?
      回答
      訂單滿1000元免運費,未滿則酌收80元運費。
    • ! know_111444 · 如何查詢訂單狀態?
      問題
      如何查詢訂單狀態?
      回答
      請登入會員中心點選「訂單查詢」,即可查看訂單處理進度。
    TP 1
    FP 3
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到狗狗不建議吃生雞蛋,這一點在來源中有明確支持,因此所有的事實陳述都是有根據的。

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 狗狗不可以吃生雞蛋
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 根據我的了解,狗狗不建議吃生雞蛋。除了生雞蛋之外,巧克力、葡萄、生肉類、蔥蒜、洋蔥類、骨頭類(特別是雞骨頭等小碎骨頭)、夏威夷豆、堅果類,以及含酒精的食物和番茄也都不適合狗狗食用。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 狗狗不可以吃生雞蛋
    Judge 推理
    雖然回覆提到狗狗不建議吃生雞蛋,但未明確回答「狗狗不可以吃生雞蛋」這一核心問題,因此完整性得分較低。
  • 案例 07A956F9

    什麼情況下可以轉接真人客服?

    已完成
    第 1 次嘗試 · 已完成 12923ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:transfer_to_human_agent
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER什麼情況下可以轉接真人客服?
    BOT稍等一下我來幫您查詢 💡 根據目前提供的資訊,沒有直接說明什麼情況下可以轉接真人客服。如果您有特定需求或遇到無法解決的問題,建議您直接聯繫我們的真人客服確認喔!如果需要其他協助,也歡迎告訴我您的具體問題。

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的關於轉接真人客服的情況並未在提供的來源中找到支持,因此所有相關的聲明都被視為幻覺。
    幻覺陳述 (2)
    • 沒有直接說明什麼情況下可以轉接真人客服
    • 如果您有特定需求或遇到無法解決的問題,建議您直接聯繫我們的真人客服確認

    回答品質

    33.3%
    相關性
    70.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 當用戶明確要求真人客服時,可以進行轉接
    • AI無法重複回答用戶問題時,可以進行轉接
    • 用戶表現出強烈的負面情緒時,可以進行轉接
    • 問題超出AI的能力範圍時,可以進行轉接
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 根據目前提供的資訊,沒有直接說明什麼情況下可以轉接真人客服。如果您有特定需求或遇到無法解決的問題,建議您直接聯繫我們的真人客服確認喔!如果需要其他協助,也歡迎告訴我您的具體問題。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 當用戶明確要求真人客服時,可以進行轉接
    • AI無法重複回答用戶問題時,可以進行轉接
    • 用戶表現出強烈的負面情緒時,可以進行轉接
    • 問題超出AI的能力範圍時,可以進行轉接
    Judge 推理
    AI的回覆未能正確回答用戶的問題,且缺少了所有關鍵的轉接條件,導致完整性和正確性都很低。
    錯誤陳述 (1)
    • 根據目前提供的資訊,沒有直接說明什麼情況下可以轉接真人客服