執行 #84

CHA CHA AI 小編 🤖 (bulk R1) → production-canary (canary)

狀態
已完成
案例
30
開始時間
16 May 11:20
耗時
574.1s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.1877
Total Bot Cost · USD
84.0%
Prompt Cache Hit
cost per case
$0.0063
cost per 1k tokens
$0.0008
input tokens
219,217
output tokens
3,194
cached tokens — prompt-cache hit
184,192
Total Tokens
222,411
economic efficiency
cost per correct
$0.0011
pass rate
76.7%
23 / 30
judge cost
$0.0243
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 28c6cc65-dff1-40b8-ac8e-9514ac167c02 53 筆 KB
    SystemPrompt: sha256:fe65f64f KBContent: sha256:924a3130 Tools: sha256:f969f4cc Scenarios: sha256:a24acb95 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
5
首字延遲 p95
26022 ms
Bot 成本(Neptune)
$0.1877
Bot Tokens(Neptune)
222,411
Judge 成本(Eris)
$0.0243
Judge Tokens(Eris)
191,041
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
50.0%
[20.0% – 80.0%] · n=10
F1 16.7% · 相關率 17.1% · 精確 60.0%
10 / 10 適用 · 3 提示
不亂編造 平均
faithfulness
50.0%
[20.0% – 80.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
91.3%
[81.0% – 98.7%] · n=10
10 / 10 適用
  • 案例 60AEAC72

    請問買二送二的活動需要幾盒才可以參加?

    已完成
    第 1 次嘗試 · 已完成 21899ms
    腳本進度 · 知識與產品查詢 ◐ 進行中
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ◐ 已呼叫 1 / 2 個工具
    已呼叫:search_knowledges 未呼叫:search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER請問買二送二的活動需要幾盒才可以參加?
    BOT買二送二的活動,您需要將四盒商品一起加入購物車,系統才會自動折抵優惠金額唷!如果有其他問題,歡迎再詢問 😊

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_378765 · 買一送一 / 買二送二的活動要怎麼買?
      問題
      買一送一 / 買二送二的活動要怎麼買?
      回答
      活動贈送的盒數需要一起加入配送車,系統才會自動折抵優惠金額。例如「買一送一」請加入兩盒、「買一送二」請加入三盒,以此類推。若您欲挑選月拋品項,且左右眼度數不同,建議購買符合雙眼需求的組數,若有任何疑問,歡迎隨時聯絡客服協助!
    意料之外 (4)
    • ! know_378721 · 最近有什麼最新優惠活動?
      問題
      最近有什麼最新優惠活動?
      回答
      目前我們的最新優惠活動可以在官網查看,請訪問https://www.chachalook.com/pages/sale-2,掌握所有最新促銷資訊!
    • ! know_378723 · 3盒不是250嗎?為什麼金額還是297?
      問題
      3盒不是250嗎?為什麼金額還是297?
      回答
      您好,若商品數量符合優惠資格,請往下滑至【已享用的優惠內容】區塊,即可看到系統已自動折扣後的金額。
    • ! know_378719 · 首次購物不能選擇超商取貨?
      問題
      首次購物不能選擇超商取貨?
      回答
      首次購物時,您只能選擇康是美或屈臣氏門市取貨付款。完成首次購買後,您的下一次購買即可選擇超商取貨,提供更便利的取貨方式。
    • ! know_378737 · 為什麼我收到的商品只有一入?
      問題
      為什麼我收到的商品只有一入?
      回答
      感謝您的反映,針對您提到的兩入裝商品實際收到只有一入的問題,我們已注意到此情況。如遇商品瑕疵或疑似出貨異常,建議直接聯絡我們的真人客服進行協助,我們將提供必要的處理方案與補償措施。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料的內容,並且所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    50.0%
    相關性
    100.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 買二送二的活動需要加入三盒到配送車
    II 重要
    III 補充
    AI 回覆
    買二送二的活動,您需要將四盒商品一起加入購物車,系統才會自動折抵優惠金額唷!如果有其他問題,歡迎再詢問 😊
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 買二送二的活動需要加入三盒到配送車
    • 系統才會自動折抵優惠金額
    Judge 推理
    AI的回答提到需要四盒商品才能參加活動,這與正確的答案相矛盾,應該是三盒。回答的完整性也因此受到影響,未能正確涵蓋所有關鍵點。
    錯誤陳述 (1)
    • 需要將四盒商品一起加入購物車
  • 案例 6699C056

    Sami 彩色日拋的含水量是多少?

    已完成
    第 1 次嘗試 · 已完成 30512ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_knowledges、search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USERSami 彩色日拋的含水量是多少?
    BOTSami 彩色日拋目前有兩款: 1. Sami 彩色日拋【星曜灰】(10入):含水量 38% 2. Sami 彩色日拋【閃耀棕】(10入):含水量 38% 如果您要詢問的是其他顏色或款式,請再提供更詳細的名稱,我可以幫您查詢唷!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44676 · Sami 彩色日拋【煙青灰 Dusky Gray】(10入) — 直徑 14.4mm|著色直徑 13.6mm|BC 8.7mm|含水量 38%
      標題
      Sami 彩色日拋【煙青灰 Dusky Gray】(10入)
      摘要
      直徑 14.4mm|著色直徑 13.6mm|BC 8.7mm|含水量 38%
      完整描述
      衛部醫器製字第006955號 / 桃市器廣字第11202015號 商品名稱 Sami 彩色日拋【煙青灰 Dusky Gray】(10入) 週 期 彩色日拋 基 弧 8.7mm 包裝規格 10片裝/盒 鏡片直徑 14.4mm 含 水 量 38% 著色直徑 13.6mm 許可字號 衛部醫器製字第006955號 桃市器廣字第11202015號 警 語 ・配戴一般隱形眼鏡須經眼科醫師驗光配鏡取得處方箋,或經驗光人員驗光配鏡,取得配鏡單,並定期接受眼科醫生追蹤檢查。 ・本器材不得逾中文說明書建議之最長配戴時數、不得重複配戴、於就寢前務必取下,以免感染或潰瘍。 ・如有不適,應立即就醫。 ・抗紫外線隱形眼鏡無法全面遮蓋雙眼,並不適合完全取代如太陽眼鏡等其他應有的護眼配備。 注意事項 ・本產品為每日拋棄型鏡片,請遵照指示定期丟棄並更換新的鏡片。 ・選購前應先至眼科醫療院所或驗光所驗配,依產品說明書正確配戴,並定期回診。
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的Sami彩色日拋的含水量並未在提供的來源中找到支持,因此所有相關的事實聲明都被判定為虛構。
    幻覺陳述 (2)
    • Sami 彩色日拋【星曜灰】的含水量是38%
    • Sami 彩色日拋【閃耀棕】的含水量是38%

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    Sami 彩色日拋目前有兩款: 1. Sami 彩色日拋【星曜灰】(10入):含水量 38% 2. Sami 彩色日拋【閃耀棕】(10入):含水量 38% 如果您要詢問的是其他顏色或款式,請再提供更詳細的名稱,我可以幫您查詢唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • Sami 彩色日拋的含水量為 38%
    Judge 推理
    這個回答完全符合用戶的問題,提供了Sami彩色日拋的含水量,並且正確地指出為38%。此外,回答中也包含了不同顏色的選項,顯示出完整性。
  • 案例 7FB09B2E

    下單後商品大概多久可以收到?

    已完成
    第 1 次嘗試 · 已完成 24414ms
    腳本進度 · 知識與產品查詢 ◐ 進行中
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ◐ 已呼叫 1 / 2 個工具
    已呼叫:search_knowledges 未呼叫:search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER下單後商品大概多久可以收到?
    BOT下單後通常 5-7 個工作天內會出貨,商品送達門市或超商後,系統會發送取貨通知。實際配送時間依物流公司作業狀況而定,建議預留 7-14 天較為寬裕唷 😊

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_378727 · 下單後多久可以收到商品?
      問題
      下單後多久可以收到商品?
      回答
      下單後通常 5-7 個工作天內出貨,商品送達門市或超商後,系統會發送取貨通知。實際配送時間依物流公司作業狀況而定,建議預留 7-14 天較為寬裕唷 😊
    意料之外 (4)
    • ! know_378726 · 已完成訂購後,請問大約多久會出貨?
      問題
      已完成訂購後,請問大約多久會出貨?
      回答
      通常下單後5-7個工作天內會完成出貨,請您耐心等候。如有任何問題,歡迎隨時聯繫客服。
    • ! know_378744 · 商品已拆封但發現度數或款式不適合,可以怎麼處理?
      問題
      商品已拆封但發現度數或款式不適合,可以怎麼處理?
      回答
      若商品已開封,恕無法辦理退換貨。根據消費者保護法,您享有7天鑑賞期(自收到貨日起算,包括國定假日),但商品必須全新未開封且包裝完整才能退換貨。超過7天則不接受退換貨(包含商品短少情況亦不補寄)。下單即表示同意以上條款。
    • ! know_378737 · 為什麼我收到的商品只有一入?
      問題
      為什麼我收到的商品只有一入?
      回答
      感謝您的反映,針對您提到的兩入裝商品實際收到只有一入的問題,我們已注意到此情況。如遇商品瑕疵或疑似出貨異常,建議直接聯絡我們的真人客服進行協助,我們將提供必要的處理方案與補償措施。
    • ! know_378746 · 請問可以退貨嗎?
      問題
      請問可以退貨嗎?
      回答
      退貨需在取貨後7天內提出申請,逾期恕不受理。若符合退貨條件,請確保商品完好且未使用。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料中的資訊,所有的事實陳述都有來源支持,因此沒有虛構的內容。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    100.0% · w 10%
    AI 回覆
    下單後通常 5-7 個工作天內會出貨,商品送達門市或超商後,系統會發送取貨通知。實際配送時間依物流公司作業狀況而定,建議預留 7-14 天較為寬裕唷 😊
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 下單後通常 5-7 個工作天內出貨
    • 商品送達門市或超商後,系統會發送取貨通知
    II 重要限制 w 30%
    • 實際配送時間依物流公司作業狀況而定
    • 建議預留 7-14 天較為寬裕
    III 補充說明 w 10%
    • 😊
    Judge 推理
    這個回答完全符合用戶的問題,涵蓋了所有關鍵點,並且沒有錯誤的陳述。
  • 案例 F8D98269

    Lens++ 彩色月拋是什麼類型的隱形眼鏡?

    已完成
    第 1 次嘗試 · 已完成 29934ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_knowledges、search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USERLens++ 彩色月拋是什麼類型的隱形眼鏡?
    BOTLens++ 彩色月拋是彩色月拋型的隱形眼鏡,屬於每月更換一次的彩色隱形眼鏡。這類產品有多種顏色選擇,例如星耀灰、星辰灰、星辰黑等,適合想要變換眼神風格的消費者。 如需更詳細的產品規格或有其他問題,歡迎再詢問!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44622 · Lens++ 彩色月拋【星耀灰】(1入)
      標題
      Lens++ 彩色月拋【星耀灰】(1入)
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的Lens++彩色月拋隱形眼鏡的類型及特性並未在提供的來源中找到支持,因此所有相關的事實聲明都被判定為幻覺。
    幻覺陳述 (4)
    • Lens++ 彩色月拋是彩色月拋型的隱形眼鏡
    • 屬於每月更換一次的彩色隱形眼鏡
    • 這類產品有多種顏色選擇,例如星耀灰、星辰灰、星辰黑等
    • 適合想要變換眼神風格的消費者

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    Lens++ 彩色月拋是彩色月拋型的隱形眼鏡,屬於每月更換一次的彩色隱形眼鏡。這類產品有多種顏色選擇,例如星耀灰、星辰灰、星辰黑等,適合想要變換眼神風格的消費者。 如需更詳細的產品規格或有其他問題,歡迎再詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • Lens++ 彩色月拋是月拋型隱形眼鏡
    Judge 推理
    回覆中提到Lens++ 彩色月拋是彩色月拋型的隱形眼鏡,這部分正確,但過多的細節使得回覆偏離了核心問題,導致完整性得分降低。
  • 案例 EF62D559

    請問若訂單狀態顯示已確認,可以取消訂單嗎?

    已完成
    第 1 次嘗試 · 已完成 24579ms
    腳本進度 · 知識與產品查詢 ◐ 進行中
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ◐ 已呼叫 1 / 2 個工具
    已呼叫:search_knowledges 未呼叫:search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER請問若訂單狀態顯示已確認,可以取消訂單嗎?
    BOT訂單狀態顯示「已確認」時,無法取消訂單。只有在訂單狀態為「處理中」時才可以取消唷!

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_378740 · 如何取消訂單?
      問題
      如何取消訂單?
      回答
      請注意!訂單狀態顯示「處理中」才可取消訂單,若訂單狀態顯示「已確認」或其他狀態則無法取消訂單。操作方式如圖: https://shoplineimg.com/5ba1d32aacf49200054b696f/677bc0a31201fe93f0467462/1920x.png
    意料之外 (4)
    • ! know_378738 · 如何查詢我的訂單狀態?
      問題
      如何查詢我的訂單狀態?
      回答
      您可以登入會員後,點選「配送單」來追蹤您的訂單狀態。不同狀態的意義包括: -【處理中】:訂單已成立,正在處理中。 -【已確認】:倉庫開始撿貨與出貨。 -【已發貨】:商品已出貨,您可以查詢物流資訊。 -【已送達】:商品已送達指定地點。 -【已完成】:訂單完成,已取件或簽收。 -【已取消】:訂單已取消或您已申請取消。
    • ! know_378751 · 如果商品缺貨或無法出貨,會怎麼辦?
      問題
      如果商品缺貨或無法出貨,會怎麼辦?
      回答
      若商品缺貨或因其他原因無法出貨,系統會在官網訂單詳情中通知您,請確認是否刪除缺貨商品或取消訂單。
    • ! know_378752 · 如下單未選擇度數會怎麼處理呢?
      問題
      如下單未選擇度數會怎麼處理呢?
      回答
      若訂單中任一商品未選擇度數,系統將會於出貨時自動取消訂單,並於訂單畫面中通知訂單取消。
    • ! know_378729 · 請問交易取消是否會退還購物金及紅利點數呢?
      問題
      請問交易取消是否會退還購物金及紅利點數呢?
      回答
      ・〔取消訂單〕若成功取消訂單,購物金和點數皆會歸還(若訂單中含已過期購物金及點數則不回補)。 ・〔未於約定時間內取貨〕購物金和點數恕不歸還,且累計2次未取貨記錄,後續將無法再使用配送服務,造成不便敬請見諒。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料的內容,並且所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    訂單狀態顯示「已確認」時,無法取消訂單。只有在訂單狀態為「處理中」時才可以取消唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 若訂單狀態顯示「已確認」,則無法取消訂單
    Judge 推理
    這個回答完全符合用戶的問題,並且正確地重述了訂單狀態為「已確認」時無法取消的事實,涵蓋了所有必要的要點。
  • 案例 288F920D

    威世VES 矽水膠月拋【日暮晨曦】是什麼類型的隱形眼鏡?

    已完成
    第 1 次嘗試 · 已完成 23346ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_knowledges、search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USER威世VES 矽水膠月拋【日暮晨曦】是什麼類型的隱形眼鏡?
    BOT威世VES 矽水膠月拋【日暮晨曦】是「彩色月拋型」隱形眼鏡,屬於每月拋棄型,鏡片材質為矽水膠。主要規格如下: - 基弧:8.7mm - 鏡片直徑:14.0mm - 著色直徑:12.8mm - 含水量:47% - 包裝規格:1片裝/盒 如需更多詳細資訊或其他款式介紹,歡迎再詢問!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44805 · 威世VES 矽水膠月拋【日暮晨曦】(1片裝)
      標題
      威世VES 矽水膠月拋【日暮晨曦】(1片裝)
      完整描述
      商品名稱 威世VES 矽水膠月拋【日暮晨曦】 週 期 彩色月拋 基 弧 8.7mm 包裝規格 1片裝/盒 鏡片直徑 14.0mm 含 水 量 47% 著色直徑 12.8mm 許可字號 衛部醫器輸字第036925號 警 語 ・配戴一般隱形眼鏡須經眼科醫師驗光配鏡取得處方箋,或經驗光人員驗光配鏡,取得配鏡單,並定期接受眼科醫生追蹤檢查。 ・本器材不得逾中文說明書建議之最長配戴時數、不得重複配戴、於就寢前務必取下,以免感染或潰瘍。 ・如有不適,應立即就醫。 ・抗紫外線隱形眼鏡無法全面遮蓋雙眼,並不適合完全取代如太陽眼鏡等其他應有的護眼配備。 注意事項 ・本產品為每月拋棄型鏡片,請遵照指示定期丟棄並更換新的鏡片。 ・選購前應先至眼科醫療院所或驗光所驗配,依產品說明書正確配戴,並定期回診。
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的隱形眼鏡類型及其規格均未在提供的來源中找到支持,因此所有的具體聲明都被視為幻覺。
    幻覺陳述 (8)
    • 威世VES 矽水膠月拋【日暮晨曦】是「彩色月拋型」隱形眼鏡
    • 屬於每月拋棄型
    • 鏡片材質為矽水膠
    • 基弧:8.7mm
    • 鏡片直徑:14.0mm

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 威世VES 矽水膠月拋【日暮晨曦】為每月拋棄型隱形眼鏡
    II 重要
    III 補充
    AI 回覆
    威世VES 矽水膠月拋【日暮晨曦】是「彩色月拋型」隱形眼鏡,屬於每月拋棄型,鏡片材質為矽水膠。主要規格如下: - 基弧:8.7mm - 鏡片直徑:14.0mm - 著色直徑:12.8mm - 含水量:47% - 包裝規格:1片裝/盒 如需更多詳細資訊或其他款式介紹,歡迎再詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 威世VES 矽水膠月拋為每月拋棄型隱形眼鏡
    Judge 推理
    回覆中提到的隱形眼鏡類型及其特性是正確的,但未完全涵蓋每月拋棄型的描述,僅提及了部分規格,導致完整性得分較低。
  • 案例 9674634F

    CHA CHA 美瞳有實體店面嗎?

    已完成
    第 1 次嘗試 · 已完成 31733ms
    腳本進度 · 知識與產品查詢 ◐ 進行中
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ◐ 已呼叫 1 / 2 個工具
    已呼叫:search_knowledges 未呼叫:search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USERCHA CHA 美瞳有實體店面嗎?
    BOTCHA CHA 美瞳目前是線上配送平台,沒有實體店面喔!您可以直接透過官網下單,選擇藥妝店(康是美、屈臣氏)或超商取貨,非常方便。如果還有其他問題,歡迎再問我 😊

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_378761 · 請問CHA CHA美瞳的實體店面在哪裡?
      問題
      請問CHA CHA美瞳的實體店面在哪裡?
      回答
      CHA CHA 美瞳目前是線上配送平台,沒有實體店面喔!如果您需要預訂,可以直接透過官網下單,享受便利的藥妝店 (康是美及屈臣氏) 或超商取貨服務。若有其他問題,也歡迎隨時詢問我!
    意料之外 (4)
    • ! know_378716 · 我沒有會員,怎麼在CHA CHA官網下單?
      問題
      我沒有會員,怎麼在CHA CHA官網下單?
      回答
      在CHA CHA官網下單前,請先成為會員。您可以點選官網註冊成為會員,完成基本資料後,即可享受線上購物和取貨服務。若已是會員,請先登入帳號再進行購買。若有其他疑問,歡迎隨時聯繫客服!
    • ! know_378764 · 請問 CHA CHA 美瞳 的會員續會資格條件是什麼?
      問題
      請問 CHA CHA 美瞳 的會員續會資格條件是什麼?
      回答
      透過每日前一天回推一年內的實際消費金額,即可判定是否符合續會資格。符合條件的會員,續會資格會在到期日隔日啟用。
    • ! know_378736 · 是否可提供刷卡付款?
      問題
      是否可提供刷卡付款?
      回答
      CHA CHA官網目前皆以貨到付款方式,因此, 屈臣氏或康是美取貨者,門市有提供刷卡服務 ; 7-11或全家取貨者,僅接受現金支付!
    • ! know_378762 · 如何在系統中新增特約取貨店家?
      問題
      如何在系統中新增特約取貨店家?
      回答
      若要新增特約取貨店家,請在下單流程的第一步選擇取貨通路,點擊「提交配送單」後,系統會引導您至下一步,選擇您想指定的門市店面。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,並且所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    CHA CHA 美瞳目前是線上配送平台,沒有實體店面喔!您可以直接透過官網下單,選擇藥妝店(康是美、屈臣氏)或超商取貨,非常方便。如果還有其他問題,歡迎再問我 😊
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • CHA CHA 美瞳目前是線上配送平台
    • 沒有實體店面
    • 可以直接透過官網下單
    • 享受便利的藥妝店或超商取貨服務
    Judge 推理
    這個回答完全符合用戶的問題,並且涵蓋了所有關鍵點,沒有遺漏或錯誤的資訊。
  • 案例 90E95FD6

    Lens++ 抗藍光彩色日拋每包有幾片?

    已完成
    第 1 次嘗試 · 已完成 23333ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_knowledges、search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USERLens++ 抗藍光彩色日拋每包有幾片?
    BOTLens++ 抗藍光彩色日拋每包是 10 入裝,也就是每包有 10 片。若您需要不同顏色(如星韻青、星韻褐、星韻灰、星韻棕、星韻黑),每款都是 10 入包裝喔!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44633 · Lens++ 抗藍光彩色日拋【星韻棕】(10入)
      標題
      Lens++ 抗藍光彩色日拋【星韻棕】(10入)
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI 的回覆中提到的每包 10 片的資訊並未在提供的來源中找到支持,因此這些聲明被判定為虛構。
    幻覺陳述 (2)
    • Lens++ 抗藍光彩色日拋每包是 10 入裝,也就是每包有 10 片。
    • 每款都是 10 入包裝喔!

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    Lens++ 抗藍光彩色日拋每包是 10 入裝,也就是每包有 10 片。若您需要不同顏色(如星韻青、星韻褐、星韻灰、星韻棕、星韻黑),每款都是 10 入包裝喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • Lens++ 抗藍光彩色日拋每包包含 10 片
    Judge 推理
    回覆正確地回答了每包的片數,並且提供了額外的顏色選擇資訊,符合完整性要求。
  • 案例 A772DD91

    拆封商品可以退換嗎

    已完成
    第 1 次嘗試 · 已完成 28305ms
    腳本進度 · 知識與產品查詢 ◐ 進行中
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ◐ 已呼叫 1 / 2 個工具
    已呼叫:search_knowledges 未呼叫:search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER拆封商品可以退換嗎
    BOT若商品已開封,恕無法辦理退換貨。根據消費者保護法,您享有7天鑑賞期(自收到貨日起算,包括國定假日),但商品必須全新未開封且包裝完整才能退換貨。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_378744 · 商品已拆封但發現度數或款式不適合,可以怎麼處理?
      問題
      商品已拆封但發現度數或款式不適合,可以怎麼處理?
      回答
      若商品已開封,恕無法辦理退換貨。根據消費者保護法,您享有7天鑑賞期(自收到貨日起算,包括國定假日),但商品必須全新未開封且包裝完整才能退換貨。超過7天則不接受退換貨(包含商品短少情況亦不補寄)。下單即表示同意以上條款。
    意料之外 (4)
    • ! know_378750 · 訂單滿額贈品需要部分退貨,應該怎麼辦?
      問題
      訂單滿額贈品需要部分退貨,應該怎麼辦?
      回答
      退貨時,若涉及滿額贈品,必須一併退回(商品需全新且未拆封),否則贈品將按單價扣除,款項將從退款中扣除。
    • ! know_378748 · 如果辦理退貨的優惠組合商品只退其中一件,會怎麼處理?
      問題
      如果辦理退貨的優惠組合商品只退其中一件,會怎麼處理?
      回答
      若退貨的優惠組合商品只退其中一件,則剩餘商品將恢復原價。請聯繫客服協助辦理退貨事宜!
    • ! know_378753 · 退貨包裹與退貨明細不符會怎麼處理?
      問題
      退貨包裹與退貨明細不符會怎麼處理?
      回答
      若退貨包裹與退貨明細不符,將依實際收到的商品受理退貨,恕不另行通知。請在辦理退貨時確認商品項目。
    • ! know_378725 · 商品可以用紅利點數折抵嗎?
      問題
      商品可以用紅利點數折抵嗎?
      回答
      請注意,若商品標示為「福利品」或在加入購物車後出現藍色星星符號,則該商品屬於特殊優惠商品,不適用紅利點數或購物金折抵。其他商品則可以使用紅利點數折抵,折抵規則請參考相關說明。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料中的資訊,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    90.0%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 超過7天則不接受退換貨(包含商品短少情況亦不補寄)
    • 下單即表示同意以上條款
    II 重要
    0.0% · w 30%
    • 包含商品短少情況亦不補寄
    III 補充
    AI 回覆
    若商品已開封,恕無法辦理退換貨。根據消費者保護法,您享有7天鑑賞期(自收到貨日起算,包括國定假日),但商品必須全新未開封且包裝完整才能退換貨。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 若商品已開封,恕無法辦理退換貨
    • 您享有7天鑑賞期(自收到貨日起算,包括國定假日)
    • 商品必須全新未開封且包裝完整才能退換貨
    • 超過7天則不接受退換貨
    • 下單即表示同意以上條款
    II 重要限制 w 30%
    • 包含商品短少情況亦不補寄
    Judge 推理
    回覆內容針對用戶的問題進行了回答,並且在正確性上沒有問題,但缺少了幾個關鍵點,包括超過7天的退換貨政策及下單即表示同意條款,導致完整性得分偏低。
  • 案例 7BB9C8F2

    Lens++ 彩色日拋【星環金棕】是什麼設計?

    已完成
    第 1 次嘗試 · 已完成 32987ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_knowledges、search_products_stock
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USERLens++ 彩色日拋【星環金棕】是什麼設計?
    BOTLens++ 彩色日拋【星環金棕】的設計特色如下: - 直徑 14.2mm,著色直徑 13.6mm,BC 8.7mm,含水量 55% - 採用放射狀金粉設計搭配外環加深,勾勒出立體深邃的瞳孔線條 - 在光線下眼中會閃爍金粉微光,展現自信與高級奢華質感 這款鏡片主打高級奢華、星光華麗與放大自信的效果!如果還有其他想了解的細節歡迎再問我唷 😊

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44544 · Lens++ 彩色日拋【星環金棕】(10入) — 直徑 14.2mm|著色直徑 13.6mm|BC 8.7mm|含水量 55% 放射狀金粉設計x外環加深,勾勒出立體深邃的
      標題
      Lens++ 彩色日拋【星環金棕】(10入)
      摘要
      直徑 14.2mm|著色直徑 13.6mm|BC 8.7mm|含水量 55% 放射狀金粉設計x外環加深,勾勒出立體深邃的瞳孔線條。在光線下眼中閃爍金粉微光,展現自信與高級奢華質感。 #高級奢華 #星光華麗 #放大自信
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的Lens++ 彩色日拋【星環金棕】的設計特色並未在提供的來源中找到支持,因此所有的事實陳述都被視為幻覺。
    幻覺陳述 (1)
    • Lens++ 彩色日拋【星環金棕】的設計特色如下: - 直徑 14.2mm,著色直徑 13.6mm,BC 8.7mm,含水量 55% - 採用放射狀金粉設計搭配外環加深,勾勒出立體深邃的瞳孔線條 - 在光線下眼中會閃爍金粉微光,展現自信與高級奢華質感 這款鏡片主打高級奢華、星光華麗與放大自信的效果!

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    Lens++ 彩色日拋【星環金棕】的設計特色如下: - 直徑 14.2mm,著色直徑 13.6mm,BC 8.7mm,含水量 55% - 採用放射狀金粉設計搭配外環加深,勾勒出立體深邃的瞳孔線條 - 在光線下眼中會閃爍金粉微光,展現自信與高級奢華質感 這款鏡片主打高級奢華、星光華麗與放大自信的效果!如果還有其他想了解的細節歡迎再問我唷 😊
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • Lens++ 彩色日拋【星環金棕】具有放射狀金粉設計
    • 外環加深,勾勒出立體深邃的瞳孔線條
    Judge 推理
    這個回答完整地涵蓋了使用者的問題,詳細描述了Lens++ 彩色日拋【星環金棕】的設計特色,並且所有的資訊都與正確答案一致。
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
90.0%
[70.0% – 100.0%] · n=10
F1 80.0% · 召回 90.0% · 精確 75.0%
10 / 10 適用
用對工具 召回
tool_usage
10.0%
[0.0% – 30.0%] · n=10
F1 16.7% · 召回 15.0% · 精確 90.0%
10 / 10 適用
答得到位 平均
answer_quality
69.3%
[47.3% – 86.3%] · n=10
10 / 10 適用
  • 案例 92DD6B40

    我訂單編號是 TS100001,可以查詢一下出貨進度嗎

    已完成
    第 1 次嘗試 · 已完成 21246ms
    腳本進度 · 出貨進度查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 出貨進度查詢
    腳本規則
    - 當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字,請協助查詢訂單並提供訂單資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 1 項
    未收集:訂單編號
    腳本規則
    ### 訂單欄位 — 訂單查詢時需提供的資訊
    - 訂單編號 [text]: 訂單格式為 17 碼
    預期 / 已收集 (0/1)
    欄位 預期值(generate) 已收集(run)
    訂單編號 A12345678901234 — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1.當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字
    
    2. 請先回覆以下資訊:「請提供訂單號碼或手機編號,我會儘速協助查詢」,索取到訂單編號再去查詢訂單資訊,若訂單編號或手機號碼格式錯誤,請持續向消費者索取
    
    2-1 若使用者提供的訂單編號或手機號碼可以查到訂單,請回覆以下資訊:
    「我已經找到您的訂單資訊!以下是您的訂單詳情:
    
    - 訂單編號:
    - 訂單日期:
    - 訂單狀態:
    - 送貨方式:
    - 配送資訊:{{門市名稱}} {{取貨門市}} {{送貨地址}}
    - 送貨狀態:
    - 配送編號:{若訂單沒有配送編號則不提供這個資訊,請不要標示「尚未出貨」。}
    - 物流查詢:{如果是全家 / 7-11 請參考下方備註提供對應的物流配送狀態查詢網址。但如果是康是美 / 屈臣氏 請告知消費者「無系統可查詢,請留意狀態發貨後2-5天會送達門市請留意到貨簡訊。」}
    - 訂單合計金額:
    - 訂購商品清單:
    」
    
    2-2 若使用者提供的訂單編號查不到訂單,請回覆以下資訊:「查不到相關訂單資訊,請再次確認訂單編號是否正確,或到會員中心查詢」
    
    2-3 若使用者強調訂單狀態一直處於「已確認」,請告知消費者「訂單狀態與送貨狀態是分開的,訂單狀態只會有【處理中】及【已確認】,若您自行在官網上查詢訂單,請往下滑,就會看到送貨狀態的資訊唷」
    
    3. 請注意,出貨工作天數5-7天,不含下單當日、周末及國定例假日。若使用者詢問為什麼已經超過7天還沒出貨,請判斷下訂單的時間到使用者詢問的時間,是否真的超過7個「工作天」還未出貨。請先表達歉意,再解釋。
    
    4. 如有使用者詢問的訂單已經發貨許久,卻沒有收到到貨簡訊,或已經等候超過正常天數且仍未收到到貨通知,請在回報完訂單狀態後,立即轉接真人客服處理。
    
    備註:
    1. 7-11 超商取貨付款 配送查詢連結: 「https://eservice.7-11.com.tw/E-Tracking/search.aspx」
    2. 全家 超商取貨付款 配送查詢連結: 「https://fmec.famiport.com.tw/FP_Entrance/QueryBox」
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → shopline_search_orders
    USER我訂單編號是 TS100001,可以查詢一下出貨進度嗎
    BOT查不到相關訂單資訊,請再次確認訂單編號是否正確,或到會員中心查詢。

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2122 · 出貨進度查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • shopline_search_orders
    TP 1
    FP 0
    FN 0

    回答品質

    80.0%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 請提供訂單號碼或手機編號
    II 重要
    III 補充
    • 我會儘速協助查詢
    AI 回覆
    查不到相關訂單資訊,請再次確認訂單編號是否正確,或到會員中心查詢。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供訂單號碼或手機編號
    III 補充說明 w 10%
    • 我會儘速協助查詢
    Judge 推理
    回覆雖然有針對查詢進度的問題,但未依規則索取訂單號碼或手機編號,導致完整性不足。
  • 案例 92BA7E83

    我收到的商品有錯誤,訂單編號是 TS100001,該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 25749ms
    腳本進度 · 商品與訂單不符 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 商品與訂單不符
    腳本規則
    - 當使用者提到「收到錯誤度數 / 收到商品有少 / 商品內容物與訂單不符 / 收到的東西不一樣 / 出錯商品 / 出錯度數 / 出錯款式 / 我收到不是我的商品 / 我收到錯誤度數 / 我收到不是我的度數」等相關消費者訂單商品與實際收到包裹商品有錯誤之文字,請協助查詢訂單並事前確認所需資料,讓真人客服可於收到完整資料第一時間可以安排處理
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 1 項
    未收集:訂單編號
    腳本規則
    ### 商品資訊 — 收到錯誤商品相關資訊
    - 訂單編號 [text] (必填): 訂單格式為 17 碼
    預期 / 已收集 (0/1)
    欄位 預期值(generate) 已收集(run)
    訂單編號 12345678901234567 — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1. 當使用者提到「收到商品有少 / 商品內容物與訂單不符 / 收到的東西不一樣 / 出錯商品 / 出錯度數 / 出錯款式 / 我收到不是我的商品 / 我收到錯誤度數 / 我收到不是我的度數」等相關消費者訂單商品與實際收到包裹商品有錯誤之文字
    
    2. 請先回覆以下資訊:「真的很抱歉,造成您的困擾。為加速真人客服處理,請先提供訂單編號,待客服接線後立即為您處理」,若訂單編號格式錯誤,請持續向消費者索取
    
    3. 當使用者提供訂單編號後,請回覆以下:「感謝您的提供,客服接線後將立即為您處理,為加速真人客服處理,請一起提供含有內容物的包裹照片,以便核對,謝謝」
    
    4. 使用者提供資訊後,立即轉接真人客服
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER我收到的商品有錯誤,訂單編號是 TS100001,該怎麼辦?
    BOT真的很抱歉,造成您的困擾。為加速真人客服處理,請先提供訂單編號,待客服接線後立即為您處理。 您提供的訂單編號格式不正確,請再確認一下,正確的訂單編號應為 17 碼數字。 麻煩您再提供一次正確的訂單編號,謝謝!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2278 · 商品與訂單不符
    TP 1
    FP 0
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    TP 0
    FP 0
    FN 1

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    50.0% · w 10%
    • 造成您的困擾,真的很抱歉
    • 待客服接線後立即為您處理
    AI 回覆
    真的很抱歉,造成您的困擾。為加速真人客服處理,請先提供訂單編號,待客服接線後立即為您處理。 您提供的訂單編號格式不正確,請再確認一下,正確的訂單編號應為 17 碼數字。 麻煩您再提供一次正確的訂單編號,謝謝!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請先提供訂單編號
    III 補充說明 w 10%
    • 造成您的困擾,真的很抱歉
    • 待客服接線後立即為您處理
    Judge 推理
    回覆中已經包含了要求提供訂單編號的內容,符合核心必答的要求,但在補充內容上缺少了部分必要的道歉語句,且錯誤地指出訂單編號格式不正確,這與使用者的實際情況不符。
    錯誤陳述 (1)
    • 您提供的訂單編號格式不正確,請再確認一下,正確的訂單編號應為 17 碼數字。
  • 案例 6CA34466

    請問 oddI's 固定軸日拋 透光棕 什麼時候會補貨嗎?

    已完成
    第 1 次嘗試 · 已完成 25441ms
    腳本進度 · 商品缺貨 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 商品缺貨
    腳本規則
    - 當使用者提到「這個還會補貨嗎 / 何時會補貨 / 還會補貨嗎 / 這個缺貨還會補嗎 / 想問這個什麼時候有貨 / 還有貨嗎」等相關補貨文字,請協助確認使用者想要詢問的商品品牌、商品名稱及商品度數
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 1 項
    未收集:請文字提供欲詢問的品牌、款式名稱及度數
    腳本規則
    ### 商品欄位 — 欲詢問商品相關資訊
    - 請文字提供欲詢問的品牌、款式名稱及度數 [text] (必填): 請使用者提供缺貨的品牌、款式名稱及度數
    預期 / 已收集 (0/1)
    欄位 預期值(generate) 已收集(run)
    請文字提供欲詢問的品牌、款式名稱及度數 Nike Air Max 270, 10.5 — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1.當使用者提到「這個還會補貨嗎 / 何時會補貨 / 還會補貨嗎 / 這個缺貨還會補嗎 / 想問這個什麼時候有貨 / 還有貨嗎」等相關補貨文字
    
    2. 請先回覆以下資訊:「請提供欲詢問的商品品牌、商品名稱及商品度數,這邊立即為您確認商品庫存」,索取到商品品牌、商品名稱及商品度數後再去查詢其對應的商品名稱之庫存。若商品品牌、商品名稱及商品度數尚未提供,請持續向消費者索取。
    
    2-1 若使用者提供的商品品牌、商品名稱及商品度數,經確認商品庫存後,是還有貨的/有庫存的,請回覆:
    
    「您詢問的商品經查詢,目前是還有貨可以下單喔!以下提供連結參考
    
    -商品品牌:
    -商品名稱:
    -商品度數:
    -商品價格:
    -商品連結:
    -商品圖片:
    」
    
    2.2 若使用者提供的商品品牌、商品名稱及商品度數,經確認商品庫存後,是沒有庫存/庫存為0或負的,請回覆:
    
    「很抱歉,此商品目前缺貨中,建議您可以先在商品頁面開啟【貨到通知我】,補貨完成後系統會第一時間發送E-mail通知!再次感謝您的耐心與體諒」
    
    2.3 若使用者詢問到的商品名稱提到以下:
    {
    - Lens++ 固定軸
    - 星月藍灰
    - 星月棕
    - 星月粉棕
    - 星月灰
    - oddI's 固定軸
    - 柔澤藍
    - 柔澤灰
    - 透光棕
    }
    
    請告知顧客,這幾款固定軸日拋缺度預計於 5 月中旬補貨,但實際補貨時間將依照品牌供貨為主。」
    
    2.4 若使用者是提供圖片,請告知消費者:「由於AI無法判讀圖片,請以文字方式提供商品品牌、商品名稱及商品度數,以利儘速為您確認,謝謝」
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER請問 oddI's 固定軸日拋 透光棕 什麼時候會補貨嗎?
    BOT您好,我是 CHA CHA AI 小編 🤖,很高興為您服務! 您詢問的 oddI's 固定軸日拋「透光棕」這款,目前固定軸日拋缺度預計於 5 月中旬補貨,但實際補貨時間將依照品牌供貨為主。建議您可以先在商品頁面開啟【貨到通知我】,補貨完成後系統會第一時間發送 E-mail 通知您唷!感謝您的耐心等候 😊

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2280 · 商品缺貨
    TP 1
    FP 0
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_products_stock
    TP 0
    FP 0
    FN 1

    回答品質

    93.3%
    相關性
    100.0%
    完整性
    80.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    您好,我是 CHA CHA AI 小編 🤖,很高興為您服務! 您詢問的 oddI's 固定軸日拋「透光棕」這款,目前固定軸日拋缺度預計於 5 月中旬補貨,但實際補貨時間將依照品牌供貨為主。建議您可以先在商品頁面開啟【貨到通知我】,補貨完成後系統會第一時間發送 E-mail 通知您唷!感謝您的耐心等候 😊
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 這款固定軸日拋透光棕預計於 5 月中旬補貨
    II 重要限制 w 30%
    • 實際時間會依品牌供貨為主
    Judge 推理
    回覆中提到的補貨時間與品牌供貨的依據符合事實,且回答了使用者的問題。雖然回覆中包含了額外的建議,但未完全遵循規則中要求的索取商品品牌、名稱及度數,因此在完整性上略有扣分。
  • 案例 5ABC8CC2

    這個透光棕的隱形眼鏡還會補貨嗎?

    已完成
    第 1 次嘗試 · 已完成 13995ms
    腳本進度 · 商品缺貨 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 商品缺貨
    腳本規則
    - 當使用者提到「這個還會補貨嗎 / 何時會補貨 / 還會補貨嗎 / 這個缺貨還會補嗎 / 想問這個什麼時候有貨 / 還有貨嗎」等相關補貨文字,請協助確認使用者想要詢問的商品品牌、商品名稱及商品度數
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 1 項
    未收集:請文字提供欲詢問的品牌、款式名稱及度數
    腳本規則
    ### 商品欄位 — 欲詢問商品相關資訊
    - 請文字提供欲詢問的品牌、款式名稱及度數 [text] (必填): 請使用者提供缺貨的品牌、款式名稱及度數
    預期 / 已收集 (0/1)
    欄位 預期值(generate) 已收集(run)
    請文字提供欲詢問的品牌、款式名稱及度數 Nike Air Max 270, 10.5 — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1.當使用者提到「這個還會補貨嗎 / 何時會補貨 / 還會補貨嗎 / 這個缺貨還會補嗎 / 想問這個什麼時候有貨 / 還有貨嗎」等相關補貨文字
    
    2. 請先回覆以下資訊:「請提供欲詢問的商品品牌、商品名稱及商品度數,這邊立即為您確認商品庫存」,索取到商品品牌、商品名稱及商品度數後再去查詢其對應的商品名稱之庫存。若商品品牌、商品名稱及商品度數尚未提供,請持續向消費者索取。
    
    2-1 若使用者提供的商品品牌、商品名稱及商品度數,經確認商品庫存後,是還有貨的/有庫存的,請回覆:
    
    「您詢問的商品經查詢,目前是還有貨可以下單喔!以下提供連結參考
    
    -商品品牌:
    -商品名稱:
    -商品度數:
    -商品價格:
    -商品連結:
    -商品圖片:
    」
    
    2.2 若使用者提供的商品品牌、商品名稱及商品度數,經確認商品庫存後,是沒有庫存/庫存為0或負的,請回覆:
    
    「很抱歉,此商品目前缺貨中,建議您可以先在商品頁面開啟【貨到通知我】,補貨完成後系統會第一時間發送E-mail通知!再次感謝您的耐心與體諒」
    
    2.3 若使用者詢問到的商品名稱提到以下:
    {
    - Lens++ 固定軸
    - 星月藍灰
    - 星月棕
    - 星月粉棕
    - 星月灰
    - oddI's 固定軸
    - 柔澤藍
    - 柔澤灰
    - 透光棕
    }
    
    請告知顧客,這幾款固定軸日拋缺度預計於 5 月中旬補貨,但實際補貨時間將依照品牌供貨為主。」
    
    2.4 若使用者是提供圖片,請告知消費者:「由於AI無法判讀圖片,請以文字方式提供商品品牌、商品名稱及商品度數,以利儘速為您確認,謝謝」
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER這個透光棕的隱形眼鏡還會補貨嗎?
    BOT請提供欲詢問的商品品牌、商品名稱及商品度數,這邊立即為您確認商品庫存 😊

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2280 · 商品缺貨
    TP 1
    FP 0
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • search_products_stock
    TP 0
    FP 0
    FN 1

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    請提供欲詢問的商品品牌、商品名稱及商品度數,這邊立即為您確認商品庫存 😊
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供欲詢問的商品品牌
    • 請提供商品名稱
    • 請提供商品度數
    III 補充說明 w 10%
    • 這邊立即為您確認商品庫存
    Judge 推理
    這個回覆完全符合使用者的詢問,並且正確地索取了所需的商品資訊,符合補貨查詢的規範。
  • 案例 B58B90C1

    隱形眼鏡的保養需要注意什麼?

    已完成
    第 1 次嘗試 · 已完成 30751ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [text] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [text] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    2. search_products_stock — 根據使用者需求呼叫電商 API 即時查詢商品資料,包含名稱、選項、價格、庫存等
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    **No results response format**: When tools return no results, use language-appropriate responses:
      • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
      • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
      • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
      • For other languages: Use equivalent expressions in the target language
    
    ### Core Principles
    All answers MUST be based on <tool: search_unified> tool output, NEVER fabricate
    NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    
    ### User Intent Analysis (CRITICAL)
    **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    
    ### Conversation History Check (Avoid Repetition)
    **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    
    ### Response & Format Requirements
    **Product recommendation rules** (STRICT criteria):
      • **ONLY recommend products when user explicitly uses these phrases**:
        • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
        • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
        • '比較' (compare), '差別' (difference between products)
      • **NEVER recommend products for**:
        • Pure informational questions (how/why/what/when/where)
        • Knowledge-seeking queries without purchase intent
        • General curiosity about topics
        • Questions answered sufficiently with knowledge content
      • **FORBIDDEN phrases that trigger unwanted recommendations**:
        • '不過我可以為您推薦一些產品'
        • '如果您有興趣,我可以推薦'
        • '我們有以下產品可以考慮'
        • Any proactive product suggestions when not requested
      • **When products ARE appropriate**: Provide ONLY these details:
        • Product Title
        • Price (also show price_sale if available)
        • Key specifications
        • One-sentence recommendation reason
        • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    **Knowledge information display**: When providing knowledge answers:
      • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
      • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
      • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    
    ### Prohibited Terms
    MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    Always rephrase naturally, making responses sound like a helpful human assistant
    
    **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER隱形眼鏡的保養需要注意什麼?
    BOT目前沒有關於「隱形眼鏡保養需要注意什麼」的詳細說明。如果您有其他相關問題,歡迎再詢問,或是需要更完整的資訊可以輸入「真人客服」轉接專人協助唷!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1921 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    66.7%
    Precision
    100.0%
    Recall
    50.0%
    F1
    66.7%
    預期 (2)
    • search_knowledges
    • search_products_stock
    TP 1
    FP 0
    FN 1

    回答品質

    0.0%
    相關性
    0.0%
    完整性
    0.0%
    正確性
    0.0%
    AI 回覆
    目前沒有關於「隱形眼鏡保養需要注意什麼」的詳細說明。如果您有其他相關問題,歡迎再詢問,或是需要更完整的資訊可以輸入「真人客服」轉接專人協助唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 隱形眼鏡的保養包括清潔、消毒、沖洗、浸泡和保存等多項功能
    • 使用合適的保養液如麥迪森歐可潔多功能保養液能幫助消毒和保持鏡片濕潤
    II 重要限制 w 30%
    • 請遵照相關使用說明進行操作
    Judge 推理
    這個回覆完全沒有回答用戶的問題,且錯誤地聲稱沒有相關的詳細說明。回覆中缺少了所有關於隱形眼鏡保養的關鍵資訊,並且未遵循語言一致性的規則。
    遺漏要點 (3)
    • 隱形眼鏡的保養包括清潔、消毒、沖洗、浸泡和保存等多項功能
    • 使用合適的保養液如麥迪森歐可潔多功能保養液能幫助消毒和保持鏡片濕潤
    • 請遵照相關使用說明進行操作
    錯誤陳述 (1)
    • 目前沒有關於「隱形眼鏡保養需要注意什麼」的詳細說明
  • 案例 BEBAE4B8

    如果我的訂單狀態是處理中,可以怎麼取消訂單?

    已完成
    第 1 次嘗試 · 已完成 17866ms
    腳本進度 · 修改/取消訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 修改/取消訂單
    腳本規則
    - 當使用者提到「取消訂單/修改訂單/訂單可以改嗎/可以新增品項嗎/可以取消嗎/怎麼取消」等修改訂購品項內容或取消訂單相關文字,請協助查詢訂單狀態並給予解決方案
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 2 個工具
    未呼叫:shopline_search_orders、search_knowledges
    腳本規則
    1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
    2. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1. 當使用者提到「取消訂單/修改訂單/訂單可以改嗎/可以新增品項嗎/可以取消嗎/怎麼取消」等修改訂購品項內容或取消訂單相關文字
    
    2. 請先回覆以下資訊:「請提供訂單號碼或手機編號,我會儘速協助查詢」,索取到訂單編號再去查詢訂單資訊,若訂單編號或手機號碼格式錯誤,請持續向消費者索取
    
    2-1 若使用者提供的訂單編號或手機號碼可以查到訂單,請回覆以下資訊:「
    我已經找到您的訂單資訊!以下是您的訂單詳情:
    
    - 訂單編號:
    - 訂單日期:
    - 訂單狀態:{若訂單狀態為「處理中」,請告知消費者「AI客服無法協助修改或取消訂單,您可以自行取消並重新下單」,並參考知識庫,提供消費者自行透過會員中心取消訂單的教學步驟。若訂單狀態為「已確認」,請告知消費者「您的訂單已由倉儲人員確認並進入出貨程序,目前已無法取消或修改」,並參考知識庫,告知消費者若不需要包裹,可不取貨,但未取超過2次,後續可能無法再下單}
    - 訂單合計金額:
    - 訂購商品清單:
    」
    
    2.2 若使用者提供的訂單編號查不到訂單,請回覆以下資訊:「查不到相關訂單資訊,請再次確認訂單編號是否正確,或到會員中心查詢」
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER如果我的訂單狀態是處理中,可以怎麼取消訂單?
    BOT您好,我是 CHA CHA AI 小編 🤖,很高興為您服務! 請提供您的訂單號碼或手機編號,我會儘速協助查詢。確認訂單狀態後,會告訴您如何取消訂單唷!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 2615 · 修改/取消訂單
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (2)
    • shopline_search_orders
    • search_knowledges
    TP 0
    FP 0
    FN 2

    回答品質

    46.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 如果您的訂單狀態是「處理中」,AI客服無法協助修改或取消訂單
    • 您可以自行取消並重新下單
    • 登入會員後,點選「配送單」來取消訂單
    II 重要
    0.0% · w 30%
    • 若您需要更詳細的步驟,可以參考會員中心的教學
    III 補充
    AI 回覆
    您好,我是 CHA CHA AI 小編 🤖,很高興為您服務! 請提供您的訂單號碼或手機編號,我會儘速協助查詢。確認訂單狀態後,會告訴您如何取消訂單唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 如果您的訂單狀態是「處理中」,AI客服無法協助修改或取消訂單
    • 您可以自行取消並重新下單
    • 登入會員後,點選「配送單」來取消訂單
    II 重要限制 w 30%
    • 若您需要更詳細的步驟,可以參考會員中心的教學
    Judge 推理
    AI的回覆雖然有詢問訂單號碼或手機編號,但未提供關於如何取消訂單的具體資訊,且未遵循規則中對於「處理中」狀態的回覆要求,因此在完整性和正確性上得分較低。
  • 案例 B2A2E9D1

    出貨進度查詢要提供什麼資訊?

    已完成
    第 1 次嘗試 · 已完成 31307ms
    腳本進度 · 出貨進度查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 出貨進度查詢
    腳本規則
    - 當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字,請協助查詢訂單並提供訂單資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 1 項
    未收集:訂單編號
    腳本規則
    ### 訂單欄位 — 訂單查詢時需提供的資訊
    - 訂單編號 [text]: 訂單格式為 17 碼
    預期 / 已收集 (0/1)
    欄位 預期值(generate) 已收集(run)
    訂單編號 A12345678901234 — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1.當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字
    
    2. 請先回覆以下資訊:「請提供訂單號碼或手機編號,我會儘速協助查詢」,索取到訂單編號再去查詢訂單資訊,若訂單編號或手機號碼格式錯誤,請持續向消費者索取
    
    2-1 若使用者提供的訂單編號或手機號碼可以查到訂單,請回覆以下資訊:
    「我已經找到您的訂單資訊!以下是您的訂單詳情:
    
    - 訂單編號:
    - 訂單日期:
    - 訂單狀態:
    - 送貨方式:
    - 配送資訊:{{門市名稱}} {{取貨門市}} {{送貨地址}}
    - 送貨狀態:
    - 配送編號:{若訂單沒有配送編號則不提供這個資訊,請不要標示「尚未出貨」。}
    - 物流查詢:{如果是全家 / 7-11 請參考下方備註提供對應的物流配送狀態查詢網址。但如果是康是美 / 屈臣氏 請告知消費者「無系統可查詢,請留意狀態發貨後2-5天會送達門市請留意到貨簡訊。」}
    - 訂單合計金額:
    - 訂購商品清單:
    」
    
    2-2 若使用者提供的訂單編號查不到訂單,請回覆以下資訊:「查不到相關訂單資訊,請再次確認訂單編號是否正確,或到會員中心查詢」
    
    2-3 若使用者強調訂單狀態一直處於「已確認」,請告知消費者「訂單狀態與送貨狀態是分開的,訂單狀態只會有【處理中】及【已確認】,若您自行在官網上查詢訂單,請往下滑,就會看到送貨狀態的資訊唷」
    
    3. 請注意,出貨工作天數5-7天,不含下單當日、周末及國定例假日。若使用者詢問為什麼已經超過7天還沒出貨,請判斷下訂單的時間到使用者詢問的時間,是否真的超過7個「工作天」還未出貨。請先表達歉意,再解釋。
    
    4. 如有使用者詢問的訂單已經發貨許久,卻沒有收到到貨簡訊,或已經等候超過正常天數且仍未收到到貨通知,請在回報完訂單狀態後,立即轉接真人客服處理。
    
    備註:
    1. 7-11 超商取貨付款 配送查詢連結: 「https://eservice.7-11.com.tw/E-Tracking/search.aspx」
    2. 全家 超商取貨付款 配送查詢連結: 「https://fmec.famiport.com.tw/FP_Entrance/QueryBox」
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER出貨進度查詢要提供什麼資訊?
    BOT查詢出貨進度時,您只需要登入會員後,點選「配送單」即可追蹤您的訂單狀態。不同狀態會顯示在訂單頁面,例如:處理中、已確認、已發貨、已送達、已完成或已取消。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 2122 · 出貨進度查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_knowledges
    TP 0
    FP 1
    FN 1

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 出貨進度查詢需要提供訂單編號或手機編號
    • 訂單編號格式為 17 碼
    II 重要
    III 補充
    AI 回覆
    查詢出貨進度時,您只需要登入會員後,點選「配送單」即可追蹤您的訂單狀態。不同狀態會顯示在訂單頁面,例如:處理中、已確認、已發貨、已送達、已完成或已取消。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 出貨進度查詢需要提供訂單編號或手機編號
    • 訂單編號格式為 17 碼
    Judge 推理
    回覆未能提供使用者查詢出貨進度所需的訂單編號或手機編號,且未遵循規則要求的回覆格式,因此在相關性、完整性和正確性上均表現不佳。
  • 案例 F4765FBC

    請問如果我收到商品,但發現度數買錯了,應該怎麼處理呢?

    已完成
    第 1 次嘗試 · 已完成 20467ms
    腳本進度 · 商品度數買錯 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 商品度數買錯
    腳本規則
    - 當使用者提到「收到商品但發現度數選錯 / 度數買錯 / 度數下單錯 / 不喜歡想退換貨 / 買太多想退換貨 」等相關因使用者操作錯誤而導致收到的商品有誤或個人因素之文字,請協助查詢訂單並事前確認所需資料,讓真人客服可於收到完整資料第一時間可以安排處理
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:訂單編號、錯誤商品名稱、度數、數量
    腳本規則
    ### 商品資訊 — 買錯度數商品相關資訊
    - 訂單編號 [text] (必填): 17碼
    - 錯誤商品名稱、度數、數量 [text] (必填): 為方便客服處理,請使用者提供他下單錯誤的商品名稱、度數,以及買錯的數量
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    訂單編號 12345678901234A — (對話未走到)
    錯誤商品名稱、度數、數量 藍光眼鏡, 1.75度, 2個 — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1.當使用者提到「收到商品發現買錯度數 / 度數下單錯 / 度數買錯」 等相關因使用者操作錯誤而導致收到的商品有誤或個人因素之文字
    
    2. 請先回覆以下資訊:「為加速真人客服處理,請先提供訂單編號以及買錯度數商品的名稱、度數以及數量,待客服接線後立即為您處理」,若訂單編號格式錯誤,請持續向消費者索取
    
    2-1 若使用者提供的所需資料後,轉接真人並回覆以下:「感謝您的提供,以下為您統整您所提供的內容,客服接線後將立即為您處理,謝謝!
    
    - 訂單編號:
    - 錯誤商品名稱:
    - 錯誤商品度數:
    - 錯誤商品數量:
    
    」
    
    2.2 若使用者回覆統整資訊有誤,請再次與消費者確認:「再請您提供完整訂單編號及瑕疵商品資訊」
    
    {上述資訊搜集完畢後,請分段發送以下訊息提醒消費者:
    
    「向您說明,若個人因素、度數下錯申請換貨,需向您酌收60元的運送費用。
    
    請注意:換貨只接受同品牌同價位之款式
    請將您欲換貨的商品寄回,待收到您的商品及運費並確認無誤後,我們會盡快安排換貨。感謝您 ❤️」
    並立即轉真人}
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER請問如果我收到商品,但發現度數買錯了,應該怎麼處理呢?
    BOT您好,我是 CHA CHA AI 小編 🤖,很高興為您服務! 為加速真人客服處理,請先提供您的訂單編號,以及買錯度數商品的名稱、度數和數量。待客服接線後會立即為您處理唷!麻煩您提供這些資訊,謝謝 😊

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 2232 · 商品度數買錯
    TP 1
    FP 0
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    TP 0
    FP 0
    FN 1

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    50.0% · w 30%
    • 換貨只接受同品牌同價位之款式
    • 若個人因素或度數下錯申請換貨,需向您酌收60元的運送費用
    III 補充
    0.0% · w 10%
    • 感謝您的配合
    AI 回覆
    您好,我是 CHA CHA AI 小編 🤖,很高興為您服務! 為加速真人客服處理,請先提供您的訂單編號,以及買錯度數商品的名稱、度數和數量。待客服接線後會立即為您處理唷!麻煩您提供這些資訊,謝謝 😊
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供訂單編號
    • 請提供買錯度數商品的名稱、度數和數量
    II 重要限制 w 30%
    • 換貨只接受同品牌同價位之款式
    • 若個人因素或度數下錯申請換貨,需向您酌收60元的運送費用
    III 補充說明 w 10%
    • 感謝您的配合
    Judge 推理
    回覆中提供了必要的訂單編號和商品資訊的要求,符合核心必答的要求,但缺少了關於換貨政策和運費的關鍵限制資訊,導致完整性不足。
  • 案例 AEBBEE9B

    我可以怎麼取消訂單?

    已完成
    第 1 次嘗試 · 已完成 19501ms
    腳本進度 · 修改/取消訂單 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 修改/取消訂單
    腳本規則
    - 當使用者提到「取消訂單/修改訂單/訂單可以改嗎/可以新增品項嗎/可以取消嗎/怎麼取消」等修改訂購品項內容或取消訂單相關文字,請協助查詢訂單狀態並給予解決方案
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 2 個工具
    未呼叫:shopline_search_orders、search_knowledges
    腳本規則
    1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
    2. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1. 當使用者提到「取消訂單/修改訂單/訂單可以改嗎/可以新增品項嗎/可以取消嗎/怎麼取消」等修改訂購品項內容或取消訂單相關文字
    
    2. 請先回覆以下資訊:「請提供訂單號碼或手機編號,我會儘速協助查詢」,索取到訂單編號再去查詢訂單資訊,若訂單編號或手機號碼格式錯誤,請持續向消費者索取
    
    2-1 若使用者提供的訂單編號或手機號碼可以查到訂單,請回覆以下資訊:「
    我已經找到您的訂單資訊!以下是您的訂單詳情:
    
    - 訂單編號:
    - 訂單日期:
    - 訂單狀態:{若訂單狀態為「處理中」,請告知消費者「AI客服無法協助修改或取消訂單,您可以自行取消並重新下單」,並參考知識庫,提供消費者自行透過會員中心取消訂單的教學步驟。若訂單狀態為「已確認」,請告知消費者「您的訂單已由倉儲人員確認並進入出貨程序,目前已無法取消或修改」,並參考知識庫,告知消費者若不需要包裹,可不取貨,但未取超過2次,後續可能無法再下單}
    - 訂單合計金額:
    - 訂購商品清單:
    」
    
    2.2 若使用者提供的訂單編號查不到訂單,請回覆以下資訊:「查不到相關訂單資訊,請再次確認訂單編號是否正確,或到會員中心查詢」
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER我可以怎麼取消訂單?
    BOT您好,我是 CHA CHA AI 小編 🤖,很高興為您服務!請提供您的訂單號碼或手機編號,我會儘速協助查詢。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 2615 · 修改/取消訂單
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (2)
    • shopline_search_orders
    • search_knowledges
    TP 0
    FP 0
    FN 2

    回答品質

    76.7%
    相關性
    90.0%
    完整性
    60.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 如果訂單狀態顯示「處理中」,則可以取消訂單。
    • 如果狀態顯示「已確認」或其他狀態,那就無法取消了。
    II 重要
    III 補充
    0.0% · w 10%
    • 操作方式可以參考這個圖示: https://shoplineimg.com/5ba1d32aacf49200054b696f/677bc0a31201fe93f0467462/1920x.png
    AI 回覆
    您好,我是 CHA CHA AI 小編 🤖,很高興為您服務!請提供您的訂單號碼或手機編號,我會儘速協助查詢。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供訂單號碼或手機編號,我會儘速協助查詢。
    • 如果訂單狀態顯示「處理中」,則可以取消訂單。
    • 如果狀態顯示「已確認」或其他狀態,那就無法取消了。
    III 補充說明 w 10%
    • 操作方式可以參考這個圖示: https://shoplineimg.com/5ba1d32aacf49200054b696f/677bc0a31201fe93f0467462/1920x.png
    Judge 推理
    回覆中有提到索取訂單號碼或手機編號,符合要求,但缺少了關於訂單狀態的具體說明,未能完整回答使用者的問題。
  • 案例 33157DC6

    如果我有瑕疵的隱形眼鏡,請問需要提供什麼資訊來退換貨嗎?

    已完成
    第 1 次嘗試 · 已完成 27882ms
    腳本進度 · 商品瑕疵退換貨 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 商品瑕疵退換貨
    腳本規則
    - 當使用者提到「產品有瑕疵 / 隱眼破片 / 隱眼瑕疵」 等相關產品瑕疵文字,請協助查詢訂單並事前確認所需資料,讓真人客服可於收到完整資料第一時間可以安排處理
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:訂單編號、瑕疵款式的名稱、度數、數量
    腳本規則
    ### 商品資訊 — 瑕疵品退換貨時需提供的資訊
    - 訂單編號 [text] (必填): 訂單格式為17碼
    - 瑕疵款式的名稱、度數、數量 [text] (必填): 以利客服辨識瑕疵商品細節,需請使用者提供相關資訊
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    訂單編號 A12345678901234 — (對話未走到)
    瑕疵款式的名稱、度數、數量 黑色運動鞋,42碼,1雙 — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1.當使用者提到「產品有瑕疵 / 隱眼破片 / 隱眼瑕疵」 等相關產品瑕疵文字
    
    2. 請先回覆以下資訊:「為加速真人客服處理,請先提供訂單編號、瑕疵商品的名稱/度數/數量,我會將資訊傳達給真人客服,待客服接手後可立即為您處理」,若訂單編號格式錯誤,請持續向消費者索取
    
    3. 當使用者提供訂單編號時,請回覆以下:「感謝您的提供,客服接線後將立即為您處理,為加速真人客服處理,請一起提供瑕疵商品細部照片和外包裝白色標籤照片,謝謝」
    
    4. 使用者提供資訊後,請立即轉接真人,勿再回覆「無法讀取圖片」等相關內容
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER如果我有瑕疵的隱形眼鏡,請問需要提供什麼資訊來退換貨嗎?
    BOT您好,我是 CHA CHA AI 小編 🤖,很高興為您服務! 如果您有瑕疵的隱形眼鏡需要退換貨,請先提供以下資訊,這樣我們可以加速真人客服的處理流程: 1. 訂單編號(17碼) 2. 瑕疵商品的名稱、度數、數量 請您提供以上資訊,我會將資料傳達給真人客服,待客服接手後可立即為您處理唷!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 2231 · 商品瑕疵退換貨
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    TP 0
    FP 0
    FN 1

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    • 請提供瑕疵商品的度數
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    您好,我是 CHA CHA AI 小編 🤖,很高興為您服務! 如果您有瑕疵的隱形眼鏡需要退換貨,請先提供以下資訊,這樣我們可以加速真人客服的處理流程: 1. 訂單編號(17碼) 2. 瑕疵商品的名稱、度數、數量 請您提供以上資訊,我會將資料傳達給真人客服,待客服接手後可立即為您處理唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請提供訂單編號
    • 請提供瑕疵商品的名稱
    • 請提供瑕疵商品的度數
    • 請提供瑕疵商品的數量
    III 補充說明 w 10%
    • 我會將資訊傳達給真人客服
    • 待客服接手後可立即為您處理
    Judge 推理
    回覆內容針對使用者的問題提供了相關資訊,並且涵蓋了大部分的必要要素,但缺少了瑕疵商品的度數這一項,導致完整性稍有不足。
項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
12.5%
[0.0% – 37.5%] · n=8
F1 4.2% · 相關率 10.0% · 精確 90.0%
8 / 10 適用 · 2 提示
不亂編造 平均
faithfulness
44.4%
[11.1% – 77.8%] · n=9
10 / 10 適用
答得到位 平均
answer_quality
77.3%
[61.3% – 93.3%] · n=10
10 / 10 適用
  • 案例 B167E3FE

    退貨必須符合哪些退貨條件?

    已完成
    第 1 次嘗試 · 已完成 33095ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER退貨必須符合哪些退貨條件?
    BOT退貨需在取貨後7天內提出申請,逾期恕不受理。商品必須完好且未使用,才符合退貨條件。

    知識檢索

    100.0%
    Precision
    20.0%
    Recall
    100.0%
    F1
    33.3%
    預期 (1)
    • know_378746 · 請問可以退貨嗎?
      問題
      請問可以退貨嗎?
      回答
      退貨需在取貨後7天內提出申請,逾期恕不受理。若符合退貨條件,請確保商品完好且未使用。
    意料之外 (4)
    • ! know_378749 · 滿額折扣商品退貨後,折扣金額還會保留嗎?
      問題
      滿額折扣商品退貨後,折扣金額還會保留嗎?
      回答
      退貨後若未達到原本的滿額折扣條件,折扣金額將會取消。請於退貨前確認相關條件。
    • ! know_378753 · 退貨包裹與退貨明細不符會怎麼處理?
      問題
      退貨包裹與退貨明細不符會怎麼處理?
      回答
      若退貨包裹與退貨明細不符,將依實際收到的商品受理退貨,恕不另行通知。請在辦理退貨時確認商品項目。
    • ! know_378748 · 如果辦理退貨的優惠組合商品只退其中一件,會怎麼處理?
      問題
      如果辦理退貨的優惠組合商品只退其中一件,會怎麼處理?
      回答
      若退貨的優惠組合商品只退其中一件,則剩餘商品將恢復原價。請聯繫客服協助辦理退貨事宜!
    • ! know_378750 · 訂單滿額贈品需要部分退貨,應該怎麼辦?
      問題
      訂單滿額贈品需要部分退貨,應該怎麼辦?
      回答
      退貨時,若涉及滿額贈品,必須一併退回(商品需全新且未拆封),否則贈品將按單價扣除,款項將從退款中扣除。
    TP 1
    FP 4
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料中的資訊,所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    80.0% · w 60%
    • 若符合退貨條件,請確保商品完好且未使用
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    退貨需在取貨後7天內提出申請,逾期恕不受理。商品必須完好且未使用,才符合退貨條件。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 退貨需在取貨後7天內提出申請
    • 若符合退貨條件,請確保商品完好且未使用
    II 重要限制 w 30%
    • 逾期恕不受理
    Judge 推理
    回覆內容針對退貨條件做了清楚的說明,但缺少了「若符合退貨條件,請確保商品完好且未使用」這一點,因此在完整性上有所扣分。
  • 案例 4261D0C5

    請問我可以用什麼方式搜尋產品?

    已完成
    第 1 次嘗試 · 已完成 28598ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:search_products
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER請問我可以用什麼方式搜尋產品?
    BOT目前沒有查到關於「搜尋產品方式」的詳細說明。為了確保準確,建議你跟真人客服確認一下喔!

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 可以使用混合搜尋
    • 這會在產品來源中進行搜尋,包括單純產品資料和文件資料
    II 重要
    III 補充
    AI 回覆
    目前沒有查到關於「搜尋產品方式」的詳細說明。為了確保準確,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以使用混合搜尋
    • 這會在產品來源中進行搜尋,包括單純產品資料和文件資料
    Judge 推理
    回覆未能正確回答用戶的問題,且提供的資訊與事實不符。回覆中提到的查詢方式並不存在,且未涵蓋任何正確的搜尋方式。
    錯誤陳述 (1)
    • 目前沒有查到關於「搜尋產品方式」的詳細說明
  • 案例 ABF5778A

    收到錯誤商品該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 25133ms
    腳本進度 · 商品與訂單不符 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 商品與訂單不符
    腳本規則
    - 當使用者提到「收到錯誤度數 / 收到商品有少 / 商品內容物與訂單不符 / 收到的東西不一樣 / 出錯商品 / 出錯度數 / 出錯款式 / 我收到不是我的商品 / 我收到錯誤度數 / 我收到不是我的度數」等相關消費者訂單商品與實際收到包裹商品有錯誤之文字,請協助查詢訂單並事前確認所需資料,讓真人客服可於收到完整資料第一時間可以安排處理
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 1 項
    未收集:訂單編號
    腳本規則
    ### 商品資訊 — 收到錯誤商品相關資訊
    - 訂單編號 [text] (必填): 訂單格式為 17 碼
    預期 / 已收集 (0/1)
    欄位 預期值(generate) 已收集(run)
    訂單編號 12345678901234567 — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - 1. 當使用者提到「收到商品有少 / 商品內容物與訂單不符 / 收到的東西不一樣 / 出錯商品 / 出錯度數 / 出錯款式 / 我收到不是我的商品 / 我收到錯誤度數 / 我收到不是我的度數」等相關消費者訂單商品與實際收到包裹商品有錯誤之文字
    
    2. 請先回覆以下資訊:「真的很抱歉,造成您的困擾。為加速真人客服處理,請先提供訂單編號,待客服接線後立即為您處理」,若訂單編號格式錯誤,請持續向消費者索取
    
    3. 當使用者提供訂單編號後,請回覆以下:「感謝您的提供,客服接線後將立即為您處理,為加速真人客服處理,請一起提供含有內容物的包裹照片,以便核對,謝謝」
    
    4. 使用者提供資訊後,立即轉接真人客服
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 04
    USER收到錯誤商品該怎麼辦?
    BOT真的很抱歉,造成您的困擾。為加速真人客服處理,請先提供訂單編號,待客服接線後立即為您處理。
    PARTIAL
    忠實度——metric 尚未齊全 (缺:hallucination_rate, citation_grounding)

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    100.0% · w 10%
    AI 回覆
    真的很抱歉,造成您的困擾。為加速真人客服處理,請先提供訂單編號,待客服接線後立即為您處理。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 請先提供訂單編號
    III 補充說明 w 10%
    • 造成您的困擾,真的很抱歉
    • 待客服接線後立即為您處理
    Judge 推理
    回覆完全符合使用者的問題,並且包含了所有必要的資訊,沒有遺漏任何要求的內容。
  • 案例 3C1DE212

    媞蜜多 彩色日拋能不能重覆配戴?

    已完成
    第 1 次嘗試 · 已完成 31891ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER媞蜜多 彩色日拋能不能重覆配戴?
    BOT關於「媞蜜多 彩色日拋能不能重覆配戴」這個問題,目前沒有相關的具體說明。建議您依照產品包裝上的使用說明,或諮詢專業驗光師或眼科醫師,以確保配戴安全。如需更詳細資訊,請輸入「真人客服」轉接專人協助喔!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44518 · 媞蜜多 彩色日拋【放電妞Sweet Silver】(10入) — 直徑 14.2mm|著色直徑 13.4mm|BC 8.7mm|含水量 38% 層次分明星星狀線條,無明顯邊框設計,打造混
      標題
      媞蜜多 彩色日拋【放電妞Sweet Silver】(10入)
      摘要
      直徑 14.2mm|著色直徑 13.4mm|BC 8.7mm|含水量 38% 層次分明星星狀線條,無明顯邊框設計,打造混血美瞳。
      完整描述
      *配戴一般隱形眼鏡須經眼科醫師驗光配鏡取得處方箋,或經驗光人員驗光配鏡取得配鏡單,並定期接受眼科醫師追蹤檢查 *本器材不得逾中文仿單建議之最長配戴時數、不得重覆配戴,於就寢前務必取下,以免感染或潰瘍 *如有不適,應立即就醫 亞洲安視達股份有限公司 衛部醫器製字第004638號 北市衛器廣字第114010100號 *抗紫外線的隱形眼鏡不可以替代太陽眼鏡,因為隱形眼鏡無法完全遮蓋眼睛及其周圍區域,建議配戴隱形眼鏡並搭配太陽眼鏡給雙眼全方位的紫外線防護
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的「媞蜜多 彩色日拋能不能重覆配戴」並未在提供的來源中找到支持,因此被判定為虛構。所有的具體問題都沒有相關的來源來支持。
    幻覺陳述 (1)
    • 媞蜜多 彩色日拋能不能重覆配戴

    回答品質

    40.0%
    相關性
    90.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 彩色日拋不得重覆配戴
    • 需於就寢前取下
    II 重要
    0.0% · w 30%
    • 以免感染或潰瘍
    III 補充
    AI 回覆
    關於「媞蜜多 彩色日拋能不能重覆配戴」這個問題,目前沒有相關的具體說明。建議您依照產品包裝上的使用說明,或諮詢專業驗光師或眼科醫師,以確保配戴安全。如需更詳細資訊,請輸入「真人客服」轉接專人協助喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 彩色日拋不得重覆配戴
    • 需於就寢前取下
    II 重要限制 w 30%
    • 以免感染或潰瘍
    Judge 推理
    這個回答未能提供正確的資訊,根據事實,媞蜜多彩色日拋是不得重覆配戴的,且需於就寢前取下。回答中提到的建議並未解決用戶的問題,且有誤導的成分。
    錯誤陳述 (1)
    • 目前沒有相關的具體說明
  • 案例 D603F2D3

    晶瞳彩色日拋直徑多少?

    已完成
    第 1 次嘗試 · 已完成 27274ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USER晶瞳彩色日拋直徑多少?
    BOT晶瞳彩色日拋目前查詢到的商品為「晶瞳 彩色日拋【珠光灰 Peral Gray】(10入)」,其鏡片直徑為14.2mm,著色直徑為13.1mm。若您需要其他顏色或款式,請提供更明確的名稱,我可以再幫您查詢唷!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44873 · 晶瞳 彩色日拋【珠光灰 Peral Gray】(10入) — 直徑 14.2mm|著色直徑 13.1mm|BC 8.6mm|含水量 55% 打造溫柔小仙女 眼神自然流露珍珠的純淨,散
      標題
      晶瞳 彩色日拋【珠光灰 Peral Gray】(10入)
      摘要
      直徑 14.2mm|著色直徑 13.1mm|BC 8.6mm|含水量 55% 打造溫柔小仙女 眼神自然流露珍珠的純淨,散發楚楚動人的清新可愛
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的晶瞳彩色日拋的直徑數據並未在提供的來源中找到支持,因此這些數據被判定為虛構。
    幻覺陳述 (1)
    • 晶瞳彩色日拋的鏡片直徑為14.2mm,著色直徑為13.1mm

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    晶瞳彩色日拋目前查詢到的商品為「晶瞳 彩色日拋【珠光灰 Peral Gray】(10入)」,其鏡片直徑為14.2mm,著色直徑為13.1mm。若您需要其他顏色或款式,請提供更明確的名稱,我可以再幫您查詢唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 晶瞳彩色日拋的直徑為14.2mm
    Judge 推理
    回覆中提到的直徑為14.2mm,符合問題要求,但未明確指出這是晶瞳彩色日拋的直徑,導致完整性得分偏低。
  • 案例 50E55A74

    Sami 彩色日拋【星曜灰】有多少片裝?

    已完成
    第 1 次嘗試 · 已完成 31502ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USERSami 彩色日拋【星曜灰】有多少片裝?
    BOTSami 彩色日拋【星曜灰】是「10片裝/盒」。如需其他規格,請再告訴我唷!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44783 · Sami 彩色日拋【星曜灰】(10入) — 直徑 14.1mm|著色直徑 13.4mm|BC 8.7mm|含水量 38% 深淺灰色搭配,為眼睛增添深邃感和層次感,讓
      標題
      Sami 彩色日拋【星曜灰】(10入)
      摘要
      直徑 14.1mm|著色直徑 13.4mm|BC 8.7mm|含水量 38% 深淺灰色搭配,為眼睛增添深邃感和層次感,讓眼眸無時無刻散發迷人光彩
      完整描述
      衛部醫器製字第006955號 商品名稱 Sami 彩色日拋【 星曜灰 】(10入) 週 期 彩色日拋 基 弧 8.7mm 包裝規格 10片裝/盒 鏡片直徑 14.1mm 含 水 量 38% 著色直徑 13.4mm 許可字號 衛部醫器製字第006955號 警 語 ・配戴一般隱形眼鏡須經眼科醫師驗光配鏡取得處方箋,或經驗光人員驗光配鏡,取得配鏡單,並定期接受眼科醫生追蹤檢查。 ・本器材不得逾中文說明書建議之最長配戴時數、不得重複配戴、於就寢前務必取下,以免感染或潰瘍。 ・如有不適,應立即就醫。 ・抗紫外線隱形眼鏡無法全面遮蓋雙眼,並不適合完全取代如太陽眼鏡等其他應有的護眼配備。 注意事項 ・本產品為每日拋棄型鏡片,請遵照指示定期丟棄並更換新的鏡片。 ・選購前應先至眼科醫療院所或驗光所驗配,依產品說明書正確配戴,並定期回診。
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI的回覆中提到的「10片裝/盒」並未在任何來源中找到支持,因此被判定為虛構。所有的句子都沒有引用來源,導致引用基礎為0。
    幻覺陳述 (1)
    • Sami 彩色日拋【星曜灰】是「10片裝/盒」

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    Sami 彩色日拋【星曜灰】是「10片裝/盒」。如需其他規格,請再告訴我唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • Sami 彩色日拋【星曜灰】的包裝規格為10片裝
    Judge 推理
    回覆內容完全符合用戶的問題,並且正確地提供了產品的包裝規格,沒有遺漏任何關鍵資訊。
  • 案例 1750C885

    T-Garden Chu's me 日拋【微光心褐】的著色直徑多少?

    已完成
    第 1 次嘗試 · 已完成 28113ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USERT-Garden Chu's me 日拋【微光心褐】的著色直徑多少?
    BOTT-Garden Chu's me 日拋【微光心褐 GLOSS BROWN】的著色直徑是 13.1mm。需要其他規格資訊也可以再問我唷!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44588 · T-Garden Chu's me 日拋【微光心褐 GLOSS BROWN】(10入) — 直徑 14.2mm|著色直徑 13.1mm|BC 8.5mm|含水量 58% 2025年新品|日本人氣品牌最新進駐✨
      標題
      T-Garden Chu's me 日拋【微光心褐 GLOSS BROWN】(10入)
      摘要
      直徑 14.2mm|著色直徑 13.1mm|BC 8.5mm|含水量 58% 2025年新品|日本人氣品牌最新進駐✨
      完整描述
      衛部醫器製字第007304號
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI 回覆的著色直徑 13.1mm 並未在任何來源中找到支持,因此被判定為虛構資訊。
    幻覺陳述 (1)
    • T-Garden Chu's me 日拋【微光心褐】的著色直徑是 13.1mm

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    T-Garden Chu's me 日拋【微光心褐 GLOSS BROWN】的著色直徑是 13.1mm。需要其他規格資訊也可以再問我唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 日拋【微光心褐 GLOSS BROWN】的著色直徑為 13.1mm
    Judge 推理
    回覆中正確地提供了著色直徑的資訊,並且與正確答案一致,完整性和正確性均達到滿分。
  • 案例 9E4EF0FA

    使用 O'loLa 彩色月拋 之前需要怎樣的驗光呢?

    已完成
    第 1 次嘗試 · 已完成 27061ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER使用 O'loLa 彩色月拋 之前需要怎樣的驗光呢?
    BOT使用 O'loLa 彩色月拋之前,建議您先前往諮詢專業驗光師或眼科醫師,並依照他們的建議進行配適,同時參考產品標示的度數範圍。CHA CHA 小編無法提供專業驗光建議唷!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44842 · O'loLa 彩色月拋【托比灰 Able Gray】(1入)
      標題
      O'loLa 彩色月拋【托比灰 Able Gray】(1入)
      完整描述
      商品名稱 O'loLa 彩色月拋【托比灰 Able Gray】 週 期 彩色月拋 基 弧 8.6mm 包裝規格 1片裝/盒 鏡片直徑 14.0mm 含 水 量 38% 著色直徑 13.3mm 許可字號 衛部醫器製字第036054號 警 語 ・配戴一般隱形眼鏡須經眼科醫師驗光配鏡取得處方箋,或經驗光人員驗光配鏡,取得配鏡單,並定期接受眼科醫生追蹤檢查。 ・本器材不得逾中文說明書建議之最長配戴時數、不得重複配戴、於就寢前務必取下,以免感染或潰瘍。 ・如有不適,應立即就醫。 ・抗紫外線隱形眼鏡無法全面遮蓋雙眼,並不適合完全取代如太陽眼鏡等其他應有的護眼配備。 注意事項 ・本產品為每月拋棄型鏡片,請遵照指示定期丟棄並更換新的鏡片。 ・選購前應先至眼科醫療院所或驗光所驗配,依產品說明書正確配戴,並定期回診。
    TP 0
    FP 0
    FN 1

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆中提到建議使用者諮詢專業驗光師或眼科醫師,這與來源中的建議一致,因此所有的事實陳述都得到了支持,沒有虛構的內容。

    回答品質

    50.0%
    相關性
    100.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 配戴 O'loLa 彩色月拋 前需經眼科醫師驗光配鏡並取得處方箋
    • 或經驗光人員驗光配鏡,取得配鏡單
    • 需定期接受眼科醫生追蹤檢查
    II 重要
    III 補充
    AI 回覆
    使用 O'loLa 彩色月拋之前,建議您先前往諮詢專業驗光師或眼科醫師,並依照他們的建議進行配適,同時參考產品標示的度數範圍。CHA CHA 小編無法提供專業驗光建議唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 配戴 O'loLa 彩色月拋 前需經眼科醫師驗光配鏡並取得處方箋
    • 或經驗光人員驗光配鏡,取得配鏡單
    • 需定期接受眼科醫生追蹤檢查
    Judge 推理
    回覆中提到的驗光建議不夠完整,未涵蓋所有必要的驗光步驟,且錯誤地聲明無法提供專業建議,這與事實不符。
    錯誤陳述 (1)
    • CHA CHA 小編無法提供專業驗光建議唷!
  • 案例 768C1684

    Lensme 月拋 YOUS GRAY 直徑多少?

    已完成
    第 1 次嘗試 · 已完成 24937ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges → search_products_stock
    USERLensme 月拋 YOUS GRAY 直徑多少?
    BOTLensme 月拋【YOUS GRAY】的直徑是 14.3mm,著色直徑為 13.0mm。需要其他規格資訊也可以再問我唷!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44818 · Lensme 月拋【YOUS GRAY】 (韓國原裝進口,2片裝) — 直徑 14.3mm|著色直徑 13.0mm|BC 8.6mm|含水量 38%|2片裝 #自然融瞳 #有外圈 #灰色
      標題
      Lensme 月拋【YOUS GRAY】 (韓國原裝進口,2片裝)
      摘要
      直徑 14.3mm|著色直徑 13.0mm|BC 8.6mm|含水量 38%|2片裝 #自然融瞳 #有外圈 #灰色
    TP 0
    FP 0
    FN 1

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    AI 回覆的直徑數據並未在提供的來源中找到支持,因此被判定為虛構。所有的事實聲明都沒有來源支持,導致幻覺率為 1.0,引用基礎為 0.0。
    幻覺陳述 (1)
    • Lensme 月拋【YOUS GRAY】的直徑是 14.3mm,著色直徑為 13.0mm

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    Lensme 月拋【YOUS GRAY】的直徑是 14.3mm,著色直徑為 13.0mm。需要其他規格資訊也可以再問我唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 直徑 14.3mm
    Judge 推理
    這個回答完全符合用戶的問題,提供了正確的直徑資訊,並且沒有遺漏任何關鍵點。
  • 案例 F19E185F

    這個商品的包裝有損壞嗎?

    已完成
    第 1 次嘗試 · 已完成 27390ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_knowledges
    USER這個商品的包裝有損壞嗎?
    BOT「盒損良品」是指外盒有受損,但裡面的隱形眼鏡鏡片和PP盒都是完好無缺的。 如果您想確認自己的商品是否屬於這種情況,可以再提供更詳細的描述或照片唷!

    產品檢索

    0.0%
    Precision
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • prod_44714 · 【即期盒損品】T-Garden FLANMY日拋【星砂牛奶 SHELL SAND MILK】(10入) — 選購前注意事項: ・商品效期為即日起2-12月內到期。 ・商品包裝有輕微碰撞或盒損情形。 ・福利品恕不提供退換貨,請務必
      標題
      【即期盒損品】T-Garden FLANMY日拋【星砂牛奶 SHELL SAND MILK】(10入)
      摘要
      選購前注意事項: ・商品效期為即日起2-12月內到期。 ・商品包裝有輕微碰撞或盒損情形。 ・福利品恕不提供退換貨,請務必確認度數、款式及數量。 ・福利品不參與免運優惠。 ・福利品介意者請勿選購。
    TP 0
    FP 0
    FN 1

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的「盒損良品」的定義與來源中的內容一致,因此所有的事實陳述都是有根據的。回覆中也沒有任何虛構的聲明。

    回答品質

    73.3%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    80.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 商品包裝有輕微碰撞或盒損情形
    II 重要
    III 補充
    AI 回覆
    「盒損良品」是指外盒有受損,但裡面的隱形眼鏡鏡片和PP盒都是完好無缺的。 如果您想確認自己的商品是否屬於這種情況,可以再提供更詳細的描述或照片唷!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 商品包裝有輕微碰撞或盒損情形
    Judge 推理
    回覆提到的「盒損良品」與用戶詢問的包裝損壞情況有關,但未直接回答商品包裝的具體狀況,導致核心內容不完整。