執行 #98

Cacafly AI (bulk R1) → production-canary (canary)

狀態
已完成
案例
30
開始時間
16 May 11:28
耗時
360.6s
¶ Economics · Bot-side N=30 attempts

Cost & Tokens

$0.2429
Total Bot Cost · USD
37.3%
Prompt Cache Hit
cost per case
$0.0081
cost per 1k tokens
$0.0016
input tokens
147,476
output tokens
3,815
cached tokens — prompt-cache hit
55,040
Total Tokens
151,291
economic efficiency
cost per correct
$0.0014
pass rate
73.3%
22 / 30
judge cost
$0.0315
設定快照(reproducibility) 1 個 bot 已捕捉 · Judge:gpt-4o-mini

Bot 設定快照

  • 99cd5f07-9e93-4897-83f6-a04779b55e5c 100 筆 KB
    SystemPrompt: sha256:a147cf42 KBContent: sha256:428d66e8 Tools: sha256:cb414772 Scenarios: sha256:3fd14ca9 AI: gpt-4.1-2025-04-14 (T=0.0, max=2048)

Judge 設定快照

model: gpt-4o-mini T=0.0 max=4096 prompt: v1
已完成
30 / 30
錯誤
0
失敗維度
2
首字延遲 p95
13939 ms
Bot 成本(Neptune)
$0.2429
Bot Tokens(Neptune)
151,291
Judge 成本(Eris)
$0.0315
Judge Tokens(Eris)
233,962
項目 I.

知識庫精準度

kb_accuracy 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=10
F1 18.2% · 相關率 18.9% · 精確 10.0%
10 / 10 適用 · 1 提示
不亂編造 平均
faithfulness
100.0%
[100.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
98.0%
[96.0% – 99.7%] · n=10
10 / 10 適用
  • 案例 38D41637

    尺寸不合可以換貨嗎?如果換好幾次該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 36778ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER尺寸不合可以換貨嗎?如果換好幾次該怎麼辦?
    BOT稍等一下我來幫您查詢 💡 您好,我是 Cacafly AI,很高興為您服務! 如果您因尺寸不合需要換貨,可以申請免費換貨,但需自行負擔來回運費。建議您參考商品頁面的尺寸表選購,能降低尺寸不合的機率。 若同一商品多次因尺寸問題退換,可能會建議您到實體門市確認尺寸或直接選擇退貨,以避免重複產生運費支出。 如需申請退換貨,可透過會員中心或聯繫客服協助處理,需提供訂單編號、退貨原因和商品照片。若有其他疑問,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137177 · 尺寸不合可以免費換貨嗎?
      問題
      尺寸不合可以免費換貨嗎?
      回答
      尺寸不合可免費換貨,但需付來回運費。建議參考尺寸表選購避免尺寸問題。若同一商品多次因尺寸問題退換,可能會建議您到實體門市確認尺寸或選擇退貨,避免重複運費支出。
    意料之外 (9)
    • ! know_137172 · 換貨需要額外付費嗎?
      問題
      換貨需要額外付費嗎?
      回答
      換貨免運費,但僅限同商品不同規格(如尺寸、顏色)。若要換購不同商品需先退貨再重新下單。換貨需視庫存狀況,若無適合規格可改為退貨。換貨商品同樣需保持全新狀態。
    • ! know_137155 · 可以先試穿再決定是否購買嗎?
      問題
      可以先試穿再決定是否購買嗎?
      回答
      目前暫不提供試穿服務,但我們有完善的退換貨政策。商品收到後如尺寸不合或不滿意,可在7天內申請退換貨。建議參考尺寸表和其他顧客評價選擇合適尺碼,降低退換貨需求。
    • ! know_137168 · 如何申請退換貨?
      問題
      如何申請退換貨?
      回答
      可透過會員中心申請退換貨或聯繫客服協助處理。需提供訂單編號、退貨原因和商品照片。客服確認後會提供退貨地址和流程說明。請依指示包裝商品並選擇適合的寄送方式退回。
    • ! know_137176 · 特價商品可以退換貨嗎?
      問題
      特價商品可以退換貨嗎?
      回答
      特價商品和出清商品可能有不同的退換貨政策,部分可能不接受退貨或需收取手續費。購買前請詳閱商品頁面的特殊說明。一般特價商品仍可正常退換,但建議確認後再購買。
    • ! know_137165 · 退換貨政策是什麼?
      問題
      退換貨政策是什麼?
      回答
      商品收到後7天內可申請退換貨,需保持商品全新狀態和完整包裝。個人衛生用品、客製化商品、食品等不接受退貨。退貨運費由顧客自付,商品瑕疵或錯誤出貨則由我們負擔運費。
    • ! know_137145 · 如何確認商品尺寸?
      問題
      如何確認商品尺寸?
      回答
      每個商品頁面都有詳細尺寸表,包含長寬高和重量資訊。服飾類商品提供各尺碼對照表,建議參考模特兒穿著效果和尺寸建議。如仍不確定可聯繫客服提供更詳細的尺寸資訊或建議合適尺碼。
    • ! know_137126 · 部分退款如何處理?
      問題
      部分退款如何處理?
      回答
      部分退款會按商品金額比例計算,包含運費分攤。例如訂購兩件商品退回一件,會退還該商品金額及一半運費。優惠券或折扣金額也會按比例調整。詳細計算方式可聯繫客服確認。
    • ! know_137174 · 可以到實體店面退換貨嗗?
      問題
      可以到實體店面退換貨嗗?
      回答
      實體門市僅提供商品展示和諮詢,退換貨需透過網路客服或郵寄方式處理。門市無法受理網路訂單的退換貨業務。若您方便可到門市參考商品再上網下單,享受網路專屬優惠價格。
    • ! know_137167 · 哪些商品不能退換貨?
      問題
      哪些商品不能退換貨?
      回答
      個人衛生用品(如內衣褲、泳裝)、食品、客製化商品、軟體、影音產品等基於衛生或智財權考量不接受退貨。特價或出清商品可能也有退貨限制,下單前請詳閱商品頁面的退貨政策說明。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆內容完全符合來源資料,所有的事實陳述都有來源支持,因此沒有虛構的聲明。回覆中的每個事實句子都可以引用來源,顯示出高的引用基礎。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 Cacafly AI,很高興為您服務! 如果您因尺寸不合需要換貨,可以申請免費換貨,但需自行負擔來回運費。建議您參考商品頁面的尺寸表選購,能降低尺寸不合的機率。 若同一商品多次因尺寸問題退換,可能會建議您到實體門市確認尺寸或直接選擇退貨,以避免重複產生運費支出。 如需申請退換貨,可透過會員中心或聯繫客服協助處理,需提供訂單編號、退貨原因和商品照片。若有其他疑問,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 尺寸不合可免費換貨
    • 需付來回運費
    II 重要限制 w 30%
    • 若同一商品多次因尺寸問題退換,可能會建議您到實體門市確認尺寸或選擇退貨
    Judge 推理
    這個回答完整地涵蓋了用戶的問題,並且提供了正確的資訊,符合預期的回答風格。
  • 案例 F7E195F4

    如果訂單庫存不足會怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 26031ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如果訂單庫存不足會怎麼處理?
    BOT稍等一下我來幫您查詢 💡 您好,我是 Cacafly AI,很高興為您服務! 如果訂單遇到庫存不足的情況,我們會依照訂單成立的時間順序出貨。若庫存無法完全滿足您的訂單,客服人員會主動聯繫您協商後續處理方式。建議您如看到庫存顯示「有限」或「最後幾件」時盡快下單,以免向隅。 如有其他相關問題,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137161 · 商品庫存還有多少?
      問題
      商品庫存還有多少?
      回答
      商品庫存數量不公開顯示詳細數字,但會顯示「充足」、「有限」或「最後幾件」等提示。庫存不足時建議盡快下單,我們會依訂單時間順序出貨。若庫存不足無法完全滿足您的訂單,客服會主動聯繫協商。
    意料之外 (9)
    • ! know_137099 · 可以修改訂單中的商品數量嗎?
      問題
      可以修改訂單中的商品數量嗎?
      回答
      訂單成立後24小時內可修改商品數量,但需視庫存狀況而定。若要增加數量需確認有足夠庫存,減少數量則可直接處理。修改後價格將重新計算,差額部分將退款或請您補足。建議透過客服協助處理,確保修改順利完成。
    • ! know_137112 · 訂單處理需要多久時間?
      問題
      訂單處理需要多久時間?
      回答
      一般商品訂單確認付款後1-2個工作天內處理出貨,預購商品依到貨時間而定。處理時間可能因促銷活動、假期或天災等因素延長。急件可選擇當日或次日配送服務(需額外收費),詳情請洽客服確認。
    • ! know_137127 · 可以更改付款方式嗎?
      問題
      可以更改付款方式嗎?
      回答
      訂單成立後24小時內可更改付款方式,請聯繫客服協助處理。已付款訂單需先取消並重新下單才能更改付款方式。為避免影響出貨時程,建議下單前確認適合的付款方式。
    • ! know_137154 · 商品有現貨嗎?
      問題
      商品有現貨嗎?
      回答
      商品現貨狀況會即時顯示在商品頁面,有現貨會標示「立即購買」,缺貨則顯示「補貨中」。庫存數量因銷售快速可能隨時變動,建議盡快下單。缺貨商品可設定到貨通知,補貨後會立即email通知您。
    • ! know_137095 · 如何查詢我的訂單狀態?
      問題
      如何查詢我的訂單狀態?
      回答
      您可以登入會員帳戶後點選「訂單查詢」功能,輸入訂單編號即可查看詳細狀態,包括訂單確認、處理中、已出貨、配送中、已完成等階段。我們也會透過簡訊和email主動通知您訂單狀態變更,請確保您的聯絡資訊正確。如有疑問可直接聯繫客服專線。
    • ! know_137113 · 海外訂單如何處理?
      問題
      海外訂單如何處理?
      回答
      海外訂單目前僅接受信用卡付款,配送費用依重量和目的地計算。部分商品可能有出口限制無法寄送海外。下單前請確認配送地址和聯絡電話,並注意當地海關規定。配送時間通常需5-10個工作天,可能需要收件人協助處理海關事宜。
    • ! know_137097 · 訂單成立後可以取消嗎?
      問題
      訂單成立後可以取消嗎?
      回答
      訂單成立後24小時內且商品尚未出貨前可申請取消,請至會員中心或聯繫客服處理。已付款訂單取消後將於3-5個工作天退款至原付款帳戶。若商品已出貨則需等收到商品後依退貨流程處理。預購或客製化商品可能有不同規定。
    • ! know_137138 · 包裹遺失怎麼辦?
      問題
      包裹遺失怎麼辦?
      回答
      包裹遺失請立即聯繫客服報案,我們將協助向物流公司查詢並申請理賠。同時會為您安排重新出貨或退款。建議選擇需簽收的配送方式降低遺失風險,或改為超商取貨更加安全。
    • ! know_137168 · 如何申請退換貨?
      問題
      如何申請退換貨?
      回答
      可透過會員中心申請退換貨或聯繫客服協助處理。需提供訂單編號、退貨原因和商品照片。客服確認後會提供退貨地址和流程說明。請依指示包裝商品並選擇適合的寄送方式退回。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的內容,所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 Cacafly AI,很高興為您服務! 如果訂單遇到庫存不足的情況,我們會依照訂單成立的時間順序出貨。若庫存無法完全滿足您的訂單,客服人員會主動聯繫您協商後續處理方式。建議您如看到庫存顯示「有限」或「最後幾件」時盡快下單,以免向隅。 如有其他相關問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 若庫存不足無法完全滿足您的訂單,客服會主動聯繫協商
    Judge 推理
    這個回答完整地回應了用戶的問題,並且涵蓋了所有關鍵點,沒有錯誤的陳述。
  • 案例 7A5A213E

    請問我可以參考哪裡的尺寸表來選擇髮片的尺碼呢?

    已完成
    第 1 次嘗試 · 已完成 26019ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問我可以參考哪裡的尺寸表來選擇髮片的尺碼呢?
    BOT馬上為您找找看相關內容 📋 您好,我是 Cacafly AI,很高興為您服務! 您可以在每個商品的頁面上找到詳細的尺寸表,裡面會包含長、寬、高等資訊。建議您參考商品頁面的尺寸表來選擇適合自己的髮片尺碼。如果還是不確定,也可以聯繫客服,我們會協助您提供更詳細的尺寸建議。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137155 · 可以先試穿再決定是否購買嗎?
      問題
      可以先試穿再決定是否購買嗎?
      回答
      目前暫不提供試穿服務,但我們有完善的退換貨政策。商品收到後如尺寸不合或不滿意,可在7天內申請退換貨。建議參考尺寸表和其他顧客評價選擇合適尺碼,降低退換貨需求。
    意料之外 (9)
    • ! know_137145 · 如何確認商品尺寸?
      問題
      如何確認商品尺寸?
      回答
      每個商品頁面都有詳細尺寸表,包含長寬高和重量資訊。服飾類商品提供各尺碼對照表,建議參考模特兒穿著效果和尺寸建議。如仍不確定可聯繫客服提供更詳細的尺寸資訊或建議合適尺碼。
    • ! know_137177 · 尺寸不合可以免費換貨嗎?
      問題
      尺寸不合可以免費換貨嗎?
      回答
      尺寸不合可免費換貨,但需付來回運費。建議參考尺寸表選購避免尺寸問題。若同一商品多次因尺寸問題退換,可能會建議您到實體門市確認尺寸或選擇退貨,避免重複運費支出。
    • ! know_137156 · 商品規格詳細說明在哪裡?
      問題
      商品規格詳細說明在哪裡?
      回答
      商品詳情頁面提供完整規格說明,包含材質、尺寸、重量、功能特色等。若需要更詳細的技術規格或使用說明,可下載產品說明書或聯繫客服索取。我們確保所有產品資訊的完整性和準確性。
    • ! know_137135 · 超商取貨有什麼限制?
      問題
      超商取貨有什麼限制?
      回答
      超商取貨有重量(5公斤內)和尺寸限制,不適用於大型商品。商品到店後會收到簡訊通知,請在7天內憑簡訊和身分證件取貨。逾期未取將退回並收取來回運費。取貨時請當場檢查商品狀況。
    • ! know_137172 · 換貨需要額外付費嗎?
      問題
      換貨需要額外付費嗎?
      回答
      換貨免運費,但僅限同商品不同規格(如尺寸、顏色)。若要換購不同商品需先退貨再重新下單。換貨需視庫存狀況,若無適合規格可改為退貨。換貨商品同樣需保持全新狀態。
    • ! know_137159 · 商品照片可以提供更多角度嗎?
      問題
      商品照片可以提供更多角度嗎?
      回答
      商品頁面提供多角度照片展示商品細節,包含正面、背面、側面和局部特寫。若需要特定角度或細節照片,可聯繫客服協助拍攝提供。我們持續優化商品圖片品質,讓您更清楚了解商品。
    • ! know_137146 · 商品顏色與圖片有差異怎麼辦?
      問題
      商品顏色與圖片有差異怎麼辦?
      回答
      商品顏色可能因拍攝燈光、螢幕顯示設定等因素與實品略有差異。我們盡力呈現真實色彩,但無法保證完全相同。若收到商品顏色與期望差異過大,可在退貨期限內申請退換貨。
    • ! know_137162 · 可以客製化商品嗎?
      問題
      可以客製化商品嗎?
      回答
      目前暫不提供客製化服務,所有商品均為標準規格。若您有特殊需求如刺繡、印字等,建議聯繫客服洽詢是否能協助安排。我們會評估需求量和可行性,未來可能推出客製化服務。
    • ! know_137126 · 部分退款如何處理?
      問題
      部分退款如何處理?
      回答
      部分退款會按商品金額比例計算,包含運費分攤。例如訂購兩件商品退回一件,會退還該商品金額及一半運費。優惠券或折扣金額也會按比例調整。詳細計算方式可聯繫客服確認。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的內容,提到可以在商品頁面找到尺寸表,並建議聯繫客服以獲得更多幫助,這些都在來源中有明確支持。

    回答品質

    90.0%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 建議參考尺寸表和其他顧客評價選擇合適尺碼
    II 重要
    0.0% · w 30%
    • 降低退換貨需求
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 Cacafly AI,很高興為您服務! 您可以在每個商品的頁面上找到詳細的尺寸表,裡面會包含長、寬、高等資訊。建議您參考商品頁面的尺寸表來選擇適合自己的髮片尺碼。如果還是不確定,也可以聯繫客服,我們會協助您提供更詳細的尺寸建議。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 建議參考尺寸表和其他顧客評價選擇合適尺碼
    II 重要限制 w 30%
    • 降低退換貨需求
    Judge 推理
    回覆中提到可以參考尺寸表,但未提及參考其他顧客評價以選擇合適尺碼,且缺少降低退換貨需求的建議,因此完整性得分較低。
  • 案例 0848B026

    可以更改註冊email後用哪個登入?

    已完成
    第 1 次嘗試 · 已完成 31875ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER可以更改註冊email後用哪個登入?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI 客服助理,很高興為您服務! 註冊 email 是帳戶的識別碼,無法自行更改。如果您需要更改註冊 email,請聯繫客服並提供身分證明文件協助處理。新 email 經驗證後才能生效,更改完成後請使用新 email 登入,舊 email 將無法繼續使用。 如有其他問題歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137191 · 可以更改註冊email嗎?
      問題
      可以更改註冊email嗎?
      回答
      email是帳戶識別碼無法自行更改,如需更改請聯繫客服提供身分證明文件協助處理。新email需要重新驗證才能生效。更改後請使用新email登入,舊email將無法繼續使用。
    意料之外 (9)
    • ! know_137181 · 忘記密碼怎麼辦?
      問題
      忘記密碼怎麼辦?
      回答
      忘記密碼請點選登入頁面的「忘記密碼」連結,輸入註冊email後系統會寄送重設密碼的連結。點選連結後可設定新密碼。若未收到重設信請檢查垃圾郵件,或聯繫客服協助重設密碼。
    • ! know_137180 · 如何註冊會員?
      問題
      如何註冊會員?
      回答
      註冊會員很簡單,點選網站右上角「註冊」按鈕,填寫email、密碼和基本資料即可。email將作為帳號使用,請確保正確性。註冊完成後會收到驗證信,點選連結啟用帳戶即可開始享受會員專屬優惠和服務。
    • ! know_137182 · 如何修改個人資料?
      問題
      如何修改個人資料?
      回答
      登入會員後點選「個人資料」可修改姓名、電話、地址等基本資料。email帳號無法自行修改,如需更改請聯繫客服協助。密碼可在「帳戶設定」中修改,建議定期更新密碼確保帳戶安全。
    • ! know_137127 · 可以更改付款方式嗎?
      問題
      可以更改付款方式嗎?
      回答
      訂單成立後24小時內可更改付款方式,請聯繫客服協助處理。已付款訂單需先取消並重新下單才能更改付款方式。為避免影響出貨時程,建議下單前確認適合的付款方式。
    • ! know_137120 · 如何確認付款是否成功?
      問題
      如何確認付款是否成功?
      回答
      付款成功後系統會立即顯示「付款完成」並發送確認email。信用卡付款可在明細中查看刷卡紀錄,ATM轉帳可透過網銀確認扣款。若有疑問可登入會員中心查看訂單狀態或聯繫客服確認。
    • ! know_137104 · 訂單確認信沒有收到怎麼辦?
      問題
      訂單確認信沒有收到怎麼辦?
      回答
      請檢查垃圾郵件匣或促銷郵件資料夾,確認email地址是否正確。系統通常在訂單成立後30分鐘內發送確認信。若仍未收到,請登入會員中心查看訂單狀態或聯繫客服重新發送確認信,我們將立即為您處理。
    • ! know_137134 · 配送地址可以更改嗎?
      問題
      配送地址可以更改嗎?
      回答
      訂單成立後24小時內可免費修改地址,請透過客服協助處理。商品出貨後無法修改地址,若配送失敗會退回並產生額外運費。建議下單前仔細確認配送資訊,避免不必要的困擾和費用。
    • ! know_137096 · 訂單成立後可以修改配送地址嗎?
      問題
      訂單成立後可以修改配送地址嗎?
      回答
      訂單成立後24小時內可免費修改配送地址,請登入會員後至訂單管理修改,或致電客服協助處理。超過24小時或商品已出貨則無法修改地址。建議下單前仔細確認配送資訊,避免因地址錯誤造成包裹退回或額外運費產生。
    • ! know_137186 · 生日優惠如何領取?
      問題
      生日優惠如何領取?
      回答
      生日當月會自動發送生日優惠券到您的email和會員帳戶中,通常為折扣券或免運券。請確保個人資料中的生日資訊正確。生日優惠券有使用期限,建議收到後盡快使用,逾期將自動失效。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI 的回覆完全符合來源資料的內容,所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI 客服助理,很高興為您服務! 註冊 email 是帳戶的識別碼,無法自行更改。如果您需要更改註冊 email,請聯繫客服並提供身分證明文件協助處理。新 email 經驗證後才能生效,更改完成後請使用新 email 登入,舊 email 將無法繼續使用。 如有其他問題歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 更改後必須使用新的email登入
    • 舊的email將無法繼續使用
    Judge 推理
    這個回答完全針對用戶的問題,清楚地說明了更改註冊 email 後的登入方式,並且正確地指出舊 email 將無法繼續使用。
  • 案例 8287A6DF

    ATM轉帳後要等多久才會確認入帳?

    已完成
    第 1 次嘗試 · 已完成 37762ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USERATM轉帳後要等多久才會確認入帳?
    BOT讓我幫您查詢一下相關資訊 🔍 ATM轉帳後,請保留收據並等待1-2個工作天確認入帳。系統確認收款後會自動更新訂單狀態並發送通知。如果超過這個時間還沒確認,建議您將轉帳收據拍照傳送給客服協助查詢。請務必確認轉帳金額正確且匯入指定帳戶。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137117 · ATM轉帳後多久會確認付款?
      問題
      ATM轉帳後多久會確認付款?
      回答
      ATM轉帳後請保留收據並等待1-2個工作天確認入帳。系統確認收款後會自動更新訂單狀態並發送通知。若超過時限未確認,請將轉帳收據拍照傳送給客服協助查詢。請務必轉帳正確金額至指定帳戶。
    意料之外 (9)
    • ! know_137124 · 退款需要多久時間?
      問題
      退款需要多久時間?
      回答
      退款處理時間:信用卡1-14個工作天、ATM轉帳3-5個工作天。實際入帳時間依各銀行作業時程而定。退款完成後會發送通知email,若超過預定時間未收到退款請聯繫客服協助查詢銀行處理進度。
    • ! know_137125 · 退款會退到原付款帳戶嗎?
      問題
      退款會退到原付款帳戶嗎?
      回答
      是的,退款會退回至您原本的付款帳戶。信用卡退款會出現在下期帳單,ATM轉帳退回原轉出帳戶。無法退款至不同帳戶以確保交易安全。若原付款方式有問題請聯繫客服討論其他退款方案。
    • ! know_137120 · 如何確認付款是否成功?
      問題
      如何確認付款是否成功?
      回答
      付款成功後系統會立即顯示「付款完成」並發送確認email。信用卡付款可在明細中查看刷卡紀錄,ATM轉帳可透過網銀確認扣款。若有疑問可登入會員中心查看訂單狀態或聯繫客服確認。
    • ! know_137115 · 支援哪些付款方式?
      問題
      支援哪些付款方式?
      回答
      我們支援信用卡、ATM轉帳、超商繳費、貨到付款、電子支付(Line Pay、街口支付)等多種付款方式。部分高價商品可申請分期付款。選擇付款方式時系統會顯示可用選項,請依個人需求選擇最適合的付款方式。
    • ! know_137119 · 可以使用分期付款嗎?
      問題
      可以使用分期付款嗎?
      回答
      信用卡分期付款需視發卡銀行規定,通常單筆滿3000元以上可申請3、6、12期分期。分期手續費由銀行收取,本站不額外收費。結帳時選擇分期選項並依指示完成付款程序。詳細分期規定請洽詢您的發卡銀行。
    • ! know_137127 · 可以更改付款方式嗎?
      問題
      可以更改付款方式嗎?
      回答
      訂單成立後24小時內可更改付款方式,請聯繫客服協助處理。已付款訂單需先取消並重新下單才能更改付款方式。為避免影響出貨時程,建議下單前確認適合的付款方式。
    • ! know_137116 · 信用卡付款失敗怎麼辦?
      問題
      信用卡付款失敗怎麼辦?
      回答
      信用卡付款失敗可能原因:餘額不足、卡片過期、輸入資訊錯誤、銀行風控機制等。請檢查卡片資訊是否正確,確認額度足夠,或聯繫發卡銀行確認交易狀況。也可嘗試其他付款方式或稍後重新付款。
    • ! know_137121 · 付款後發現金額錯誤怎麼辦?
      問題
      付款後發現金額錯誤怎麼辦?
      回答
      發現金額錯誤請立即聯繫客服,提供訂單編號和付款證明。若為系統計價錯誤,我們將立即修正並處理差額退款。若為商品價格調整,將依照您下單時的價格為準,確保您的權益不受影響。
    • ! know_137133 · 可以指定配送時間嗎?
      問題
      可以指定配送時間嗎?
      回答
      宅配可選擇上午(9-12點)、下午(13-18點)、晚上(18-21點)三個時段,無法指定精確時間。司機配送前會先電話聯繫。若指定時段無人簽收,會安排重新配送或改為超商取貨。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的資訊,所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 ATM轉帳後,請保留收據並等待1-2個工作天確認入帳。系統確認收款後會自動更新訂單狀態並發送通知。如果超過這個時間還沒確認,建議您將轉帳收據拍照傳送給客服協助查詢。請務必確認轉帳金額正確且匯入指定帳戶。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • ATM轉帳後請保留收據並等待1-2個工作天確認入帳
    • 系統確認收款後會自動更新訂單狀態並發送通知
    II 重要限制 w 30%
    • 若超過時限未確認,請將轉帳收據拍照傳送給客服協助查詢
    Judge 推理
    這個回答完全針對用戶的問題,並且涵蓋了所有關鍵點。雖然提供了額外的建議,但沒有違反任何規則,因此在完整性上稍微扣分。
  • 案例 BB818FA3

    發票是怎麼寄的啊?

    已完成
    第 1 次嘗試 · 已完成 31629ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER發票是怎麼寄的啊?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI,很高興為您服務! 發票的寄送方式有以下幾種: 1. 若您選擇電子發票,發票會在訂單出貨時開立,並以 email 寄送到您的信箱。若您有設定載具(如手機條碼、自然人憑證),發票會自動歸戶,無需列印。 2. 紙本發票則會隨商品一同寄送給您。 如果還有其他關於發票的問題,歡迎再詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137102 · 可以開立統一發票嗎?
      問題
      可以開立統一發票嗎?
      回答
      我們提供二聯式發票和三聯式統編發票服務。下單時請選擇「開立發票」並填寫相關資訊,發票將隨商品一同寄送或以電子發票方式開立。電子發票會寄送至您的email信箱,請妥善保存。若需補開發票請在訂單完成後30天內申請。
    意料之外 (9)
    • ! know_137123 · 電子發票何時會開立?
      問題
      電子發票何時會開立?
      回答
      電子發票在訂單出貨時開立,發票資訊將email寄送至您的信箱。若選擇載具儲存(如手機條碼、自然人憑證),發票將自動歸戶無需列印。電子發票與紙本發票具同等效力,可供報帳和退換貨使用。
    • ! know_137129 · 發票遺失可以重新開立嗎?
      問題
      發票遺失可以重新開立嗎?
      回答
      發票遺失可申請補發,請提供訂單編號、購買日期和金額等資訊給客服。電子發票可重新寄送至您的email,紙本發票補發需酌收工本費。建議平時妥善保存發票以備報帳或退換貨使用。
    • ! know_137103 · 如何申請公司統編發票?
      問題
      如何申請公司統編發票?
      回答
      申請公司統編發票請在下單時選擇「三聯式發票」,填入正確的統一編號、公司名稱和地址。發票抬頭務必與營業登記資料一致,避免報帳時產生問題。統編發票無法事後補開,請下單時務必正確填寫資訊。
    • ! know_137113 · 海外訂單如何處理?
      問題
      海外訂單如何處理?
      回答
      海外訂單目前僅接受信用卡付款,配送費用依重量和目的地計算。部分商品可能有出口限制無法寄送海外。下單前請確認配送地址和聯絡電話,並注意當地海關規定。配送時間通常需5-10個工作天,可能需要收件人協助處理海關事宜。
    • ! know_137115 · 支援哪些付款方式?
      問題
      支援哪些付款方式?
      回答
      我們支援信用卡、ATM轉帳、超商繳費、貨到付款、電子支付(Line Pay、街口支付)等多種付款方式。部分高價商品可申請分期付款。選擇付款方式時系統會顯示可用選項,請依個人需求選擇最適合的付款方式。
    • ! know_137130 · 有哪些配送方式?
      問題
      有哪些配送方式?
      回答
      我們提供宅配到府、超商取貨、門市自取等配送方式。宅配可指定時段,超商取貨方便彈性,門市自取可省運費並當場檢查商品。各種配送方式都有不同的適用範圍和限制,請依需求選擇。
    • ! know_137168 · 如何申請退換貨?
      問題
      如何申請退換貨?
      回答
      可透過會員中心申請退換貨或聯繫客服協助處理。需提供訂單編號、退貨原因和商品照片。客服確認後會提供退貨地址和流程說明。請依指示包裝商品並選擇適合的寄送方式退回。
    • ! know_137127 · 可以更改付款方式嗎?
      問題
      可以更改付款方式嗎?
      回答
      訂單成立後24小時內可更改付款方式,請聯繫客服協助處理。已付款訂單需先取消並重新下單才能更改付款方式。為避免影響出貨時程,建議下單前確認適合的付款方式。
    • ! know_137118 · 貨到付款有額外費用嗎?
      問題
      貨到付款有額外費用嗎?
      回答
      貨到付款需收取30元處理費,限台灣本島地區且單筆訂單金額5000元以下。配送時請備妥現金給司機,恕不找零。若收件時不在家導致配送失敗,可能需支付額外運費。建議優先選擇其他付款方式以節省費用。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到的發票寄送方式均有來源支持,且所有的事實陳述都能在提供的資料中找到相應的依據,因此沒有任何虛構的聲明。

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    0.0% · w 10%
    • 請妥善保存
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI,很高興為您服務! 發票的寄送方式有以下幾種: 1. 若您選擇電子發票,發票會在訂單出貨時開立,並以 email 寄送到您的信箱。若您有設定載具(如手機條碼、自然人憑證),發票會自動歸戶,無需列印。 2. 紙本發票則會隨商品一同寄送給您。 如果還有其他關於發票的問題,歡迎再詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 發票將隨商品一同寄送或以電子發票方式開立
    • 電子發票會寄送至您的email信箱
    III 補充說明 w 10%
    • 請妥善保存
    Judge 推理
    這個回答針對發票寄送方式的問題提供了完整的資訊,涵蓋了電子發票和紙本發票的寄送方式,但缺少了「請妥善保存」的建議,導致完整性稍有不足。
  • 案例 764BA5DD

    申請公司統編發票時要填什麼資料?

    已完成
    第 1 次嘗試 · 已完成 41924ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER申請公司統編發票時要填什麼資料?
    BOT馬上為您找找看相關內容 📋 您好,我是 Cacafly AI,很高興為您服務! 申請公司統編發票時,請在下單時選擇「三聯式發票」,並填寫以下資料: - 統一編號 - 公司名稱 - 公司地址 請注意,發票抬頭必須與營業登記資料一致,且統編發票無法事後補開,下單時務必正確填寫資訊。如有其他疑問歡迎再詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137103 · 如何申請公司統編發票?
      問題
      如何申請公司統編發票?
      回答
      申請公司統編發票請在下單時選擇「三聯式發票」,填入正確的統一編號、公司名稱和地址。發票抬頭務必與營業登記資料一致,避免報帳時產生問題。統編發票無法事後補開,請下單時務必正確填寫資訊。
    意料之外 (9)
    • ! know_137102 · 可以開立統一發票嗎?
      問題
      可以開立統一發票嗎?
      回答
      我們提供二聯式發票和三聯式統編發票服務。下單時請選擇「開立發票」並填寫相關資訊,發票將隨商品一同寄送或以電子發票方式開立。電子發票會寄送至您的email信箱,請妥善保存。若需補開發票請在訂單完成後30天內申請。
    • ! know_137129 · 發票遺失可以重新開立嗎?
      問題
      發票遺失可以重新開立嗎?
      回答
      發票遺失可申請補發,請提供訂單編號、購買日期和金額等資訊給客服。電子發票可重新寄送至您的email,紙本發票補發需酌收工本費。建議平時妥善保存發票以備報帳或退換貨使用。
    • ! know_137123 · 電子發票何時會開立?
      問題
      電子發票何時會開立?
      回答
      電子發票在訂單出貨時開立,發票資訊將email寄送至您的信箱。若選擇載具儲存(如手機條碼、自然人憑證),發票將自動歸戶無需列印。電子發票與紙本發票具同等效力,可供報帳和退換貨使用。
    • ! know_137140 · 可以配送到公司地址嗎?
      問題
      可以配送到公司地址嗎?
      回答
      可以配送到公司地址,請確認公司名稱、完整地址和收件人姓名電話。建議註明幾樓或部門資訊方便配送。若公司有特殊收貨時間或地點請在備註說明,我們會協助與物流司機溝通。
    • ! know_137190 · 個人資料安全嗎?
      問題
      個人資料安全嗎?
      回答
      我們採用SSL加密技術保護您的個人資料,並遵守個人資料保護法相關規定。不會將您的資料提供給第三方作為行銷用途。所有員工都簽署保密協議,系統也有完整的權限控管機制確保資料安全。
    • ! know_137182 · 如何修改個人資料?
      問題
      如何修改個人資料?
      回答
      登入會員後點選「個人資料」可修改姓名、電話、地址等基本資料。email帳號無法自行修改,如需更改請聯繫客服協助。密碼可在「帳戶設定」中修改,建議定期更新密碼確保帳戶安全。
    • ! know_137114 · 大量採購有優惠嗎?
      問題
      大量採購有優惠嗎?
      回答
      大量採購(通常50件以上)可享有批發價優惠,請聯繫客服提供詳細需求清單,我們將為您計算優惠價格。企業客戶可申請月結帳戶,享有更多便利的付款和配送服務。歡迎來電洽詢專屬優惠方案。
    • ! know_137109 · 如何合併多筆訂單?
      問題
      如何合併多筆訂單?
      回答
      多筆訂單無法在系統上自動合併,建議您重新下單包含所有需要的商品。若已分別下單,請聯繫客服評估是否能在出貨前合併處理,以節省運費。但已進入包裝或出貨流程的訂單則無法合併,敬請見諒。
    • ! know_137180 · 如何註冊會員?
      問題
      如何註冊會員?
      回答
      註冊會員很簡單,點選網站右上角「註冊」按鈕,填寫email、密碼和基本資料即可。email將作為帳號使用,請確保正確性。註冊完成後會收到驗證信,點選連結啟用帳戶即可開始享受會員專屬優惠和服務。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,所有提到的資料均有來源支持,因此沒有虛構的內容。

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    0.0% · w 30%
    • 避免報帳時產生問題
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 Cacafly AI,很高興為您服務! 申請公司統編發票時,請在下單時選擇「三聯式發票」,並填寫以下資料: - 統一編號 - 公司名稱 - 公司地址 請注意,發票抬頭必須與營業登記資料一致,且統編發票無法事後補開,下單時務必正確填寫資訊。如有其他疑問歡迎再詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 必須填入正確的統一編號、公司名稱和地址
    • 發票抬頭務必與營業登記資料一致
    II 重要限制 w 30%
    • 避免報帳時產生問題
    Judge 推理
    這個回答針對用戶的問題提供了正確的資料填寫要求,並且涵蓋了核心要點,但缺少了避免報帳時產生問題的警示,因此在完整性上稍有不足。
  • 案例 94FD7B6E

    訂單成立後多久可以修改商品數量?

    已完成
    第 1 次嘗試 · 已完成 34709ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單成立後多久可以修改商品數量?
    BOT正在為您搜尋最新資料 ⏳ 訂單成立後24小時內可以修改商品數量,但需視庫存狀況而定。若要增加數量需確認有足夠庫存,減少數量則可直接處理。修改後價格會重新計算,差額部分將退款或請您補足。建議您透過客服協助處理,確保修改順利完成。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137099 · 可以修改訂單中的商品數量嗎?
      問題
      可以修改訂單中的商品數量嗎?
      回答
      訂單成立後24小時內可修改商品數量,但需視庫存狀況而定。若要增加數量需確認有足夠庫存,減少數量則可直接處理。修改後價格將重新計算,差額部分將退款或請您補足。建議透過客服協助處理,確保修改順利完成。
    意料之外 (9)
    • ! know_137096 · 訂單成立後可以修改配送地址嗎?
      問題
      訂單成立後可以修改配送地址嗎?
      回答
      訂單成立後24小時內可免費修改配送地址,請登入會員後至訂單管理修改,或致電客服協助處理。超過24小時或商品已出貨則無法修改地址。建議下單前仔細確認配送資訊,避免因地址錯誤造成包裹退回或額外運費產生。
    • ! know_137134 · 配送地址可以更改嗎?
      問題
      配送地址可以更改嗎?
      回答
      訂單成立後24小時內可免費修改地址,請透過客服協助處理。商品出貨後無法修改地址,若配送失敗會退回並產生額外運費。建議下單前仔細確認配送資訊,避免不必要的困擾和費用。
    • ! know_137097 · 訂單成立後可以取消嗎?
      問題
      訂單成立後可以取消嗎?
      回答
      訂單成立後24小時內且商品尚未出貨前可申請取消,請至會員中心或聯繫客服處理。已付款訂單取消後將於3-5個工作天退款至原付款帳戶。若商品已出貨則需等收到商品後依退貨流程處理。預購或客製化商品可能有不同規定。
    • ! know_137127 · 可以更改付款方式嗎?
      問題
      可以更改付款方式嗎?
      回答
      訂單成立後24小時內可更改付款方式,請聯繫客服協助處理。已付款訂單需先取消並重新下單才能更改付款方式。為避免影響出貨時程,建議下單前確認適合的付款方式。
    • ! know_137112 · 訂單處理需要多久時間?
      問題
      訂單處理需要多久時間?
      回答
      一般商品訂單確認付款後1-2個工作天內處理出貨,預購商品依到貨時間而定。處理時間可能因促銷活動、假期或天災等因素延長。急件可選擇當日或次日配送服務(需額外收費),詳情請洽客服確認。
    • ! know_137161 · 商品庫存還有多少?
      問題
      商品庫存還有多少?
      回答
      商品庫存數量不公開顯示詳細數字,但會顯示「充足」、「有限」或「最後幾件」等提示。庫存不足時建議盡快下單,我們會依訂單時間順序出貨。若庫存不足無法完全滿足您的訂單,客服會主動聯繫協商。
    • ! know_137105 · 可以分批出貨嗎?
      問題
      可以分批出貨嗎?
      回答
      當訂單中包含不同出貨時程的商品時,我們會依商品到貨情況分批出貨,以加快您收到現貨商品的速度。每次出貨都會發送通知,運費僅收取一次。您也可以選擇等齊後一次出貨,請在訂單備註註明或聯繫客服協助設定。
    • ! know_137154 · 商品有現貨嗎?
      問題
      商品有現貨嗎?
      回答
      商品現貨狀況會即時顯示在商品頁面,有現貨會標示「立即購買」,缺貨則顯示「補貨中」。庫存數量因銷售快速可能隨時變動,建議盡快下單。缺貨商品可設定到貨通知,補貨後會立即email通知您。
    • ! know_137150 · 商品缺件怎麼辦?
      問題
      商品缺件怎麼辦?
      回答
      商品缺件請立即聯繫客服並提供訂單編號,我們將盡快為您補寄缺少的配件。若是套組商品缺件影響使用,可申請退換貨。為確保品質,建議收到商品後立即檢查內容物是否完整。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的內容,所有的事實陳述都有來源支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    100.0% · w 10%
    AI 回覆
    正在為您搜尋最新資料 ⏳ 訂單成立後24小時內可以修改商品數量,但需視庫存狀況而定。若要增加數量需確認有足夠庫存,減少數量則可直接處理。修改後價格會重新計算,差額部分將退款或請您補足。建議您透過客服協助處理,確保修改順利完成。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 訂單成立後24小時內可修改商品數量
    • 增加數量需確認有足夠庫存
    • 減少數量則可直接處理
    • 修改後價格將重新計算
    II 重要限制 w 30%
    • 差額部分將退款或請您補足
    III 補充說明 w 10%
    • 建議透過客服協助處理,確保修改順利完成
    Judge 推理
    這個回答完全符合用戶的問題,並且涵蓋了所有關鍵點,沒有遺漏或錯誤的資訊。
  • 案例 14B3EDDD

    已付款訂單可以更改付款方式嗎

    已完成
    第 1 次嘗試 · 已完成 32987ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER已付款訂單可以更改付款方式嗎
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI 客服助理,很高興為您服務! 已付款的訂單如果需要更改付款方式,必須先取消原訂單並重新下單,才能選擇新的付款方式。建議您在下單前確認適合的付款方式,以避免影響出貨時程。如果需要協助取消訂單,請聯繫客服協助處理。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137127 · 可以更改付款方式嗎?
      問題
      可以更改付款方式嗎?
      回答
      訂單成立後24小時內可更改付款方式,請聯繫客服協助處理。已付款訂單需先取消並重新下單才能更改付款方式。為避免影響出貨時程,建議下單前確認適合的付款方式。
    意料之外 (9)
    • ! know_137115 · 支援哪些付款方式?
      問題
      支援哪些付款方式?
      回答
      我們支援信用卡、ATM轉帳、超商繳費、貨到付款、電子支付(Line Pay、街口支付)等多種付款方式。部分高價商品可申請分期付款。選擇付款方式時系統會顯示可用選項,請依個人需求選擇最適合的付款方式。
    • ! know_137121 · 付款後發現金額錯誤怎麼辦?
      問題
      付款後發現金額錯誤怎麼辦?
      回答
      發現金額錯誤請立即聯繫客服,提供訂單編號和付款證明。若為系統計價錯誤,我們將立即修正並處理差額退款。若為商品價格調整,將依照您下單時的價格為準,確保您的權益不受影響。
    • ! know_137097 · 訂單成立後可以取消嗎?
      問題
      訂單成立後可以取消嗎?
      回答
      訂單成立後24小時內且商品尚未出貨前可申請取消,請至會員中心或聯繫客服處理。已付款訂單取消後將於3-5個工作天退款至原付款帳戶。若商品已出貨則需等收到商品後依退貨流程處理。預購或客製化商品可能有不同規定。
    • ! know_137120 · 如何確認付款是否成功?
      問題
      如何確認付款是否成功?
      回答
      付款成功後系統會立即顯示「付款完成」並發送確認email。信用卡付款可在明細中查看刷卡紀錄,ATM轉帳可透過網銀確認扣款。若有疑問可登入會員中心查看訂單狀態或聯繫客服確認。
    • ! know_137125 · 退款會退到原付款帳戶嗎?
      問題
      退款會退到原付款帳戶嗎?
      回答
      是的,退款會退回至您原本的付款帳戶。信用卡退款會出現在下期帳單,ATM轉帳退回原轉出帳戶。無法退款至不同帳戶以確保交易安全。若原付款方式有問題請聯繫客服討論其他退款方案。
    • ! know_137116 · 信用卡付款失敗怎麼辦?
      問題
      信用卡付款失敗怎麼辦?
      回答
      信用卡付款失敗可能原因:餘額不足、卡片過期、輸入資訊錯誤、銀行風控機制等。請檢查卡片資訊是否正確,確認額度足夠,或聯繫發卡銀行確認交易狀況。也可嘗試其他付款方式或稍後重新付款。
    • ! know_137118 · 貨到付款有額外費用嗎?
      問題
      貨到付款有額外費用嗎?
      回答
      貨到付款需收取30元處理費,限台灣本島地區且單筆訂單金額5000元以下。配送時請備妥現金給司機,恕不找零。若收件時不在家導致配送失敗,可能需支付額外運費。建議優先選擇其他付款方式以節省費用。
    • ! know_137134 · 配送地址可以更改嗎?
      問題
      配送地址可以更改嗎?
      回答
      訂單成立後24小時內可免費修改地址,請透過客服協助處理。商品出貨後無法修改地址,若配送失敗會退回並產生額外運費。建議下單前仔細確認配送資訊,避免不必要的困擾和費用。
    • ! know_137098 · 為什麼我的訂單被取消了?
      問題
      為什麼我的訂單被取消了?
      回答
      訂單取消原因可能包括:付款失敗、商品缺貨、地址資訊不完整、疑似異常訂單等。系統會自動發送取消通知至您的email。若對取消原因有疑問,請提供訂單編號聯繫客服,我們將為您詳細說明並協助重新下單。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料的內容,並且所有的事實陳述都有來源支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI 客服助理,很高興為您服務! 已付款的訂單如果需要更改付款方式,必須先取消原訂單並重新下單,才能選擇新的付款方式。建議您在下單前確認適合的付款方式,以避免影響出貨時程。如果需要協助取消訂單,請聯繫客服協助處理。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 已付款訂單需先取消並重新下單才能更改付款方式
    Judge 推理
    這個回答完全符合用戶的問題,並且提供了正確的資訊,說明已付款訂單需先取消並重新下單才能更改付款方式,且沒有遺漏任何關鍵點。
  • 案例 87093094

    食品可以退貨嗎?

    已完成
    第 1 次嘗試 · 已完成 32423ms
    腳本進度 · 知識與產品查詢 ✓ 已走完
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    STEP
    03

    API 工具

    ● 已呼叫:search_unified
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER食品可以退貨嗎?
    BOT馬上為您找找看相關內容 📋 您好,我是 Cacafly AI,很高興為您服務! 根據目前的退換貨政策,食品因衛生考量不接受退貨。如果您有特殊情況或商品有瑕疵,建議您直接聯繫客服進一步協助。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137165 · 退換貨政策是什麼?
      問題
      退換貨政策是什麼?
      回答
      商品收到後7天內可申請退換貨,需保持商品全新狀態和完整包裝。個人衛生用品、客製化商品、食品等不接受退貨。退貨運費由顧客自付,商品瑕疵或錯誤出貨則由我們負擔運費。
    意料之外 (9)
    • ! know_137167 · 哪些商品不能退換貨?
      問題
      哪些商品不能退換貨?
      回答
      個人衛生用品(如內衣褲、泳裝)、食品、客製化商品、軟體、影音產品等基於衛生或智財權考量不接受退貨。特價或出清商品可能也有退貨限制,下單前請詳閱商品頁面的退貨政策說明。
    • ! know_137176 · 特價商品可以退換貨嗎?
      問題
      特價商品可以退換貨嗎?
      回答
      特價商品和出清商品可能有不同的退換貨政策,部分可能不接受退貨或需收取手續費。購買前請詳閱商品頁面的特殊說明。一般特價商品仍可正常退換,但建議確認後再購買。
    • ! know_137166 · 退貨期限是多久?
      問題
      退貨期限是多久?
      回答
      退貨期限為收到商品後7天內,以物流簽收日為準。例如1月1日收貨,最遲需在1月7日前提出退貨申請。逾期恕不受理退貨,但商品瑕疵或我方責任除外。建議收到商品後盡快檢查並決定是否退貨。
    • ! know_137170 · 商品已使用還能退貨嗎?
      問題
      商品已使用還能退貨嗎?
      回答
      商品已拆封或輕微使用但不影響再次銷售可接受退貨,如試穿、試用等。但商品需保持大致全新狀態,不能有明顯使用痕跡、污損或異味。過度使用或損壞的商品恕不接受退貨。
    • ! know_137168 · 如何申請退換貨?
      問題
      如何申請退換貨?
      回答
      可透過會員中心申請退換貨或聯繫客服協助處理。需提供訂單編號、退貨原因和商品照片。客服確認後會提供退貨地址和流程說明。請依指示包裝商品並選擇適合的寄送方式退回。
    • ! know_137179 · 多件商品可以部分退貨嗎?
      問題
      多件商品可以部分退貨嗎?
      回答
      多件商品可以部分退貨,每件商品分別計算退款金額和運費分攤。例如購買3件退回1件,會退還該商品價格和1/3運費。優惠券或滿額折扣會重新計算,可能影響其他商品的優惠價格。
    • ! know_137155 · 可以先試穿再決定是否購買嗎?
      問題
      可以先試穿再決定是否購買嗎?
      回答
      目前暫不提供試穿服務,但我們有完善的退換貨政策。商品收到後如尺寸不合或不滿意,可在7天內申請退換貨。建議參考尺寸表和其他顧客評價選擇合適尺碼,降低退換貨需求。
    • ! know_137171 · 退貨時需要保留包裝嗎?
      問題
      退貨時需要保留包裝嗎?
      回答
      退貨時需保留原包裝、配件、贈品和購買憑證一併退回。包裝是商品的一部分,缺少包裝可能影響退貨受理或需扣除包裝成本。建議收到商品時妥善保存所有包裝材料以備退貨使用。
    • ! know_137175 · 贈品也需要一起退回嗎?
      問題
      贈品也需要一起退回嗎?
      回答
      贈品需與主商品一併退回,缺少贈品會從退款中扣除贈品價值。套組商品也需整組退回,不接受部分退貨。退貨前請確認所有商品和贈品都準備齊全,避免影響退款金額。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到食品因衛生考量不接受退貨,這一點在來源中有明確支持,因此該回覆的所有事實陳述均有來源依據,沒有虛構的內容。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 Cacafly AI,很高興為您服務! 根據目前的退換貨政策,食品因衛生考量不接受退貨。如果您有特殊情況或商品有瑕疵,建議您直接聯繫客服進一步協助。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 食品等不接受退貨
    Judge 推理
    回覆內容完全符合用戶的問題,清楚地說明食品不接受退貨的政策,並提供了額外的建議,符合預期的回答風格。
項目 II.

情境調用與完成

scenario_funnel 10 cases

維度總表

各維度品質分 · 覆蓋率
走對流程 召回
scenario
80.0%
[50.0% – 100.0%] · n=10
F1 66.7% · 召回 80.0% · 精確 60.0%
10 / 10 適用
用對工具 召回
tool_usage
40.0%
[10.0% – 70.0%] · n=10
F1 40.0% · 召回 40.0% · 精確 40.0%
10 / 10 適用
答得到位 平均
answer_quality
66.0%
[52.7% – 80.3%] · n=10
10 / 10 適用
  • 案例 ED98BDB9

    如果查到多個訂單,會怎麼處理?

    已完成
    第 1 次嘗試 · 已完成 23844ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如果查到多個訂單,會怎麼處理?
    BOT馬上為您找找看相關內容 📋 如果查到多個訂單,系統無法自動合併多筆訂單。建議您可以重新下單,把所有需要的商品一起下單。如果已經分別下單,您可以聯繫客服,由客服評估是否能在出貨前協助合併處理,以節省運費。不過,如果訂單已經進入包裝或出貨流程,就無法再合併,敬請見諒。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1327 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    60.0%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 系統會邏輯性地合併這些訂單的資訊
    • 如果沒有相關訂單,會告知您
    II 重要
    30.0% · w 30%
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 如果查到多個訂單,系統無法自動合併多筆訂單。建議您可以重新下單,把所有需要的商品一起下單。如果已經分別下單,您可以聯繫客服,由客服評估是否能在出貨前協助合併處理,以節省運費。不過,如果訂單已經進入包裝或出貨流程,就無法再合併,敬請見諒。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 系統會邏輯性地合併這些訂單的資訊
    • 如果沒有相關訂單,會告知您
    II 重要限制 w 30%
    • 建議聯繫客服
    Judge 推理
    回覆中提到的處理方式與系統的邏輯合併不符,未能完整回答用戶的問題。缺少了系統合併訂單的說明,且未提及如果沒有相關訂單的情況。
  • 案例 7C17D346

    商品規格詳細說明在哪裡呢?

    已完成
    第 1 次嘗試 · 已完成 31771ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER商品規格詳細說明在哪裡呢?
    BOT稍等一下我來幫您查詢 💡 商品的詳細規格說明會在商品詳情頁面提供,內容包含材質、尺寸、重量、功能特色等。如果您需要更詳細的技術規格或使用說明,可以下載產品說明書或聯繫客服索取。我們會確保所有產品資訊的完整性和準確性。

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1326 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    66.7%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 商品的詳細規格說明會在商品詳情頁面提供,內容包含材質、尺寸、重量、功能特色等。如果您需要更詳細的技術規格或使用說明,可以下載產品說明書或聯繫客服索取。我們會確保所有產品資訊的完整性和準確性。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 商品詳情頁面提供完整規格說明
    • 包含材質、尺寸、重量、功能特色等
    • 可下載產品說明書或聯繫客服索取
    II 重要限制 w 30%
    • 確保所有產品資訊的完整性和準確性
    Judge 推理
    回覆內容完全符合用戶的問題,並且涵蓋了所有關鍵點。然而,回覆中包含了不必要的術語,這違反了規則,導致正確性得分為零。
    錯誤陳述 (1)
    • 回覆中提到的 '我們會確保所有產品資訊的完整性和準確性' 是不必要的,因為這是禁止的術語。
  • 案例 A3D0539F

    訂單狀態怎麼查

    已完成
    第 1 次嘗試 · 已完成 26967ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單狀態怎麼查
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI 客服助理,很高興為您服務! 您可以登入會員帳戶後,點選「訂單查詢」功能,輸入訂單編號即可查看詳細狀態,包括訂單確認、處理中、已出貨、配送中、已完成等階段。我們也會透過簡訊和 email 主動通知您訂單狀態變更,請確保您的聯絡資訊正確。如有疑問也可以直接聯繫客服專線。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1327 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI 客服助理,很高興為您服務! 您可以登入會員帳戶後,點選「訂單查詢」功能,輸入訂單編號即可查看詳細狀態,包括訂單確認、處理中、已出貨、配送中、已完成等階段。我們也會透過簡訊和 email 主動通知您訂單狀態變更,請確保您的聯絡資訊正確。如有疑問也可以直接聯繫客服專線。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以登入會員帳戶後點選「訂單查詢」功能
    • 輸入訂單編號查看詳細狀態
    • 會透過簡訊和email通知您訂單狀態的變更
    Judge 推理
    這個回答完整地涵蓋了查詢訂單狀態所需的所有關鍵點,並且提供了清晰的指示,符合預期的回答風格。
  • 案例 C1CDA3A9

    為什麼要查詢商品規格?

    已完成
    第 1 次嘗試 · 已完成 34260ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER為什麼要查詢商品規格?
    BOT馬上為您找找看相關內容 📋 查詢商品規格可以讓您了解商品的材質、尺寸、重量、功能特色等詳細資訊,幫助您判斷是否符合您的需求。如果需要更詳細的技術規格或使用說明,也可以下載產品說明書或聯繫客服索取。我們確保所有產品資訊的完整性和準確性。

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1326 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 查詢商品規格可以讓您了解商品的材質、尺寸、重量、功能特色等詳細資訊,幫助您判斷是否符合您的需求。如果需要更詳細的技術規格或使用說明,也可以下載產品說明書或聯繫客服索取。我們確保所有產品資訊的完整性和準確性。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 商品詳情頁面會提供完整規格說明
    • 可以下載產品說明書或聯繫客服索取更詳細的技術規格或使用說明
    • 我們確保所有產品資訊的完整性和準確性
    Judge 推理
    這個回答完全符合用戶的問題,並且涵蓋了所有關鍵點,沒有遺漏任何重要資訊。回覆的內容也正確且清晰,符合規範要求。
  • 案例 E825FFF2

    如果查詢我的訂單狀態卻沒找到相關資料,該怎麼辦?

    已完成
    第 1 次嘗試 · 已完成 35368ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如果查詢我的訂單狀態卻沒找到相關資料,該怎麼辦?
    BOT讓我幫您查詢一下相關資訊 🔍 如果您查詢訂單狀態時沒找到相關資料,建議您可以先登入會員帳戶,點選「訂單查詢」功能並輸入訂單編號查看詳細狀態。如果還是找不到,請確認您的聯絡資訊(如email)是否正確,有時系統會將通知信寄到垃圾郵件匣或促銷郵件資料夾。若仍無法查詢到訂單,建議直接聯繫客服專線協助處理,我們會立即為您查詢與協助。

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1327 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    0.0% · w 10%
    • 建議您聯繫客服以獲取進一步的協助
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 如果您查詢訂單狀態時沒找到相關資料,建議您可以先登入會員帳戶,點選「訂單查詢」功能並輸入訂單編號查看詳細狀態。如果還是找不到,請確認您的聯絡資訊(如email)是否正確,有時系統會將通知信寄到垃圾郵件匣或促銷郵件資料夾。若仍無法查詢到訂單,建議直接聯繫客服專線協助處理,我們會立即為您查詢與協助。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 系統沒有找到相關訂單
    III 補充說明 w 10%
    • 建議您聯繫客服以獲取進一步的協助
    Judge 推理
    回覆內容針對查詢訂單狀態的問題提供了詳細的建議,涵蓋了系統未找到訂單的情況,但缺少了建議聯繫客服的部分,導致完整性得分降低。
  • 案例 48A4FFCF

    訂單查詢的時候會合併資訊嗎

    已完成
    第 1 次嘗試 · 已完成 36996ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單查詢的時候會合併資訊嗎
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI,很高興為您服務! 關於「訂單查詢會合併資訊嗎」這個問題,目前系統無法自動合併多筆訂單的資訊。如果您已經分別下單,建議您可以聯繫客服,評估是否能在出貨前協助合併處理,以節省運費。不過,如果訂單已經進入包裝或出貨流程,就無法再合併,敬請見諒。 如果您有其他訂單相關問題,也歡迎隨時詢問!

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 1327 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    46.7%
    相關性
    90.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 系統會邏輯性地合併這些訂單的資訊
    • 提供更清晰的狀態更新
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI,很高興為您服務! 關於「訂單查詢會合併資訊嗎」這個問題,目前系統無法自動合併多筆訂單的資訊。如果您已經分別下單,建議您可以聯繫客服,評估是否能在出貨前協助合併處理,以節省運費。不過,如果訂單已經進入包裝或出貨流程,就無法再合併,敬請見諒。 如果您有其他訂單相關問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 系統會邏輯性地合併這些訂單的資訊
    • 提供更清晰的狀態更新
    Judge 推理
    回覆中提到系統無法合併訂單資訊,與正確答案相矛盾。根據正確答案,系統應該會邏輯性地合併訂單資訊,並提供更清晰的狀態更新。
    錯誤陳述 (1)
    • 目前系統無法自動合併多筆訂單的資訊
  • 案例 3D48792D

    如果有多個相關訂單,這些訂單的資訊會怎麼合併?

    已完成
    第 1 次嘗試 · 已完成 28254ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER如果有多個相關訂單,這些訂單的資訊會怎麼合併?
    BOT稍等一下我來幫您查詢 💡 多筆訂單無法在系統上自動合併,建議您重新下單,將所有需要的商品放在同一筆訂單內。如果您已經分別下單,請聯繫客服評估是否能在出貨前協助合併處理,以節省運費。不過,如果訂單已經進入包裝或出貨流程,就無法再合併,敬請見諒。

    情境路由

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • 1327 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 0
    FP 1
    FN 1

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    40.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 系統會邏輯性地合併這些訂單的資訊
    • 提供更清晰的回覆
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 多筆訂單無法在系統上自動合併,建議您重新下單,將所有需要的商品放在同一筆訂單內。如果您已經分別下單,請聯繫客服評估是否能在出貨前協助合併處理,以節省運費。不過,如果訂單已經進入包裝或出貨流程,就無法再合併,敬請見諒。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 系統會邏輯性地合併這些訂單的資訊
    • 提供更清晰的回覆
    Judge 推理
    回覆中提到的多筆訂單無法自動合併與事實不符,根據正確答案,系統應該會邏輯性地合併訂單資訊。此外,回覆未能完整涵蓋所有關鍵點,導致完整性不足。
    錯誤陳述 (1)
    • 多筆訂單無法在系統上自動合併
  • 案例 0D1B3617

    有沒有最新的優惠活動?

    已完成
    第 1 次嘗試 · 已完成 35171ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER有沒有最新的優惠活動?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI,很高興為您服務!目前會員可享有多項優惠,包括: - 生日優惠(生日當月會自動發送生日優惠券,通常為折扣券或免運券) - 專屬促銷活動 - 新品搶先購 - 積點回饋 - VIP 會員還有免運費、專屬客服等進階服務 如果您想收到最新優惠、新品資訊和會員專屬活動通知,可以在網站下方訂閱電子報,或在會員設定中開啟電子報訂閱功能。 如需了解更多詳細內容,歡迎告訴我您的需求!

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1326 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    46.7%
    相關性
    80.0%
    完整性
    60.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 具體的內容和參加方式可以參考我們的官網或聯繫客服查詢
    II 重要
    III 補充
    0.0% · w 10%
    • 想知道更詳細的資訊嗎?
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI,很高興為您服務!目前會員可享有多項優惠,包括: - 生日優惠(生日當月會自動發送生日優惠券,通常為折扣券或免運券) - 專屬促銷活動 - 新品搶先購 - 積點回饋 - VIP 會員還有免運費、專屬客服等進階服務 如果您想收到最新優惠、新品資訊和會員專屬活動通知,可以在網站下方訂閱電子報,或在會員設定中開啟電子報訂閱功能。 如需了解更多詳細內容,歡迎告訴我您的需求!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們現在有一些優惠活動
    • 具體的內容和參加方式可以參考我們的官網或聯繫客服查詢
    III 補充說明 w 10%
    • 想知道更詳細的資訊嗎?
    Judge 推理
    回覆中提到的優惠活動並不符合實際情況,且未提供具體的內容和參加方式,這是用戶所需的關鍵資訊。
    錯誤陳述 (1)
    • 目前會員可享有多項優惠,包括:生日優惠(生日當月會自動發送生日優惠券,通常為折扣券或免運券)、專屬促銷活動、新品搶先購、積點回饋、VIP 會員還有免運費、專屬客服等進階服務
  • 案例 0C1E9B18

    能查詢我的訂單狀態嗎?

    已完成
    第 1 次嘗試 · 已完成 30146ms
    腳本進度 · 訂單查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 訂單查詢
    腳本規則
    - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
    
    訂單查詢的 Agent 情景
    STEP
    02

    資訊收集

    — 依規則行為(由「回答品質」評分)
    此情境無結構化欄位需收集,但 spec rules 約束 bot 行為(驗證關卡、禁止外洩等)— 評分由 answer_quality + spec_rules 維度承擔
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    腳本規則
    1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - Provide clear and concise answers based on order search results from tool messages
    - If multiple relevant orders found, combine them logically
    - If no relevant order found, acknowledge and offer to check with customer service
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER能查詢我的訂單狀態嗎?
    BOT馬上為您找找看相關內容 📋 您好,我是 Cacafly AI 客服助理,很高興為您服務! 您可以登入會員帳戶後,點選「訂單查詢」功能並輸入訂單編號,即可查看您的訂單狀態,包括訂單確認、處理中、已出貨、配送中、已完成等階段。我們也會透過簡訊和 email 主動通知您訂單狀態變更,請確認您的聯絡資訊正確。 如有其他疑問或需要協助,歡迎隨時告訴我!

    情境路由

    66.7%
    Precision
    50.0%
    Recall
    100.0%
    F1
    66.7%
    預期 (1)
    • 1327 · 訂單查詢
    意料之外 (1)
    • ! 知識與產品查詢
    TP 1
    FP 1
    FN 0

    工具使用

    0.0%
    Precision
    0.0%
    Recall
    0.0%
    F1
    0.0%
    預期 (1)
    • shopline_search_orders
    意料之外 (1)
    • ! search_unified
    TP 0
    FP 1
    FN 1

    回答品質

    70.0%
    相關性
    70.0%
    完整性
    50.0%
    正確性
    90.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 您可以查詢特定訂單的詳細資訊和運送狀態
    II 重要
    III 補充
    0.0% · w 10%
    • 請提供您的訂單編號,這樣我可以幫您查詢相關資訊
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 Cacafly AI 客服助理,很高興為您服務! 您可以登入會員帳戶後,點選「訂單查詢」功能並輸入訂單編號,即可查看您的訂單狀態,包括訂單確認、處理中、已出貨、配送中、已完成等階段。我們也會透過簡訊和 email 主動通知您訂單狀態變更,請確認您的聯絡資訊正確。 如有其他疑問或需要協助,歡迎隨時告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 您可以查詢特定訂單的詳細資訊和運送狀態
    III 補充說明 w 10%
    • 請提供您的訂單編號,這樣我可以幫您查詢相關資訊
    Judge 推理
    回覆中提到的查詢方式不符合用戶的需求,未要求用戶提供訂單編號,導致完整性不足。雖然提供了一些查詢的步驟,但未能直接協助查詢特定訂單。
  • 案例 2E2A5008

    政策相關問題要怎麼查?

    已完成
    第 1 次嘗試 · 已完成 41847ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手機型號和功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER政策相關問題要怎麼查?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI 客服助理,很高興為您服務! 如果您想查詢政策相關問題,以下是常見的查詢方式: - 會員條款:可在網站最下方的「服務條款」和「隱私權政策」中查閱,內容包含會員權利義務、個資使用方式、交易規則等。 - 退換貨政策:商品收到後7天內可申請退換貨,需保持商品全新狀態和完整包裝。部分商品如個人衛生用品、客製化商品、食品等不接受退貨。 - 特價商品退換貨:特價或出清商品可能有不同的退換貨政策,購買前請詳閱商品頁面的特殊說明。 請問您想進一步了解哪一項政策內容?還是有其他特定的政策問題需要協助呢?

    情境路由

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • 1326 · 知識與產品查詢
    TP 1
    FP 0
    FN 0

    工具使用

    100.0%
    Precision
    100.0%
    Recall
    100.0%
    F1
    100.0%
    預期 (1)
    • search_unified
    TP 1
    FP 0
    FN 0

    回答品質

    43.3%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 我們可以進行知識與產品的查詢
    • 您可以詢問有關政策、規定或條款的具體內容
    II 重要
    III 補充
    0.0% · w 10%
    • 需要進一步幫助請告訴我
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI 客服助理,很高興為您服務! 如果您想查詢政策相關問題,以下是常見的查詢方式: - 會員條款:可在網站最下方的「服務條款」和「隱私權政策」中查閱,內容包含會員權利義務、個資使用方式、交易規則等。 - 退換貨政策:商品收到後7天內可申請退換貨,需保持商品全新狀態和完整包裝。部分商品如個人衛生用品、客製化商品、食品等不接受退貨。 - 特價商品退換貨:特價或出清商品可能有不同的退換貨政策,購買前請詳閱商品頁面的特殊說明。 請問您想進一步了解哪一項政策內容?還是有其他特定的政策問題需要協助呢?
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 我們可以進行知識與產品的查詢
    • 您可以詢問有關政策、規定或條款的具體內容
    III 補充說明 w 10%
    • 需要進一步幫助請告訴我
    Judge 推理
    這個回答的相關性不錯,但缺乏對於用戶查詢的核心內容的直接回應,且包含了不必要的搜尋提示,這與規範相違背。回答中未能涵蓋所有必要的要點,導致完整性和正確性都受到影響。
    錯誤陳述 (2)
    • 正在為您搜尋最新資料 ⏳
    • 如果您想查詢政策相關問題,以下是常見的查詢方式:
項目 III.

對話素養(混合問答)

mixed_qa 10 cases

維度總表

各維度品質分 · 覆蓋率
找對資料 召回
retrieval
100.0%
[100.0% – 100.0%] · n=8
F1 18.2% · 相關率 21.3% · 精確 10.0%
8 / 10 適用
不亂編造 平均
faithfulness
83.3%
[60.0% – 100.0%] · n=10
10 / 10 適用
答得到位 平均
answer_quality
86.0%
[69.3% – 97.7%] · n=10
10 / 10 適用
  • 案例 4D16A747

    請問超商取貨需要在幾天內取貨呢?

    已完成
    第 1 次嘗試 · 已完成 28817ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER請問超商取貨需要在幾天內取貨呢?
    BOT正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI 客服助理,很高興為您服務! 超商取貨的包裹到店後,請在7天內憑簡訊和身分證件取貨。逾期未取會退回並收取來回運費。建議您收到通知後盡快前往取貨,以免產生額外費用。如有其他問題歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137135 · 超商取貨有什麼限制?
      問題
      超商取貨有什麼限制?
      回答
      超商取貨有重量(5公斤內)和尺寸限制,不適用於大型商品。商品到店後會收到簡訊通知,請在7天內憑簡訊和身分證件取貨。逾期未取將退回並收取來回運費。取貨時請當場檢查商品狀況。
    意料之外 (9)
    • ! know_137166 · 退貨期限是多久?
      問題
      退貨期限是多久?
      回答
      退貨期限為收到商品後7天內,以物流簽收日為準。例如1月1日收貨,最遲需在1月7日前提出退貨申請。逾期恕不受理退貨,但商品瑕疵或我方責任除外。建議收到商品後盡快檢查並決定是否退貨。
    • ! know_137108 · 可以指定特定日期配送嗎?
      問題
      可以指定特定日期配送嗎?
      回答
      一般宅配無法指定特定日期,但可選擇配送時段(上午、下午、晚上)。若有特殊需求可在訂單備註說明或聯繫客服協調,我們將盡力配合。超商取貨則無時間限制,商品到店後您可在7天內取貨,非常彈性方便。
    • ! know_137130 · 有哪些配送方式?
      問題
      有哪些配送方式?
      回答
      我們提供宅配到府、超商取貨、門市自取等配送方式。宅配可指定時段,超商取貨方便彈性,門市自取可省運費並當場檢查商品。各種配送方式都有不同的適用範圍和限制,請依需求選擇。
    • ! know_137133 · 可以指定配送時間嗎?
      問題
      可以指定配送時間嗎?
      回答
      宅配可選擇上午(9-12點)、下午(13-18點)、晚上(18-21點)三個時段,無法指定精確時間。司機配送前會先電話聯繫。若指定時段無人簽收,會安排重新配送或改為超商取貨。
    • ! know_137141 · 收件人不在家怎麼辦?
      問題
      收件人不在家怎麼辦?
      回答
      收件人不在家時司機會留下取貨聯或聯繫電話安排重新配送。宅配通常會重試一次,若仍無法送達會退回。建議改選超商取貨或請代收人協助,避免配送失敗產生額外運費。
    • ! know_137138 · 包裹遺失怎麼辦?
      問題
      包裹遺失怎麼辦?
      回答
      包裹遺失請立即聯繫客服報案,我們將協助向物流公司查詢並申請理賠。同時會為您安排重新出貨或退款。建議選擇需簽收的配送方式降低遺失風險,或改為超商取貨更加安全。
    • ! know_137146 · 商品顏色與圖片有差異怎麼辦?
      問題
      商品顏色與圖片有差異怎麼辦?
      回答
      商品顏色可能因拍攝燈光、螢幕顯示設定等因素與實品略有差異。我們盡力呈現真實色彩,但無法保證完全相同。若收到商品顏色與期望差異過大,可在退貨期限內申請退換貨。
    • ! know_137131 · 配送費用如何計算?
      問題
      配送費用如何計算?
      回答
      配送費用依重量、體積和配送方式計算。一般宅配60-100元,超商取貨60元,離島或偏遠地區可能需額外費用。滿額免運活動期間達門檻免收運費。結帳時會顯示詳細運費,請確認後再完成付款。
    • ! know_137132 · 多久會收到商品?
      問題
      多久會收到商品?
      回答
      一般商品出貨後1-3個工作天內送達,偏遠地區可能需要更長時間。超商取貨約2-4個工作天到店。急件可選擇當日或次日配送服務。實際配送時間可能因天氣、交通或其他不可抗力因素影響。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料,提到的取貨期限和逾期處理都在來源中有明確支持,因此沒有虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 您好,我是 Cacafly AI 客服助理,很高興為您服務! 超商取貨的包裹到店後,請在7天內憑簡訊和身分證件取貨。逾期未取會退回並收取來回運費。建議您收到通知後盡快前往取貨,以免產生額外費用。如有其他問題歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 商品到店後請在7天內憑簡訊和身分證件取貨
    Judge 推理
    這個回答完全符合用戶的問題,提供了正確的取貨期限和所需的證件,且沒有遺漏任何關鍵資訊。
  • 案例 62E0F199

    電商訂單搜尋要怎麼操作?

    已完成
    第 1 次嘗試 · 已完成 25303ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    ✗ 已呼叫 0 / 1 個工具
    未呼叫:shopline_search_orders
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 3 步 · 此案例不測 1 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER電商訂單搜尋要怎麼操作?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI,很高興為您服務! 關於「電商訂單搜尋」的操作方式,目前查詢結果中沒有直接說明如何在系統內搜尋訂單。不過,若您有其他關於訂單的問題,例如合併訂單、更改付款方式、配送方式、退換貨申請等,我可以提供相關說明。 請問您是想了解如何在會員中心查詢自己的訂單紀錄,還是有其他特定需求呢?如果需要更詳細的操作步驟,建議您聯繫客服協助,或提供更明確的需求,我會再幫您查詢!

    忠實度

    幻覺
    幻覺比率
    100.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    回覆中提到的「目前查詢結果中沒有直接說明如何在系統內搜尋訂單」等內容並未在提供的來源中找到支持,因此這些聲明被判定為虛構。
    幻覺陳述 (4)
    • 目前查詢結果中沒有直接說明如何在系統內搜尋訂單
    • 若您有其他關於訂單的問題,例如合併訂單、更改付款方式、配送方式、退換貨申請等,我可以提供相關說明
    • 請問您是想了解如何在會員中心查詢自己的訂單紀錄,還是有其他特定需求呢?
    • 如果需要更詳細的操作步驟,建議您聯繫客服協助,或提供更明確的需求,我會再幫您查詢

    回答品質

    26.7%
    相關性
    50.0%
    完整性
    30.0%
    正確性
    0.0%
    加權拆解 · 三層 coverage
    I 核心
    0.0% · w 60%
    • 可以透過打 JTCG SaaS API 及 vendor parser 來搜尋電商訂單
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI,很高興為您服務! 關於「電商訂單搜尋」的操作方式,目前查詢結果中沒有直接說明如何在系統內搜尋訂單。不過,若您有其他關於訂單的問題,例如合併訂單、更改付款方式、配送方式、退換貨申請等,我可以提供相關說明。 請問您是想了解如何在會員中心查詢自己的訂單紀錄,還是有其他特定需求呢?如果需要更詳細的操作步驟,建議您聯繫客服協助,或提供更明確的需求,我會再幫您查詢!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 可以透過打 JTCG SaaS API 及 vendor parser 來搜尋電商訂單
    Judge 推理
    回覆未能正確回答用戶的問題,缺少了關於如何搜尋電商訂單的具體操作步驟,且未提及 JTCG SaaS API 和 vendor parser 的使用。
  • 案例 EBDBD03F

    查詢的問題要有問號還是疑問詞嗎

    已完成
    第 1 次嘗試 · 已完成 34026ms
    腳本進度 · 知識與產品查詢 ✗ 卡關
    STEP
    01

    觸發條件

    ● 已觸發 知識與產品查詢
    腳本規則
    - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                        - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                        - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                        - Short queries under 10 characters
                        - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
    - 活動相關:
                        - 活動/報名/參加
                        - 優惠/折扣/促銷
                        - 抽獎/贈品/獎品
    - 公司資訊相關:
                        - 粉絲團/粉專/FB/Facebook/臉書
                        - Instagram/IG/社群/社群媒體
                        - 官網/網站/官方網站
                        - LINE/Line官方帳號
                        - Youtube/YT/影片/頻道
                        - 公司/品牌/關於我們
    - 服務相關:
                        - 服務時間/營業時間/上班時間
                        - 聯絡方式/電話/信箱/地址
                        - 退換貨/退款/退費
                        - 保固/維修/售後
                        - 配送/運費/到貨時間
                        - 付款方式/分期/優惠
                        - 會員/積分/紅利
                        - 發票/收據/證明
    - 政策相關:
                        - 政策/規定/條款
                        - 隱私/個資/資料
                        - 安全/保障/保護
                        - 責任/義務/權利
    - 技術問題:
                        - 無法/不能/不行
                        - 錯誤/異常/問題
                        - 當機/卡住/慢
                        - 登入/註冊/密碼
                        - 設定/安裝/使用
    - 產品使用方式:
                        - 怎麼用/如何使用/使用方法
                        - 使用方式/操作方式/使用步驟
                        - 安裝/設定/配置
                        - 第一次使用/新手使用/初次使用
                        - 使用技巧/使用建議/使用訣竅
                        - 使用注意/注意事項/使用須知
                        - 使用限制/使用條件/使用要求
    - 產品組合搭配:
                        - 搭配/組合/配對
                        - 一起用/同時使用/配合使用
                        - 推薦組合/熱門組合/最佳搭配
                        - 套餐/套組/套裝
                        - 加購/加買/額外購買
                        - 相關產品/相關商品/配套
                        - 升級/升級版/進階版
    - 功能補充說明:
                        - 功能/特色/特性
                        - 詳細說明/詳細介紹/詳細規格
                        - 補充說明/額外說明/更多資訊
                        - 技術規格/技術參數/技術細節
                        - 適用範圍/適用對象/適用情境
                        - 限制/限制條件/使用限制
                        - 差異/不同/區別
    - 產品比較:
                        - 比較/對比/差異
                        - 哪個好/哪個適合/選擇建議
                        - 優缺點/優劣/好壞
                        - 推薦/建議/選擇
                        - 性價比/CP值/划算
    - 產品維護保養:
                        - 保養/維護/清潔
                        - 保存/存放/收藏
                        - 壽命/使用期限/保固期
                        - 維修/故障/問題排除
                        - 更換/替換/更新
    - 直接產品需求:
                        - 商品/產品/物品
                        - 推薦/介紹/建議
                        - 我想要/我需要/我在找
                        - 購買/買/訂購
    - 產品特性:
                        - 功能/特色/優點
                        - 規格/尺寸/容量
                        - 價格/費用/成本
                        - 品質/評價/口碑
                        - 適用/適合/符合
    - 使用場景:
                        - 用途/目的/需求
                        - 場合/情境/環境
                        - 對象/年齡/性別
                        - 預算/範圍/限制
    
    統一處理知識庫查詢與產品資訊查詢,使用並發搜尋提供完整資訊
    STEP
    02

    資訊收集

    ✗ 已收集 0 / 2 項
    未收集:query、keywords_or_codes
    腳本規則
    ### knowledge_and_product_search_parameters — 知識庫與產品並發搜尋參數
    - query [string] (必填): User's current main question or topic to inquire about, or product they want to query or get recommendations for (3-20 word phrase, focusing on latest intent, excluding resolved or irrelevant content)
    - keywords_or_codes [array] (必填): All codes, labels, product keywords, model numbers appearing in user's message (e.g., C90012, T1234), empty array if none
    預期 / 已收集 (0/2)
    欄位 預期值(generate) 已收集(run)
    query 我想了解最新的智能手錶有哪些功能 — (對話未走到)
    keywords_or_codes [] — (對話未走到)
    STEP
    03

    API 工具

    ○ 等待資訊收集完成
    腳本規則
    1. search_unified
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    腳本規則
    - ### 🚨 Language Consistency (Highest Priority)
    - **Absolutely NO language mixing**: Responses must be 100% in the language specified by Response Language
    - **No results response format**: When tools return no results, use language-appropriate responses:
    -   • If Response Language is Chinese: '根據我的了解,[general answer]。為了確保準確,建議你跟真人客服確認一下喔!'
    -   • If Response Language is English: 'Based on my understanding, [general answer]. For accuracy, I recommend confirming with our customer service team!'
    -   • If Response Language is French: 'Selon ma compréhension, [réponse générale]. Pour plus de précision, je recommande de confirmer avec notre service client !'
    -   • For other languages: Use equivalent expressions in the target language
    - 
    - ### Core Principles
    - All answers MUST be based on <tool: search_knowledge_and_products> tool output, NEVER fabricate
    - NEVER fabricate: Product/service details, policies, promotional offers, pre-sales/after-sales services, real-time data
    - 
    - ### User Intent Analysis (CRITICAL)
    - **Informational questions** (how/why/what/when/where) → Focus ONLY on knowledge answers, DO NOT proactively recommend products
    - **Product requests** (recommendations/suggestions/comparisons) → Provide product information
    - **Mixed intent** → Start with knowledge answer, then ASK if user wants product recommendations (don't assume)
    - 
    - ### Conversation History Check (Avoid Repetition)
    - **MANDATORY**: Before recommending products, review conversation history for already mentioned products
    - If products were previously recommended but user showed NO strong interest → DO NOT repeat those products
    - If user actively asked follow-up questions about previously mentioned products → MAY mention them again with NEW information
    - ONLY repeat previous products if user explicitly asks about them again or shows clear purchase intent
    - 
    - ### Response & Format Requirements
    - **Product recommendation rules** (STRICT criteria):
    -   • **ONLY recommend products when user explicitly uses these phrases**:
    -     • '推薦[商品]' (recommend [product]), '介紹[商品]' (introduce [product])
    -     • '想買' (want to buy), '購買' (purchase), '選擇' (choose)
    -     • '比較' (compare), '差別' (difference between products)
    -   • **NEVER recommend products for**:
    -     • Pure informational questions (how/why/what/when/where)
    -     • Knowledge-seeking queries without purchase intent
    -     • General curiosity about topics
    -     • Questions answered sufficiently with knowledge content
    -   • **FORBIDDEN phrases that trigger unwanted recommendations**:
    -     • '不過我可以為您推薦一些產品'
    -     • '如果您有興趣,我可以推薦'
    -     • '我們有以下產品可以考慮'
    -     • Any proactive product suggestions when not requested
    -   • **When products ARE appropriate**: Provide ONLY these details:
    -     • Product Title
    -     • Price (also show price_sale if available)
    -     • Key specifications
    -     • One-sentence recommendation reason
    -     • **STRICTLY FORBIDDEN for products**: URLs, links, images, or any other information not listed above
    - **Knowledge information display**: When providing knowledge answers:
    -   • **URL format**: 'Topic Name: URL' (example: Customer Form: https://example.com)
    -   • **ABSOLUTELY FORBIDDEN**: markdown format [text](url). NEVER write [Customer Form](url), ALWAYS write Customer Form: url
    -   • **Image format**: 
    
    ![](image_url)
    
     (Use ONLY image links from tool messages)
    - 
    - ### Prohibited Terms
    - MUST NOT mention: 'knowledge base', 'database', 'system records', 'internal data', 'documentation'
    - NEVER use robotic phrases: 'according to our data', 'based on knowledge base', 'system shows'
    - Always rephrase naturally, making responses sound like a helpful human assistant
    - 
    - **Pre-response Checklist**: □ Correct language □ Based on tool results □ Natural expression
    完整測試 4 個步驟
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER查詢的問題要有問號還是疑問詞嗎
    BOT讓我幫您查詢一下相關資訊 🔍 根據目前的資料,並沒有直接說明查詢的問題是否一定要有問號或疑問詞。不過,從範例來看,常見的查詢問題多以疑問詞(如「如何」、「為什麼」、「可以」等)開頭,也會用問號結尾。這樣表達能讓問題更清楚明確。如果你有特定需求或想了解更詳細的規則,建議你跟真人客服確認一下喔!

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    0.0%
    越高越好
    Judge 推理
    回覆中包含了未經來源支持的資訊,並且未遵循回覆規則,特別是在回答資訊性問題時未能專注於知識性回答。

    回答品質

    60.0%
    相關性
    80.0%
    完整性
    50.0%
    正確性
    50.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 任何含有問號或者疑問詞的查詢都會立即觸發知識與產品查詢
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 根據目前的資料,並沒有直接說明查詢的問題是否一定要有問號或疑問詞。不過,從範例來看,常見的查詢問題多以疑問詞(如「如何」、「為什麼」、「可以」等)開頭,也會用問號結尾。這樣表達能讓問題更清楚明確。如果你有特定需求或想了解更詳細的規則,建議你跟真人客服確認一下喔!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 任何含有問號或者疑問詞的查詢都會立即觸發知識與產品查詢
    Judge 推理
    回覆中提到的查詢問題的表達方式雖然有一定的相關性,但未能完整回答用戶的問題,缺少了關鍵的核心內容,且未遵循語言一致性的規則。
  • 案例 805121AF

    積分多久會入帳啊

    已完成
    第 1 次嘗試 · 已完成 32566ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER積分多久會入帳啊
    BOT稍等一下我來幫您查詢 💡 您好,我是 Cacafly AI,很高興為您服務! 積分會在訂單完成後7天內入帳。如果有退貨,會扣回相對應的積分。積分有效期限為2年,快到期前會有 email 提醒您使用。若還有其他相關問題,歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137188 · 點數如何累積和使用?
      問題
      點數如何累積和使用?
      回答
      每消費100元可獲得1點積分,1點可折抵1元消費。積分會在訂單完成後7天內入帳,退貨時會扣回相對應積分。積分有效期限為2年,即將到期前會email提醒使用。積分可在結帳時抵用現金。
    意料之外 (9)
    • ! know_137117 · ATM轉帳後多久會確認付款?
      問題
      ATM轉帳後多久會確認付款?
      回答
      ATM轉帳後請保留收據並等待1-2個工作天確認入帳。系統確認收款後會自動更新訂單狀態並發送通知。若超過時限未確認,請將轉帳收據拍照傳送給客服協助查詢。請務必轉帳正確金額至指定帳戶。
    • ! know_137124 · 退款需要多久時間?
      問題
      退款需要多久時間?
      回答
      退款處理時間:信用卡1-14個工作天、ATM轉帳3-5個工作天。實際入帳時間依各銀行作業時程而定。退款完成後會發送通知email,若超過預定時間未收到退款請聯繫客服協助查詢銀行處理進度。
    • ! know_137173 · 退貨申請多久會處理?
      問題
      退貨申請多久會處理?
      回答
      退貨申請受理後3-5個工作天內處理,退款則需另外3-5個工作天。實際處理時間可能因申請量或特殊情況延長。我們會在各階段主動通知處理進度,您也可隨時聯繫客服查詢狀況。
    • ! know_137166 · 退貨期限是多久?
      問題
      退貨期限是多久?
      回答
      退貨期限為收到商品後7天內,以物流簽收日為準。例如1月1日收貨,最遲需在1月7日前提出退貨申請。逾期恕不受理退貨,但商品瑕疵或我方責任除外。建議收到商品後盡快檢查並決定是否退貨。
    • ! know_137112 · 訂單處理需要多久時間?
      問題
      訂單處理需要多久時間?
      回答
      一般商品訂單確認付款後1-2個工作天內處理出貨,預購商品依到貨時間而定。處理時間可能因促銷活動、假期或天災等因素延長。急件可選擇當日或次日配送服務(需額外收費),詳情請洽客服確認。
    • ! know_137119 · 可以使用分期付款嗎?
      問題
      可以使用分期付款嗎?
      回答
      信用卡分期付款需視發卡銀行規定,通常單筆滿3000元以上可申請3、6、12期分期。分期手續費由銀行收取,本站不額外收費。結帳時選擇分期選項並依指示完成付款程序。詳細分期規定請洽詢您的發卡銀行。
    • ! know_137132 · 多久會收到商品?
      問題
      多久會收到商品?
      回答
      一般商品出貨後1-3個工作天內送達,偏遠地區可能需要更長時間。超商取貨約2-4個工作天到店。急件可選擇當日或次日配送服務。實際配送時間可能因天氣、交通或其他不可抗力因素影響。
    • ! know_137185 · 可以刪除帳戶嗎?
      問題
      可以刪除帳戶嗎?
      回答
      可以申請刪除帳戶,請聯繫客服協助處理。刪除帳戶前請確認沒有待處理的訂單或未使用的點數優惠券。帳戶刪除後所有資料將永久移除且無法復原,包含購買紀錄和會員權益。
    • ! know_137125 · 退款會退到原付款帳戶嗎?
      問題
      退款會退到原付款帳戶嗎?
      回答
      是的,退款會退回至您原本的付款帳戶。信用卡退款會出現在下期帳單,ATM轉帳退回原轉出帳戶。無法退款至不同帳戶以確保交易安全。若原付款方式有問題請聯繫客服討論其他退款方案。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的內容,所有的事實陳述都有相應的支持,因此沒有任何虛構的聲明。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 Cacafly AI,很高興為您服務! 積分會在訂單完成後7天內入帳。如果有退貨,會扣回相對應的積分。積分有效期限為2年,快到期前會有 email 提醒您使用。若還有其他相關問題,歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 積分會在訂單完成後7天內入帳
    Judge 推理
    這個回答完全符合用戶的問題,並且提供了正確的積分入帳時間,且沒有遺漏任何關鍵資訊。
  • 案例 EC536AFD

    一般會員需要消費多少金額才能升級?

    已完成
    第 1 次嘗試 · 已完成 34073ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER一般會員需要消費多少金額才能升級?
    BOT馬上為您找找看相關內容 📋 您好,我是 Cacafly AI,很高興為您服務! 會員等級會依照年度累積消費金額自動升級: - 一般會員:0元 - 銀卡會員:滿5,000元 - 金卡會員:滿15,000元 - 鑽石會員:滿30,000元 每年1月1日會重新計算消費金額,等級也可能調整。不同等級享有不同優惠和服務。如果您需要更詳細的說明,歡迎再詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137187 · 會員等級如何提升?
      問題
      會員等級如何提升?
      回答
      會員等級依年度累積消費金額自動升級:一般會員0元、銀卡會員滿5000元、金卡會員滿15000元、鑽石會員滿30000元。每年1月1日重新計算消費金額,等級可能調整。不同等級享有不同優惠和服務。
    意料之外 (9)
    • ! know_137183 · 會員有什麼優惠?
      問題
      會員有什麼優惠?
      回答
      會員享有生日優惠、專屬促銷、新品搶先購、積點回饋等多項優惠。VIP會員還有免運費、專屬客服等進階服務。會員等級依年度消費金額分級,等級越高享受的優惠越多,詳情請參考會員權益說明。
    • ! know_137100 · 如何使用優惠券?
      問題
      如何使用優惠券?
      回答
      結帳時在優惠券欄位輸入優惠碼並點選「套用」即可享有折扣。每張優惠券都有使用期限、最低消費金額或適用商品限制,請確認符合使用條件。一筆訂單僅能使用一張優惠券,且不得與其他促銷活動併用。使用後將從您的帳戶中扣除。
    • ! know_137110 · 訂單金額有最低限制嗎?
      問題
      訂單金額有最低限制嗎?
      回答
      單筆訂單金額沒有下限,但選擇某些配送方式可能有最低消費要求。例如免運費活動通常設有最低購買金額。超商取貨因體積重量限制,建議單筆訂單控制在適當範圍。詳細規定請參考各配送方式說明。
    • ! know_137126 · 部分退款如何處理?
      問題
      部分退款如何處理?
      回答
      部分退款會按商品金額比例計算,包含運費分攤。例如訂購兩件商品退回一件,會退還該商品金額及一半運費。優惠券或折扣金額也會按比例調整。詳細計算方式可聯繫客服確認。
    • ! know_137188 · 點數如何累積和使用?
      問題
      點數如何累積和使用?
      回答
      每消費100元可獲得1點積分,1點可折抵1元消費。積分會在訂單完成後7天內入帳,退貨時會扣回相對應積分。積分有效期限為2年,即將到期前會email提醒使用。積分可在結帳時抵用現金。
    • ! know_137118 · 貨到付款有額外費用嗎?
      問題
      貨到付款有額外費用嗎?
      回答
      貨到付款需收取30元處理費,限台灣本島地區且單筆訂單金額5000元以下。配送時請備妥現金給司機,恕不找零。若收件時不在家導致配送失敗,可能需支付額外運費。建議優先選擇其他付款方式以節省費用。
    • ! know_137175 · 贈品也需要一起退回嗎?
      問題
      贈品也需要一起退回嗎?
      回答
      贈品需與主商品一併退回,缺少贈品會從退款中扣除贈品價值。套組商品也需整組退回,不接受部分退貨。退貨前請確認所有商品和贈品都準備齊全,避免影響退款金額。
    • ! know_137179 · 多件商品可以部分退貨嗎?
      問題
      多件商品可以部分退貨嗎?
      回答
      多件商品可以部分退貨,每件商品分別計算退款金額和運費分攤。例如購買3件退回1件,會退還該商品價格和1/3運費。優惠券或滿額折扣會重新計算,可能影響其他商品的優惠價格。
    • ! know_137172 · 換貨需要額外付費嗎?
      問題
      換貨需要額外付費嗎?
      回答
      換貨免運費,但僅限同商品不同規格(如尺寸、顏色)。若要換購不同商品需先退貨再重新下單。換貨需視庫存狀況,若無適合規格可改為退貨。換貨商品同樣需保持全新狀態。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的內容,所有提到的會員等級和消費金額都得到了支持,因此沒有任何虛構的聲明。

    回答品質

    86.7%
    相關性
    100.0%
    完整性
    60.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    60.0% · w 60%
    • 一般會員的消費金額要求為0元即可升級
    II 重要
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 您好,我是 Cacafly AI,很高興為您服務! 會員等級會依照年度累積消費金額自動升級: - 一般會員:0元 - 銀卡會員:滿5,000元 - 金卡會員:滿15,000元 - 鑽石會員:滿30,000元 每年1月1日會重新計算消費金額,等級也可能調整。不同等級享有不同優惠和服務。如果您需要更詳細的說明,歡迎再詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 一般會員的消費金額要求為0元即可升級
    Judge 推理
    AI 回覆中提到了一般會員的消費金額要求為0元,但同時提供了過多的額外資訊,未能專注於用戶的具體問題,導致完整性得分降低。
  • 案例 6440FD1E

    退貨的運費大概要多少?

    已完成
    第 1 次嘗試 · 已完成 28701ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER退貨的運費大概要多少?
    BOT馬上為您找找看相關內容 📋 一般退貨運費由顧客自付,約60-100元。如果是因為商品瑕疵、錯誤出貨或與描述不符等我們的責任導致退貨,運費則由我們承擔並會連同退款一起處理。建議您在退貨前確認退貨原因和運費負擔方式。如需更詳細的計算方式,也可以聯繫客服確認。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137169 · 退貨需要付運費嗎?
      問題
      退貨需要付運費嗎?
      回答
      一般退貨運費由顧客自付,約60-100元。若因商品瑕疵、錯誤出貨或與描述不符等我方責任導致退貨,運費由我們承擔並會連同退款一起處理。退貨前請確認退貨原因和運費負擔方式。
    意料之外 (9)
    • ! know_137172 · 換貨需要額外付費嗎?
      問題
      換貨需要額外付費嗎?
      回答
      換貨免運費,但僅限同商品不同規格(如尺寸、顏色)。若要換購不同商品需先退貨再重新下單。換貨需視庫存狀況,若無適合規格可改為退貨。換貨商品同樣需保持全新狀態。
    • ! know_137131 · 配送費用如何計算?
      問題
      配送費用如何計算?
      回答
      配送費用依重量、體積和配送方式計算。一般宅配60-100元,超商取貨60元,離島或偏遠地區可能需額外費用。滿額免運活動期間達門檻免收運費。結帳時會顯示詳細運費,請確認後再完成付款。
    • ! know_137179 · 多件商品可以部分退貨嗎?
      問題
      多件商品可以部分退貨嗎?
      回答
      多件商品可以部分退貨,每件商品分別計算退款金額和運費分攤。例如購買3件退回1件,會退還該商品價格和1/3運費。優惠券或滿額折扣會重新計算,可能影響其他商品的優惠價格。
    • ! know_137126 · 部分退款如何處理?
      問題
      部分退款如何處理?
      回答
      部分退款會按商品金額比例計算,包含運費分攤。例如訂購兩件商品退回一件,會退還該商品金額及一半運費。優惠券或折扣金額也會按比例調整。詳細計算方式可聯繫客服確認。
    • ! know_137177 · 尺寸不合可以免費換貨嗎?
      問題
      尺寸不合可以免費換貨嗎?
      回答
      尺寸不合可免費換貨,但需付來回運費。建議參考尺寸表選購避免尺寸問題。若同一商品多次因尺寸問題退換,可能會建議您到實體門市確認尺寸或選擇退貨,避免重複運費支出。
    • ! know_137165 · 退換貨政策是什麼?
      問題
      退換貨政策是什麼?
      回答
      商品收到後7天內可申請退換貨,需保持商品全新狀態和完整包裝。個人衛生用品、客製化商品、食品等不接受退貨。退貨運費由顧客自付,商品瑕疵或錯誤出貨則由我們負擔運費。
    • ! know_137118 · 貨到付款有額外費用嗎?
      問題
      貨到付款有額外費用嗎?
      回答
      貨到付款需收取30元處理費,限台灣本島地區且單筆訂單金額5000元以下。配送時請備妥現金給司機,恕不找零。若收件時不在家導致配送失敗,可能需支付額外運費。建議優先選擇其他付款方式以節省費用。
    • ! know_137173 · 退貨申請多久會處理?
      問題
      退貨申請多久會處理?
      回答
      退貨申請受理後3-5個工作天內處理,退款則需另外3-5個工作天。實際處理時間可能因申請量或特殊情況延長。我們會在各階段主動通知處理進度,您也可隨時聯繫客服查詢狀況。
    • ! know_137166 · 退貨期限是多久?
      問題
      退貨期限是多久?
      回答
      退貨期限為收到商品後7天內,以物流簽收日為準。例如1月1日收貨,最遲需在1月7日前提出退貨申請。逾期恕不受理退貨,但商品瑕疵或我方責任除外。建議收到商品後盡快檢查並決定是否退貨。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源材料中的資訊,所有的事實陳述都有來源支持,因此沒有虛構的內容。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    馬上為您找找看相關內容 📋 一般退貨運費由顧客自付,約60-100元。如果是因為商品瑕疵、錯誤出貨或與描述不符等我們的責任導致退貨,運費則由我們承擔並會連同退款一起處理。建議您在退貨前確認退貨原因和運費負擔方式。如需更詳細的計算方式,也可以聯繫客服確認。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 一般退貨運費由顧客自付,約60-100元
    • 因商品瑕疵、錯誤出貨或與描述不符的原因退貨,運費由我們承擔
    II 重要限制 w 30%
    • 運費會連同退款一起處理
    Judge 推理
    這個回答完整地涵蓋了退貨運費的相關資訊,並且正確地描述了顧客自付運費的範圍及特殊情況下的運費承擔方式,符合用戶的查詢需求。
  • 案例 4B82CA0E

    訂單被取消了,要怎麼聯繫客服?

    已完成
    第 1 次嘗試 · 已完成 31690ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER訂單被取消了,要怎麼聯繫客服?
    BOT稍等一下我來幫您查詢 💡 您好,我是 Cacafly AI,很高興為您服務! 如果您的訂單被取消,您可以透過以下方式聯繫客服: - 官網線上客服 - 客服專線:02-1234-5678 - Email:service@jtcg.com - LINE 官方帳戶 請選擇最方便的方式與我們聯繫,客服人員會協助您處理訂單相關問題。如果需要查詢取消原因,建議您提供訂單編號給客服,讓我們能更快協助您。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137098 · 為什麼我的訂單被取消了?
      問題
      為什麼我的訂單被取消了?
      回答
      訂單取消原因可能包括:付款失敗、商品缺貨、地址資訊不完整、疑似異常訂單等。系統會自動發送取消通知至您的email。若對取消原因有疑問,請提供訂單編號聯繫客服,我們將為您詳細說明並協助重新下單。
    意料之外 (9)
    • ! know_137127 · 可以更改付款方式嗎?
      問題
      可以更改付款方式嗎?
      回答
      訂單成立後24小時內可更改付款方式,請聯繫客服協助處理。已付款訂單需先取消並重新下單才能更改付款方式。為避免影響出貨時程,建議下單前確認適合的付款方式。
    • ! know_137097 · 訂單成立後可以取消嗎?
      問題
      訂單成立後可以取消嗎?
      回答
      訂單成立後24小時內且商品尚未出貨前可申請取消,請至會員中心或聯繫客服處理。已付款訂單取消後將於3-5個工作天退款至原付款帳戶。若商品已出貨則需等收到商品後依退貨流程處理。預購或客製化商品可能有不同規定。
    • ! know_137168 · 如何申請退換貨?
      問題
      如何申請退換貨?
      回答
      可透過會員中心申請退換貨或聯繫客服協助處理。需提供訂單編號、退貨原因和商品照片。客服確認後會提供退貨地址和流程說明。請依指示包裝商品並選擇適合的寄送方式退回。
    • ! know_137095 · 如何查詢我的訂單狀態?
      問題
      如何查詢我的訂單狀態?
      回答
      您可以登入會員帳戶後點選「訂單查詢」功能,輸入訂單編號即可查看詳細狀態,包括訂單確認、處理中、已出貨、配送中、已完成等階段。我們也會透過簡訊和email主動通知您訂單狀態變更,請確保您的聯絡資訊正確。如有疑問可直接聯繫客服專線。
    • ! know_137178 · 退貨標籤遺失怎麼辦?
      問題
      退貨標籤遺失怎麼辦?
      回答
      退貨標籤遺失可聯繫客服重新提供,請提供訂單編號和退貨原因。我們會email新的退貨標籤給您,或提供其他退貨方式說明。退貨時請務必在包裹上清楚標示退貨單號,確保包裹能正確處理。
    • ! know_137193 · 如何聯繫客服?
      問題
      如何聯繫客服?
      回答
      可透過官網線上客服、客服專線02-1234-5678、email至service@jtcg.com或LINE官方帳戶聯繫客服。我們提供多元化的聯繫管道,請選擇最方便的方式與我們聯繫,客服人員將竭誠為您服務。
    • ! know_137104 · 訂單確認信沒有收到怎麼辦?
      問題
      訂單確認信沒有收到怎麼辦?
      回答
      請檢查垃圾郵件匣或促銷郵件資料夾,確認email地址是否正確。系統通常在訂單成立後30分鐘內發送確認信。若仍未收到,請登入會員中心查看訂單狀態或聯繫客服重新發送確認信,我們將立即為您處理。
    • ! know_137096 · 訂單成立後可以修改配送地址嗎?
      問題
      訂單成立後可以修改配送地址嗎?
      回答
      訂單成立後24小時內可免費修改配送地址,請登入會員後至訂單管理修改,或致電客服協助處理。超過24小時或商品已出貨則無法修改地址。建議下單前仔細確認配送資訊,避免因地址錯誤造成包裹退回或額外運費產生。
    • ! know_137121 · 付款後發現金額錯誤怎麼辦?
      問題
      付款後發現金額錯誤怎麼辦?
      回答
      發現金額錯誤請立即聯繫客服,提供訂單編號和付款證明。若為系統計價錯誤,我們將立即修正並處理差額退款。若為商品價格調整,將依照您下單時的價格為準,確保您的權益不受影響。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提供了聯繫客服的方式,這些資訊都能在來源中找到,因此所有的事實陳述都是有根據的。

    回答品質

    90.0%
    相關性
    100.0%
    完整性
    70.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    50.0% · w 60%
    • 若對訂單取消原因有疑問,請提供訂單編號聯繫客服
    II 重要
    III 補充
    10.0% · w 10%
    • 我們將為您詳細說明並協助重新下單
    AI 回覆
    稍等一下我來幫您查詢 💡 您好,我是 Cacafly AI,很高興為您服務! 如果您的訂單被取消,您可以透過以下方式聯繫客服: - 官網線上客服 - 客服專線:02-1234-5678 - Email:service@jtcg.com - LINE 官方帳戶 請選擇最方便的方式與我們聯繫,客服人員會協助您處理訂單相關問題。如果需要查詢取消原因,建議您提供訂單編號給客服,讓我們能更快協助您。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 若對訂單取消原因有疑問,請提供訂單編號聯繫客服
    III 補充說明 w 10%
    • 我們將為您詳細說明並協助重新下單
    Judge 推理
    回覆中提供了聯繫客服的方式,符合用戶的需求,但未提及提供訂單編號的必要性,也缺少協助重新下單的說明,因此完整性不足。
  • 案例 CDD90DF3

    可以等齊所有商品後一次出貨嗎?

    已完成
    第 1 次嘗試 · 已完成 37524ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER可以等齊所有商品後一次出貨嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI,很高興為您服務! 您可以選擇等齊所有商品後一次出貨。請在訂單備註註明您的需求,或聯繫客服協助設定即可。如果還有其他問題,也歡迎隨時詢問!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137105 · 可以分批出貨嗎?
      問題
      可以分批出貨嗎?
      回答
      當訂單中包含不同出貨時程的商品時,我們會依商品到貨情況分批出貨,以加快您收到現貨商品的速度。每次出貨都會發送通知,運費僅收取一次。您也可以選擇等齊後一次出貨,請在訂單備註註明或聯繫客服協助設定。
    意料之外 (9)
    • ! know_137106 · 預購商品什麼時候會出貨?
      問題
      預購商品什麼時候會出貨?
      回答
      預購商品出貨日期會標示在商品頁面,通常為到貨後3-5個工作天內出貨。若供應商提前或延後到貨,我們將主動通知並更新預計出貨時間。預購商品因涉及海外採購,出貨時間可能受運輸或海關影響而有所變動,敬請見諒。
    • ! know_137112 · 訂單處理需要多久時間?
      問題
      訂單處理需要多久時間?
      回答
      一般商品訂單確認付款後1-2個工作天內處理出貨,預購商品依到貨時間而定。處理時間可能因促銷活動、假期或天災等因素延長。急件可選擇當日或次日配送服務(需額外收費),詳情請洽客服確認。
    • ! know_137161 · 商品庫存還有多少?
      問題
      商品庫存還有多少?
      回答
      商品庫存數量不公開顯示詳細數字,但會顯示「充足」、「有限」或「最後幾件」等提示。庫存不足時建議盡快下單,我們會依訂單時間順序出貨。若庫存不足無法完全滿足您的訂單,客服會主動聯繫協商。
    • ! know_137132 · 多久會收到商品?
      問題
      多久會收到商品?
      回答
      一般商品出貨後1-3個工作天內送達,偏遠地區可能需要更長時間。超商取貨約2-4個工作天到店。急件可選擇當日或次日配送服務。實際配送時間可能因天氣、交通或其他不可抗力因素影響。
    • ! know_137158 · 季節性商品什麼時候下架?
      問題
      季節性商品什麼時候下架?
      回答
      季節性商品會依季節更替調整,通常冬季商品在春季結束後下架,夏季商品在秋季後下架。下架前通常會有清倉優惠活動。若對特定季節商品有需求,建議提前購買或關注庫存狀況。
    • ! know_137109 · 如何合併多筆訂單?
      問題
      如何合併多筆訂單?
      回答
      多筆訂單無法在系統上自動合併,建議您重新下單包含所有需要的商品。若已分別下單,請聯繫客服評估是否能在出貨前合併處理,以節省運費。但已進入包裝或出貨流程的訂單則無法合併,敬請見諒。
    • ! know_137141 · 收件人不在家怎麼辦?
      問題
      收件人不在家怎麼辦?
      回答
      收件人不在家時司機會留下取貨聯或聯繫電話安排重新配送。宅配通常會重試一次,若仍無法送達會退回。建議改選超商取貨或請代收人協助,避免配送失敗產生額外運費。
    • ! know_137099 · 可以修改訂單中的商品數量嗎?
      問題
      可以修改訂單中的商品數量嗎?
      回答
      訂單成立後24小時內可修改商品數量,但需視庫存狀況而定。若要增加數量需確認有足夠庫存,減少數量則可直接處理。修改後價格將重新計算,差額部分將退款或請您補足。建議透過客服協助處理,確保修改順利完成。
    • ! know_137166 · 退貨期限是多久?
      問題
      退貨期限是多久?
      回答
      退貨期限為收到商品後7天內,以物流簽收日為準。例如1月1日收貨,最遲需在1月7日前提出退貨申請。逾期恕不受理退貨,但商品瑕疵或我方責任除外。建議收到商品後盡快檢查並決定是否退貨。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆中提到可以選擇等齊所有商品後一次出貨,這一點在來源中有明確支持,因此沒有虛構的陳述。所有的事實陳述都能夠引用來源,符合來源的內容。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    100.0% · w 30%
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI,很高興為您服務! 您可以選擇等齊所有商品後一次出貨。請在訂單備註註明您的需求,或聯繫客服協助設定即可。如果還有其他問題,也歡迎隨時詢問!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 客戶可以選擇等齊所有商品後一次出貨
    II 重要限制 w 30%
    • 請在訂單備註註明或聯繫客服協助設定
    Judge 推理
    這個回答完全符合用戶的問題,並且涵蓋了所有關鍵點,沒有遺漏或錯誤的資訊。
  • 案例 18FC6B7E

    特價商品可以退換嗎

    已完成
    第 1 次嘗試 · 已完成 36840ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER特價商品可以退換嗎
    BOT正在為您搜尋最新資料 ⏳ 特價商品一般仍可正常退換,但有些特價或出清商品可能不接受退貨,或需收取手續費。建議您購買前詳閱商品頁面的特殊說明。若您有特定商品想詢問,歡迎提供商品資訊,我可以幫您查詢更詳細的退換貨政策。

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137176 · 特價商品可以退換貨嗎?
      問題
      特價商品可以退換貨嗎?
      回答
      特價商品和出清商品可能有不同的退換貨政策,部分可能不接受退貨或需收取手續費。購買前請詳閱商品頁面的特殊說明。一般特價商品仍可正常退換,但建議確認後再購買。
    意料之外 (9)
    • ! know_137167 · 哪些商品不能退換貨?
      問題
      哪些商品不能退換貨?
      回答
      個人衛生用品(如內衣褲、泳裝)、食品、客製化商品、軟體、影音產品等基於衛生或智財權考量不接受退貨。特價或出清商品可能也有退貨限制,下單前請詳閱商品頁面的退貨政策說明。
    • ! know_137165 · 退換貨政策是什麼?
      問題
      退換貨政策是什麼?
      回答
      商品收到後7天內可申請退換貨,需保持商品全新狀態和完整包裝。個人衛生用品、客製化商品、食品等不接受退貨。退貨運費由顧客自付,商品瑕疵或錯誤出貨則由我們負擔運費。
    • ! know_137174 · 可以到實體店面退換貨嗗?
      問題
      可以到實體店面退換貨嗗?
      回答
      實體門市僅提供商品展示和諮詢,退換貨需透過網路客服或郵寄方式處理。門市無法受理網路訂單的退換貨業務。若您方便可到門市參考商品再上網下單,享受網路專屬優惠價格。
    • ! know_137179 · 多件商品可以部分退貨嗎?
      問題
      多件商品可以部分退貨嗎?
      回答
      多件商品可以部分退貨,每件商品分別計算退款金額和運費分攤。例如購買3件退回1件,會退還該商品價格和1/3運費。優惠券或滿額折扣會重新計算,可能影響其他商品的優惠價格。
    • ! know_137155 · 可以先試穿再決定是否購買嗎?
      問題
      可以先試穿再決定是否購買嗎?
      回答
      目前暫不提供試穿服務,但我們有完善的退換貨政策。商品收到後如尺寸不合或不滿意,可在7天內申請退換貨。建議參考尺寸表和其他顧客評價選擇合適尺碼,降低退換貨需求。
    • ! know_137177 · 尺寸不合可以免費換貨嗎?
      問題
      尺寸不合可以免費換貨嗎?
      回答
      尺寸不合可免費換貨,但需付來回運費。建議參考尺寸表選購避免尺寸問題。若同一商品多次因尺寸問題退換,可能會建議您到實體門市確認尺寸或選擇退貨,避免重複運費支出。
    • ! know_137170 · 商品已使用還能退貨嗎?
      問題
      商品已使用還能退貨嗎?
      回答
      商品已拆封或輕微使用但不影響再次銷售可接受退貨,如試穿、試用等。但商品需保持大致全新狀態,不能有明顯使用痕跡、污損或異味。過度使用或損壞的商品恕不接受退貨。
    • ! know_137126 · 部分退款如何處理?
      問題
      部分退款如何處理?
      回答
      部分退款會按商品金額比例計算,包含運費分攤。例如訂購兩件商品退回一件,會退還該商品金額及一半運費。優惠券或折扣金額也會按比例調整。詳細計算方式可聯繫客服確認。
    • ! know_137172 · 換貨需要額外付費嗎?
      問題
      換貨需要額外付費嗎?
      回答
      換貨免運費,但僅限同商品不同規格(如尺寸、顏色)。若要換購不同商品需先退貨再重新下單。換貨需視庫存狀況,若無適合規格可改為退貨。換貨商品同樣需保持全新狀態。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆內容與來源資料一致,特價商品的退換政策有明確的支持,且所有的事實陳述都能找到相應的來源。

    回答品質

    96.7%
    相關性
    100.0%
    完整性
    90.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    50.0% · w 30%
    • 建議確認後再購買
    III 補充
    AI 回覆
    正在為您搜尋最新資料 ⏳ 特價商品一般仍可正常退換,但有些特價或出清商品可能不接受退貨,或需收取手續費。建議您購買前詳閱商品頁面的特殊說明。若您有特定商品想詢問,歡迎提供商品資訊,我可以幫您查詢更詳細的退換貨政策。
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 一般特價商品仍可正常退換
    II 重要限制 w 30%
    • 建議確認後再購買
    Judge 推理
    回覆內容針對特價商品的退換政策進行了說明,並且提供了額外的查詢建議,但未完全涵蓋建議確認後再購買的要點,因此在完整性上有所扣分。
  • 案例 13456444

    貨到付款時要準備現金嗎?

    已完成
    第 1 次嘗試 · 已完成 31964ms
    腳本進度 · early_return ✗ 卡關
    STEP
    01

    觸發條件

    ✗ 未進入 early_return
    STEP
    02

    資訊收集

    — 此案例不測
    此案例 info_held 為空 — bot 不需問取資訊
    STEP
    03

    API 工具

    — 此案例不測
    此案例 expected_tools 為空 — bot 不需呼叫工具
    STEP
    04

    回覆規則

    ● bot 已回覆(單問單答案例,未啟用多輪迴圈)
    測試 2 步 · 此案例不測 2 步
    對話流程 · 1 turn
    Turn 1 STEP 03 · STEP 04 → search_unified
    USER貨到付款時要準備現金嗎?
    BOT讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI,很高興為您服務! 貨到付款時,請您務必準備好現金交給司機,且恕不找零。如果由他人代收,也需要請代收人準備現金。提醒您,貨到付款會收取30元處理費,僅限台灣本島且單筆訂單金額5000元以下。 如有其他付款方式需求,也歡迎告訴我!

    知識檢索

    100.0%
    Precision
    10.0%
    Recall
    100.0%
    F1
    18.2%
    預期 (1)
    • know_137118 · 貨到付款有額外費用嗎?
      問題
      貨到付款有額外費用嗎?
      回答
      貨到付款需收取30元處理費,限台灣本島地區且單筆訂單金額5000元以下。配送時請備妥現金給司機,恕不找零。若收件時不在家導致配送失敗,可能需支付額外運費。建議優先選擇其他付款方式以節省費用。
    意料之外 (9)
    • ! know_137115 · 支援哪些付款方式?
      問題
      支援哪些付款方式?
      回答
      我們支援信用卡、ATM轉帳、超商繳費、貨到付款、電子支付(Line Pay、街口支付)等多種付款方式。部分高價商品可申請分期付款。選擇付款方式時系統會顯示可用選項,請依個人需求選擇最適合的付款方式。
    • ! know_137120 · 如何確認付款是否成功?
      問題
      如何確認付款是否成功?
      回答
      付款成功後系統會立即顯示「付款完成」並發送確認email。信用卡付款可在明細中查看刷卡紀錄,ATM轉帳可透過網銀確認扣款。若有疑問可登入會員中心查看訂單狀態或聯繫客服確認。
    • ! know_137142 · 包裹可以代收嗎?
      問題
      包裹可以代收嗎?
      回答
      包裹可請家人、朋友或管理員代收,但需確認代收人資訊並保持聯繫。貨到付款商品請備妥現金給代收人。代收後請盡快檢查商品,如有問題請立即聯繫客服。代收風險由您自行承擔。
    • ! know_137127 · 可以更改付款方式嗎?
      問題
      可以更改付款方式嗎?
      回答
      訂單成立後24小時內可更改付款方式,請聯繫客服協助處理。已付款訂單需先取消並重新下單才能更改付款方式。為避免影響出貨時程,建議下單前確認適合的付款方式。
    • ! know_137116 · 信用卡付款失敗怎麼辦?
      問題
      信用卡付款失敗怎麼辦?
      回答
      信用卡付款失敗可能原因:餘額不足、卡片過期、輸入資訊錯誤、銀行風控機制等。請檢查卡片資訊是否正確,確認額度足夠,或聯繫發卡銀行確認交易狀況。也可嘗試其他付款方式或稍後重新付款。
    • ! know_137113 · 海外訂單如何處理?
      問題
      海外訂單如何處理?
      回答
      海外訂單目前僅接受信用卡付款,配送費用依重量和目的地計算。部分商品可能有出口限制無法寄送海外。下單前請確認配送地址和聯絡電話,並注意當地海關規定。配送時間通常需5-10個工作天,可能需要收件人協助處理海關事宜。
    • ! know_137143 · 急件配送需要多少費用?
      問題
      急件配送需要多少費用?
      回答
      急件配送提供當日配送(加收200元)和次日配送(加收100元)服務,限台北市和新北市部分地區。需在指定時間前下單且確認付款。急件商品以現貨為主,預購商品無法提供急件服務。
    • ! know_137121 · 付款後發現金額錯誤怎麼辦?
      問題
      付款後發現金額錯誤怎麼辦?
      回答
      發現金額錯誤請立即聯繫客服,提供訂單編號和付款證明。若為系統計價錯誤,我們將立即修正並處理差額退款。若為商品價格調整,將依照您下單時的價格為準,確保您的權益不受影響。
    • ! know_137175 · 贈品也需要一起退回嗎?
      問題
      贈品也需要一起退回嗎?
      回答
      贈品需與主商品一併退回,缺少贈品會從退款中扣除贈品價值。套組商品也需整組退回,不接受部分退貨。退貨前請確認所有商品和贈品都準備齊全,避免影響退款金額。
    TP 1
    FP 9
    FN 0

    忠實度

    有依據
    幻覺比率
    0.0%
    越低越好
    引用依據
    100.0%
    越高越好
    Judge 推理
    AI的回覆完全符合來源資料中的資訊,所有的事實陳述都有來源支持,因此沒有虛構的內容。

    回答品質

    100.0%
    相關性
    100.0%
    完整性
    100.0%
    正確性
    100.0%
    加權拆解 · 三層 coverage
    I 核心
    100.0% · w 60%
    II 重要
    III 補充
    AI 回覆
    讓我幫您查詢一下相關資訊 🔍 您好,我是 Cacafly AI,很高興為您服務! 貨到付款時,請您務必準備好現金交給司機,且恕不找零。如果由他人代收,也需要請代收人準備現金。提醒您,貨到付款會收取30元處理費,僅限台灣本島且單筆訂單金額5000元以下。 如有其他付款方式需求,也歡迎告訴我!
    預期答案 · 加權拆解
    I 核心必答 w 60%
    • 配送時請備妥現金給司機
    • 恕不找零
    Judge 推理
    這個回答完全符合用戶的問題,並且涵蓋了所有關鍵點,包括準備現金和不找零的要求。內容正確且完整,符合預期的回答風格。