產出 #407

env=production · WEEX 小助手 (f548601b-feb5-43e5-b0c5-772b7214c304) · eval_kind=scenario_funnel

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
4 / 5
總成本
$0.0215
Tokens
↑148626 / ↓4669
MISSED
1 個 scenario 未被任何 case 涵蓋:213。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-f548601b-r1-053959690
案例明細(22 筆 — 含已寫入、被拒、retry 軌跡)
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單查詢 216
      訂單查詢
      
      ## 1. 觸發條件
      - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
      
      訂單查詢的 Agent 情景
      
      ## 3. API 工具
      1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
      
      ## 4. 回覆規則
      - Provide clear and concise answers based on order search results from tool messages
      - If multiple relevant orders found, combine them logically
      - If no relevant order found, acknowledge and offer to check with customer service
    Q
    我想查詢我的訂單詳情,請問應該怎麼做?
    A
    您可以提供您的個人資訊,我會幫您查詢您的訂單詳情和運送狀態。
  • Judge LLM 拒絕 early_return
    Q
    最近天氣怎麼樣啊
    A
    您好,我是客服 AI,很高興為您服務
    原因
    • The question is not answerable as there are no sources provided.
    • The answer does not address the question about the weather.
    • Judge LLM 認為答案與資料來源有事實出入
    • Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
  • Judge LLM 拒絕 early_return 第 2 次嘗試
    Q
    今天的天氣怎麼樣啊
    A
    您好,我是客服 AI,很高興為您服務
    原因
    • The question is not answerable as there are no sources provided.
    • The answer does not address the question about the weather.
    • Judge LLM 認為答案與資料來源有事實出入
    • Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
  • Judge LLM 拒絕 early_return 第 3 次嘗試
    Q
    今天天氣怎麼樣啊
    A
    這個問題不在我服務範圍內。
    原因
    • No sources provided to answer the question.
    • Judge LLM 認為這題從資料來源無法答出來
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:產品查詢 215
      產品查詢
      
      ## 1. 觸發條件
      - 商品/產品
      - 推薦/介紹
      - 我想要/我需要
      
      產品查詢的 Agent 情景
      
      ## 2. 資訊收集
      ### product_search_parameters — 商品搜尋參數
      - query [string] (必填): 用戶當前最想查詢或推薦的商品、需求或關鍵主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
      - keywords_or_codes [array] (必填): 用戶訊息中出現的所有商品關鍵字、型號、代碼,如無則為空陣列
      
      ## 3. API 工具
      1. search_products — 搜尋相關產品或服務資訊
      
      ## 4. 回覆規則
      - All recommendations must be based on content output from <tool: search_products>, never fabricate.
      - If multiple relevant orders found, combine them logically
      - If unable to recommend, clearly explain and suggest human customer service assistance.
      - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_products> outputs.
    Q
    你們有什麼適合夏天穿的產品推薦嗎
    A
    可以的,我們會搜尋相關的產品資訊來給你推薦。
  • 語氣不像真人 chat(被 Stage E 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:知識與產品查詢 341
      知識與產品查詢
      
      ## 1. 觸發條件
      - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                          - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                          - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                          - Short queries under 10 characters
                          - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
      - 訂單政策相關:
                          - 詢問訂單成立通知規則
                          - 詢問一般訂單進度查詢
                          - 詢問訂單成立通知規則
                          - 詢問取消訂單規則
                          - 詢問取消退款規則
      - 活動相關:
                          - 活動/報名/參加
                          - 優惠/折扣/促銷
                          - 抽獎/贈品/獎品
      - 公司資訊相關:
                          - 粉絲團/粉專/FB/Facebook/臉書
                          - Instagram/IG/社群/社群媒體
                          - 官網/網站/官方網站
                          - LINE/Line官方帳號
                          - Youtube/YT/影片/頻道
                          - 公司/品牌/關於我們
      - 服務相關:
                          - 服務時間/營業時間/上班時間
                          - 聯絡方式/電話/信箱/地址
                          - 退換貨/退款/退費
                          - 保固/維修/售後
                          - 配送/運費/到貨時間
                          - 付款方式/分期/優惠
                          - 會員/積分/紅利
                          - 發票/收據/證明
      - 政策相關:
                          - 政策/規定/條款
                          - 隱私/個資/資料
                          - 安全/保障/保護
                          - 責任/義務/權利
      - 技術問題:
                          - 無法/不能/不行
                          - 錯誤/異常/問題
                          - 當機/卡住/慢
                          - 登入/註冊/密碼
                          - 設定/安裝/使用
      - 產品使用方式:
          ...
    Q
    產品特性是什麼?
    A
    我們提供的每個產品都有不同的功能和特性,具體可以查看產品詳細頁面以獲取更完整的資訊。如果想了解某個特定產品的特性,請告訴我產品名稱!
    原因
    • chat-realism: vague_meta (The question is vague and asks about product characteristics in a way that customers typically wouldn't phrase it.)
  • 已寫入 EvalSuite scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:知識與產品查詢 341
      知識與產品查詢
      
      ## 1. 觸發條件
      - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                          - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                          - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                          - Short queries under 10 characters
                          - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
      - 訂單政策相關:
                          - 詢問訂單成立通知規則
                          - 詢問一般訂單進度查詢
                          - 詢問訂單成立通知規則
                          - 詢問取消訂單規則
                          - 詢問取消退款規則
      - 活動相關:
                          - 活動/報名/參加
                          - 優惠/折扣/促銷
                          - 抽獎/贈品/獎品
      - 公司資訊相關:
                          - 粉絲團/粉專/FB/Facebook/臉書
                          - Instagram/IG/社群/社群媒體
                          - 官網/網站/官方網站
                          - LINE/Line官方帳號
                          - Youtube/YT/影片/頻道
                          - 公司/品牌/關於我們
      - 服務相關:
                          - 服務時間/營業時間/上班時間
                          - 聯絡方式/電話/信箱/地址
                          - 退換貨/退款/退費
                          - 保固/維修/售後
                          - 配送/運費/到貨時間
                          - 付款方式/分期/優惠
                          - 會員/積分/紅利
                          - 發票/收據/證明
      - 政策相關:
                          - 政策/規定/條款
                          - 隱私/個資/資料
                          - 安全/保障/保護
                          - 責任/義務/權利
      - 技術問題:
                          - 無法/不能/不行
                          - 錯誤/異常/問題
                          - 當機/卡住/慢
                          - 登入/註冊/密碼
                          - 設定/安裝/使用
      - 產品使用方式:
          ...
    Q
    髮片特性是什麼?
    A
    髮片的特性包括其功能、優點以及規格等。如果想了解更多詳細資訊,可以進一步查詢具體產品或特定需求。
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:FAQ查詢 214
      FAQ查詢
      
      ## 1. 觸發條件
      - 品牌問題
      - 平台規則
      - 常見問題
      - 知識庫
      - 問答
      - 品牌相關問題
      
      FAQ 查詢的 Agent 情景
      
      ## 2. 資訊收集
      ### search_parameters — 搜尋參數
      - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
      - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
      
      ## 3. API 工具
      1. search_knowledges — 搜尋相關FAQ回答用戶問題
      
      ## 4. 回覆規則
      - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
      - If multiple relevant answers found, combine them logically and clarify with the user.
      - If unable to answer, clearly explain and suggest human customer service assistance.
      - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
      - When answering questions:
      -   - First evaluate <tool: search_knowledges> output and conversation history
      -   - If you find **no** relevant entry in <tool: search_knowledges>:
      -     - Do not attempt to answer from general or background knowledge.
      -     - Use the following message based on language detection:
      -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
      -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
      -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
      - If the <tool: search_knowledges> entry/entries contain "url" key(s):
      -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information...
    • • 知識:遇到假平台、仿冒平台怎么办? know_191722
      Q: 遇到假平台、仿冒平台怎么办?
      A: 网络上充斥各种诈骗平台、虚假交易网站,要确保正确使用官方WEEX,请您在WEEX官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:
      https://www.weex.com/zh-CN/official-verification
      
      另外,WEEX也特别整理目前已知的仿冒平台,您可一并查看,避免误使用:
      https://blog.weex.com/imposters-scam-tracker/
    • • 知識:如何验证是WEEX的官方渠道? know_191721
      Q: 如何验证是WEEX的官方渠道?
      A: 您可使用电脑网页版本,在官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:https://www.weex.com/zh-CN/official-verification
    Q
    我最近遇到一個仿冒網站,怎麼驗證這個平台是官方的嗎?
    A
    您可以在WEEX的官方網站上方點擊【官方驗證通道】,輸入您要查詢的電子郵件、電報號、微信等,即可確認是否為官方渠道。這裡是驗證頁面:https://www.weex.com/zh-CN/official-verification。此外,WEEX也特別整理了目前已知的仿冒平台,您可查看以避免誤使用: https://blog.weex.com/impos...
  • 語意近重複(被 Stage C 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單查詢 216
      訂單查詢
      
      ## 1. 觸發條件
      - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
      
      訂單查詢的 Agent 情景
      
      ## 3. API 工具
      1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
      
      ## 4. 回覆規則
      - Provide clear and concise answers based on order search results from tool messages
      - If multiple relevant orders found, combine them logically
      - If no relevant order found, acknowledge and offer to check with customer service
    Q
    我怎麼查詢我的訂單?
    A
    要查詢訂單,請提供您的個人資訊,可能需要確認您的郵件或電話號碼。如果找到多個相關訂單,我們會將它們邏輯性地結合在一起來提供資訊。
    原因
    • semantic duplicate of "我想查詢我的訂單詳情,請問應該怎麼做?" (cosine=0.844 ≥ 0.8)
  • 已寫入 EvalSuite scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單查詢 216
      訂單查詢
      
      ## 1. 觸發條件
      - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
      
      訂單查詢的 Agent 情景
      
      ## 3. API 工具
      1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
      
      ## 4. 回覆規則
      - Provide clear and concise answers based on order search results from tool messages
      - If multiple relevant orders found, combine them logically
      - If no relevant order found, acknowledge and offer to check with customer service
    Q
    我的訂單查詢怎麼用?
    A
    如果想查詢訂單,請先提供一些必要的個人資訊,像是您的姓名或訂單編號。當查詢到相關的訂單後,我會將它們邏輯性地結合在一起給您查看。
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:FAQ查詢 214
      FAQ查詢
      
      ## 1. 觸發條件
      - 品牌問題
      - 平台規則
      - 常見問題
      - 知識庫
      - 問答
      - 品牌相關問題
      
      FAQ 查詢的 Agent 情景
      
      ## 2. 資訊收集
      ### search_parameters — 搜尋參數
      - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
      - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
      
      ## 3. API 工具
      1. search_knowledges — 搜尋相關FAQ回答用戶問題
      
      ## 4. 回覆規則
      - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
      - If multiple relevant answers found, combine them logically and clarify with the user.
      - If unable to answer, clearly explain and suggest human customer service assistance.
      - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
      - When answering questions:
      -   - First evaluate <tool: search_knowledges> output and conversation history
      -   - If you find **no** relevant entry in <tool: search_knowledges>:
      -     - Do not attempt to answer from general or background knowledge.
      -     - Use the following message based on language detection:
      -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
      -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
      -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
      - If the <tool: search_knowledges> entry/entries contain "url" key(s):
      -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information...
    • • 知識:遇到假平台、仿冒平台怎么办? know_191722
      Q: 遇到假平台、仿冒平台怎么办?
      A: 网络上充斥各种诈骗平台、虚假交易网站,要确保正确使用官方WEEX,请您在WEEX官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:
      https://www.weex.com/zh-CN/official-verification
      
      另外,WEEX也特别整理目前已知的仿冒平台,您可一并查看,避免误使用:
      https://blog.weex.com/imposters-scam-tracker/
    • • 知識:如何验证是WEEX的官方渠道? know_191721
      Q: 如何验证是WEEX的官方渠道?
      A: 您可使用电脑网页版本,在官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:https://www.weex.com/zh-CN/official-verification
    Q
    官方渠道怎麼驗證啊
    A
    您可以在WEEX的官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道。 验证页面: https://www.weex.com/zh-CN/official-verification
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單查詢 216
      訂單查詢
      
      ## 1. 觸發條件
      - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
      
      訂單查詢的 Agent 情景
      
      ## 3. API 工具
      1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
      
      ## 4. 回覆規則
      - Provide clear and concise answers based on order search results from tool messages
      - If multiple relevant orders found, combine them logically
      - If no relevant order found, acknowledge and offer to check with customer service
    Q
    請問我的訂單狀態如何查詢?
    A
    請提供您的個人資訊,以便我幫您查詢訂單狀態。如果未找到相關訂單,我也可以幫您聯繫客服協助。
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:FAQ查詢 214
      FAQ查詢
      
      ## 1. 觸發條件
      - 品牌問題
      - 平台規則
      - 常見問題
      - 知識庫
      - 問答
      - 品牌相關問題
      
      FAQ 查詢的 Agent 情景
      
      ## 2. 資訊收集
      ### search_parameters — 搜尋參數
      - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
      - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
      
      ## 3. API 工具
      1. search_knowledges — 搜尋相關FAQ回答用戶問題
      
      ## 4. 回覆規則
      - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
      - If multiple relevant answers found, combine them logically and clarify with the user.
      - If unable to answer, clearly explain and suggest human customer service assistance.
      - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
      - When answering questions:
      -   - First evaluate <tool: search_knowledges> output and conversation history
      -   - If you find **no** relevant entry in <tool: search_knowledges>:
      -     - Do not attempt to answer from general or background knowledge.
      -     - Use the following message based on language detection:
      -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
      -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
      -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
      - If the <tool: search_knowledges> entry/entries contain "url" key(s):
      -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information...
    • • 知識:遇到假平台、仿冒平台怎么办? know_191722
      Q: 遇到假平台、仿冒平台怎么办?
      A: 网络上充斥各种诈骗平台、虚假交易网站,要确保正确使用官方WEEX,请您在WEEX官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:
      https://www.weex.com/zh-CN/official-verification
      
      另外,WEEX也特别整理目前已知的仿冒平台,您可一并查看,避免误使用:
      https://blog.weex.com/imposters-scam-tracker/
    • • 知識:如何验证是WEEX的官方渠道? know_191721
      Q: 如何验证是WEEX的官方渠道?
      A: 您可使用电脑网页版本,在官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:https://www.weex.com/zh-CN/official-verification
    Q
    查詢FAQ時,我需要提供什麼搜尋參數?
    A
    在查詢FAQ時,您必須提供兩個搜尋參數: 1. query(必填):您想了解的主要問題或主題,字數範圍在3到20字。 2. keywords_or_codes(必填):您訊息中出現的所有代碼或標籤,如沒有則為空陣列。
  • 語意近重複(被 Stage C 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:FAQ查詢 214
      FAQ查詢
      
      ## 1. 觸發條件
      - 品牌問題
      - 平台規則
      - 常見問題
      - 知識庫
      - 問答
      - 品牌相關問題
      
      FAQ 查詢的 Agent 情景
      
      ## 2. 資訊收集
      ### search_parameters — 搜尋參數
      - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
      - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
      
      ## 3. API 工具
      1. search_knowledges — 搜尋相關FAQ回答用戶問題
      
      ## 4. 回覆規則
      - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
      - If multiple relevant answers found, combine them logically and clarify with the user.
      - If unable to answer, clearly explain and suggest human customer service assistance.
      - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
      - When answering questions:
      -   - First evaluate <tool: search_knowledges> output and conversation history
      -   - If you find **no** relevant entry in <tool: search_knowledges>:
      -     - Do not attempt to answer from general or background knowledge.
      -     - Use the following message based on language detection:
      -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
      -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
      -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
      - If the <tool: search_knowledges> entry/entries contain "url" key(s):
      -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information...
    • • 知識:遇到假平台、仿冒平台怎么办? know_191722
      Q: 遇到假平台、仿冒平台怎么办?
      A: 网络上充斥各种诈骗平台、虚假交易网站,要确保正确使用官方WEEX,请您在WEEX官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:
      https://www.weex.com/zh-CN/official-verification
      
      另外,WEEX也特别整理目前已知的仿冒平台,您可一并查看,避免误使用:
      https://blog.weex.com/imposters-scam-tracker/
    • • 知識:如何验证是WEEX的官方渠道? know_191721
      Q: 如何验证是WEEX的官方渠道?
      A: 您可使用电脑网页版本,在官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:https://www.weex.com/zh-CN/official-verification
    Q
    請問如何確認我使用的渠道是官方呢?
    A
    您可使用電腦網頁版本,在WEEX官網上方點擊【官方驗證通道】,輸入您要查詢的電子郵件、電報號或微信等等,即可確認是否為官方渠道。 驗證頁面: https://www.weex.com/zh-CN/official-verification
    原因
    • semantic duplicate of "官方渠道怎麼驗證啊" (cosine=0.805 ≥ 0.8)
  • 語意近重複(被 Stage C 拒絕) scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:FAQ查詢 214
      FAQ查詢
      
      ## 1. 觸發條件
      - 品牌問題
      - 平台規則
      - 常見問題
      - 知識庫
      - 問答
      - 品牌相關問題
      
      FAQ 查詢的 Agent 情景
      
      ## 2. 資訊收集
      ### search_parameters — 搜尋參數
      - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
      - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
      
      ## 3. API 工具
      1. search_knowledges — 搜尋相關FAQ回答用戶問題
      
      ## 4. 回覆規則
      - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
      - If multiple relevant answers found, combine them logically and clarify with the user.
      - If unable to answer, clearly explain and suggest human customer service assistance.
      - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
      - When answering questions:
      -   - First evaluate <tool: search_knowledges> output and conversation history
      -   - If you find **no** relevant entry in <tool: search_knowledges>:
      -     - Do not attempt to answer from general or background knowledge.
      -     - Use the following message based on language detection:
      -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
      -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
      -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
      - If the <tool: search_knowledges> entry/entries contain "url" key(s):
      -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information...
    • • 知識:遇到假平台、仿冒平台怎么办? know_191722
      Q: 遇到假平台、仿冒平台怎么办?
      A: 网络上充斥各种诈骗平台、虚假交易网站,要确保正确使用官方WEEX,请您在WEEX官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:
      https://www.weex.com/zh-CN/official-verification
      
      另外,WEEX也特别整理目前已知的仿冒平台,您可一并查看,避免误使用:
      https://blog.weex.com/imposters-scam-tracker/
    • • 知識:如何验证是WEEX的官方渠道? know_191721
      Q: 如何验证是WEEX的官方渠道?
      A: 您可使用电脑网页版本,在官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:https://www.weex.com/zh-CN/official-verification
    Q
    請問我可以怎麼驗證一個平台是否是官方的?
    A
    您可以在WEEX的官方網站上方點擊【官方驗證通道】,輸入您要查詢的郵箱、電報號、微信等等,即可確認是否為官方渠道。此外,您也可以查看WEEX整理的目前已知的仿冒平台,以避免誤使用。 驗證頁面: https://www.weex.com/zh-CN/official-verification 已知仿冒平台查看: https://blog.weex.c...
    原因
    • semantic duplicate of "我最近遇到一個仿冒網站,怎麼驗證這個平台是官方的嗎?" (cosine=0.875 ≥ 0.8)
  • 語意近重複(被 Stage C 拒絕) scenario_focused 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:FAQ查詢 214
      FAQ查詢
      
      ## 1. 觸發條件
      - 品牌問題
      - 平台規則
      - 常見問題
      - 知識庫
      - 問答
      - 品牌相關問題
      
      FAQ 查詢的 Agent 情景
      
      ## 2. 資訊收集
      ### search_parameters — 搜尋參數
      - query [string] (必填): 用戶當前最想查詢或了解的重點問題或主題(3-20字短語,聚焦最新意圖,排除已解決或無關內容)
      - keywords_or_codes [array] (必填): 用戶訊息中出現的所有代碼或標籤(如C90012、T1234等),如無則為空陣列
      
      ## 3. API 工具
      1. search_knowledges — 搜尋相關FAQ回答用戶問題
      
      ## 4. 回覆規則
      - All answers must be based on content output from <tool: search_knowledges>, never fabricate.
      - If multiple relevant answers found, combine them logically and clarify with the user.
      - If unable to answer, clearly explain and suggest human customer service assistance.
      - Strictly prohibit referencing, rewriting, or mixing content outside of <tool: search_knowledges> outputs.
      - When answering questions:
      -   - First evaluate <tool: search_knowledges> output and conversation history
      -   - If you find **no** relevant entry in <tool: search_knowledges>:
      -     - Do not attempt to answer from general or background knowledge.
      -     - Use the following message based on language detection:
      -       - zh-CN: 很抱歉,您谘询的问题於资料库中暂未搜寻到,请提供您的UID/手机号/邮箱,为您转接客服处理
      -       - zh-TW: 很抱歉,您諮詢的問題於資料庫中暫未搜尋到,請提供您的UID/手機號/電子郵件,為您轉接客服處理
      -       - en (or other languages): Sorry, the question you asked is not in the database. Please provide your UID/phone number/email, and we will transfer you to customer service for assistance.
      - If the <tool: search_knowledges> entry/entries contain "url" key(s):
      -   1. First provide a concise, bullet-pointed summary (max 3 sentences) of key information...
    • • 知識:遇到假平台、仿冒平台怎么办? know_191722
      Q: 遇到假平台、仿冒平台怎么办?
      A: 网络上充斥各种诈骗平台、虚假交易网站,要确保正确使用官方WEEX,请您在WEEX官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:
      https://www.weex.com/zh-CN/official-verification
      
      另外,WEEX也特别整理目前已知的仿冒平台,您可一并查看,避免误使用:
      https://blog.weex.com/imposters-scam-tracker/
    • • 知識:如何验证是WEEX的官方渠道? know_191721
      Q: 如何验证是WEEX的官方渠道?
      A: 您可使用电脑网页版本,在官网上方点击【官方验证通道】,输入您要查询的邮箱、电报号、微信等等,即可确认是否为官方渠道
      验证页面:https://www.weex.com/zh-CN/official-verification
    Q
    請問如何才能確認一個平台是否為官方的正確渠道呢?
    A
    您可使用電腦網頁版本,在WEEX官網上方點擊【官方驗證通道】,輸入您要查詢的郵箱、電報號、微信等等,即可確認是否為官方渠道。驗證頁面:https://www.weex.com/zh-CN/official-verification
    原因
    • semantic duplicate of "我最近遇到一個仿冒網站,怎麼驗證這個平台是官方的嗎?" (cosine=0.802 ≥ 0.8)
  • 語意近重複(被 Stage C 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單查詢 216
      訂單查詢
      
      ## 1. 觸發條件
      - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
      
      訂單查詢的 Agent 情景
      
      ## 3. API 工具
      1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
      
      ## 4. 回覆規則
      - Provide clear and concise answers based on order search results from tool messages
      - If multiple relevant orders found, combine them logically
      - If no relevant order found, acknowledge and offer to check with customer service
    Q
    我可以查詢我的訂單狀態嗎?
    A
    請提供您的訂單相關資訊,我可以幫您查詢。若未找到相關訂單,我會協助您聯絡客服。
    原因
    • semantic duplicate of "請問我的訂單狀態如何查詢?" (cosine=0.814 ≥ 0.8)
  • 已寫入 EvalSuite scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單查詢 216
      訂單查詢
      
      ## 1. 觸發條件
      - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
      
      訂單查詢的 Agent 情景
      
      ## 3. API 工具
      1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
      
      ## 4. 回覆規則
      - Provide clear and concise answers based on order search results from tool messages
      - If multiple relevant orders found, combine them logically
      - If no relevant order found, acknowledge and offer to check with customer service
    Q
    如果找不到我的訂單,該怎麼辦?
    A
    如果找不到相關訂單,我會幫你確認並提供客戶服務的協助。
  • 語氣不像真人 chat(被 Stage E 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:知識與產品查詢 341
      知識與產品查詢
      
      ## 1. 觸發條件
      - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                          - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                          - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                          - Short queries under 10 characters
                          - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
      - 訂單政策相關:
                          - 詢問訂單成立通知規則
                          - 詢問一般訂單進度查詢
                          - 詢問訂單成立通知規則
                          - 詢問取消訂單規則
                          - 詢問取消退款規則
      - 活動相關:
                          - 活動/報名/參加
                          - 優惠/折扣/促銷
                          - 抽獎/贈品/獎品
      - 公司資訊相關:
                          - 粉絲團/粉專/FB/Facebook/臉書
                          - Instagram/IG/社群/社群媒體
                          - 官網/網站/官方網站
                          - LINE/Line官方帳號
                          - Youtube/YT/影片/頻道
                          - 公司/品牌/關於我們
      - 服務相關:
                          - 服務時間/營業時間/上班時間
                          - 聯絡方式/電話/信箱/地址
                          - 退換貨/退款/退費
                          - 保固/維修/售後
                          - 配送/運費/到貨時間
                          - 付款方式/分期/優惠
                          - 會員/積分/紅利
                          - 發票/收據/證明
      - 政策相關:
                          - 政策/規定/條款
                          - 隱私/個資/資料
                          - 安全/保障/保護
                          - 責任/義務/權利
      - 技術問題:
                          - 無法/不能/不行
                          - 錯誤/異常/問題
                          - 當機/卡住/慢
                          - 登入/註冊/密碼
                          - 設定/安裝/使用
      - 產品使用方式:
          ...
    Q
    為什麼短於 10 個字的查詢會觸發通用查詢?
    A
    短於 10 個字的查詢會觸發通用查詢是因為系統對這種情況設定了優先觸發條件,確保用戶的問題能夠被及時處理。
    原因
    • chat-realism: vague_meta (這個問題涉及對公司查詢系統的模糊性質,顯得不夠具體。)
  • 語氣不像真人 chat(被 Stage E 拒絕) scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:知識與產品查詢 341
      知識與產品查詢
      
      ## 1. 觸發條件
      - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                          - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                          - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                          - Short queries under 10 characters
                          - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
      - 訂單政策相關:
                          - 詢問訂單成立通知規則
                          - 詢問一般訂單進度查詢
                          - 詢問訂單成立通知規則
                          - 詢問取消訂單規則
                          - 詢問取消退款規則
      - 活動相關:
                          - 活動/報名/參加
                          - 優惠/折扣/促銷
                          - 抽獎/贈品/獎品
      - 公司資訊相關:
                          - 粉絲團/粉專/FB/Facebook/臉書
                          - Instagram/IG/社群/社群媒體
                          - 官網/網站/官方網站
                          - LINE/Line官方帳號
                          - Youtube/YT/影片/頻道
                          - 公司/品牌/關於我們
      - 服務相關:
                          - 服務時間/營業時間/上班時間
                          - 聯絡方式/電話/信箱/地址
                          - 退換貨/退款/退費
                          - 保固/維修/售後
                          - 配送/運費/到貨時間
                          - 付款方式/分期/優惠
                          - 會員/積分/紅利
                          - 發票/收據/證明
      - 政策相關:
                          - 政策/規定/條款
                          - 隱私/個資/資料
                          - 安全/保障/保護
                          - 責任/義務/權利
      - 技術問題:
                          - 無法/不能/不行
                          - 錯誤/異常/問題
                          - 當機/卡住/慢
                          - 登入/註冊/密碼
                          - 設定/安裝/使用
      - 產品使用方式:
          ...
    Q
    這個查詢算不算通用查詢?
    A
    根據規定,任何包含 '?' 或 '嗎' 的查詢都會觸發通用查詢,短於 10 個字的查詢也會被視為通用查詢。
    原因
    • chat-realism: vague_meta (這個問題是關於公司整體的查詢,屬於模糊的元問題,不符合客戶通常會問的具體問題。)