產出 #423

env=production · XROUND (c2aaadb7-316f-498f-9b21-98b421702c40) · eval_kind=mixed_qa

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 10
總成本
$0.0153
Tokens
↑107812 / ↓4517
MISSED
9 個 scenario 未被任何 case 涵蓋:2619, 2033, 2625, 2592, 2768, 2080, 6876, 2034, 2151。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-c2aaadb7-r1-053959742
案例明細(20 筆 — 含已寫入、被拒、retry 軌跡)
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:FORGE PRO 首次配對流程是什麼? know_316683
      Q: FORGE PRO 首次配對流程是什麼?
      A: 首次開蓋會自動進入配對模式,手機藍牙搜尋「XROUND FORGE PRO」完成連線。(完整說明書:https://drive.google.com/file/d/1TbYBxStIg2pTBSNXUE5UnHv2_jHTGmFN/view?usp=drive_link)
    Q
    我該怎麼用手機藍牙配對 FORGE PRO?
    A
    首次開蓋會自動進入配對模式,手機藍牙搜尋「XROUND FORGE PRO」完成連線。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 產品:Thunder Connect 特規發射器 prod_943555
      Thunder Connect 特規發射器
      
      Summary: VOCA MAX 旗艦降噪耳罩耳機 & VOCA 旗艦降噪耳機 適用
    Q
    Thunder Connect 特規發射器適用於哪款耳機?
    A
    Thunder Connect 特規發射器適用於 VOCA MAX 旗艦降噪耳罩耳機和 VOCA 旗艦降噪耳機。
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答
    來源素材(點擊查看完整內容)
    • • 工具:統一搜尋:multi-lane BM25+Vector RRF 融合(支援 5 種 source_type) 20
      統一搜尋:multi-lane BM25+Vector RRF 融合(支援 5 種 source_type) (search_unified)
      
      Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    為什麼統一搜尋需要生成 3 個多樣化的向量查詢?
    A
    統一搜尋需要生成 3 個多樣化的向量查詢,以確保能夠進行有效的融合搜尋,這樣可以提升資料檢索的多樣性與準確性。
    原因
    • chat-realism: internal_role_title (The question references '統一搜尋', which suggests an internal company context that a typical customer wouldn't mention.)
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 工具:統一搜尋:multi-lane BM25+Vector RRF 融合(支援 5 種 source_type) 20
      統一搜尋:multi-lane BM25+Vector RRF 融合(支援 5 種 source_type) (search_unified)
      
      Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋要生成幾個向量查詢?
    A
    統一搜尋必須生成3個多樣化的向量查詢。
    原因
    • chat-realism: internal_role_title (The question references '生成幾個向量查詢', which suggests an internal role or technical aspect that a typical customer would...)
  • 其他 直接問答 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 工具:統一搜尋:multi-lane BM25+Vector RRF 融合(支援 5 種 source_type) 20
      統一搜尋:multi-lane BM25+Vector RRF 融合(支援 5 種 source_type) (search_unified)
      
      Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋要生成幾個向量查詢?
    A
    統一搜尋必須生成 3 個多樣化的向量查詢。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單進度查詢 2152
      訂單進度查詢
      
      ## 1. 觸發條件
      - 當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨/發票/收件」觸發此回覆規則。
      
      ## 2. 資訊收集
      ### 其他平台購買 — 請確認消費者如為「非官網購買」之訂單為哪一「購買平台」
      - 請提供「購買平台」 [text] (必填): 如使用者欲查詢訂單非透過官網查詢,請使用者提供「購買平台」
      
      ## 3. API 工具
      1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
      
      ## 4. 回覆規則
      - 當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」觸發此回覆規則。
      
      **回覆規則:**
      
      #最高原則:
      -當回應包含網址時,網址必須獨立一行,不可與前後文字黏在一起,並且在網址後方加入一個換行符號。
      - 查詢訂單過程中,獲取使用者的 [order_key] 後,以 order_key 作為 query 呼叫工具 [search_orders]
      **若同時出現多種識別資訊,query 只可傳一個值,優先順序:17碼order_key > tracking number > email > phone ,不可包含「訂單編號」「電話」等中文標籤,不可拼接多欄位。
      
      #訂單查詢腳本流程:
      
      1.當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨/發票/收件」觸發此回覆規則。
      
      2.請先回覆以下資訊:「請先協助確認欲查詢的訂單當初下單的平台是否為『 XROUND 官網下單』,如是再麻煩提供我 17 碼的訂單編號以利查詢;如非官網下單,請再提供我『購買平台』,我會再轉由負責團隊協助確認唷!」
      
      
      2-1-1 若客戶「購買平台」為「官網」並提供訂單編號 17 碼,請透過 "shopline_search_orders" 查詢訂單,若訂單編號格式錯誤,請持續向消費者索取;若使用者提供的訂單編號可以查到訂單,請回覆以下資訊:「
      我已經找到您的訂單資訊!以下是您的訂單詳情:
      
      -訂單編號:
      -訂購時間:
      -付款狀態:
      -運送方式:
      -運送狀態:
      -配送編號:
      -物流查詢:{請根據配送方式,參考下方備註提供對應的物流配送狀態查詢網址}
      -商品明細:
      」
      
      備註:
      -711:https://eservice.7-11.com.tw/e-tracking/search.aspx
      -全家:https://fmec.famiport.com.tw/FP_Entrance/QueryBox
      -萊爾富:https://www.hilife.com.tw/serviceInfo_search.aspx
      -OKMart:https://ecservice.okmart.com.tw/Tracking/Search
      -黑貓:https://www.t-cat.com.tw/inquire/trace.aspx
      -郵局:https://postserv.post.gov.tw/pstmail/main_...
    Q
    我想查詢我的訂單進度,請問要怎麼做?
    A
    請先協助確認欲查詢的訂單當初下單的平台是否為『XROUND 官網下單』,如是再麻煩提供我17碼的訂單編號以利查詢;如非官網下單,請再提供我『購買平台』,我會再轉由負責團隊協助確認唷!
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:TREK 首次配對步驟? know_316707
      Q: TREK 首次配對步驟?
      A: 開啟藍牙搜尋「XROUND TREK」,聽到 Connected 提示即完成。(完整說明書:https://drive.google.com/file/d/1lAsUoAQHYDOjsms4IXUOTDWE0ZAXU5ms/view?usp=drive_link)
    Q
    TREK 的首次配對步驟是什麼?
    A
    開啟藍牙搜尋「XROUND TREK」,聽到 Connected 提示即完成。
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 禁忌症有哪些? know_316759
      Q: HEAR PRO 禁忌症有哪些?
      A: 如外耳/中耳發炎、嚴重耳疾、對耳塞材質過敏等族群應先經專業評估。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 禁忌症是什麼?
    A
    HEAR PRO 禁忌症包括外耳/中耳發炎、嚴重耳疾、對耳塞材質過敏等族群應先經專業評估。
    原因
    • chat-realism: sku_prefix_leak (The question contains a bare internal SKU prefix 'HEAR PRO' which a real customer would not use.)
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 禁忌症有哪些? know_316759
      Q: HEAR PRO 禁忌症有哪些?
      A: 如外耳/中耳發炎、嚴重耳疾、對耳塞材質過敏等族群應先經專業評估。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 有哪些禁忌症啊
    A
    如外耳/中耳發炎、嚴重耳疾、對耳塞材質過敏等族群應先經專業評估。
    原因
    • chat-realism: internal_role_title (The question uses 'HEAR PRO', which suggests a specific product name that may indicate an internal reference rather t...)
  • 其他 直接問答 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 禁忌症有哪些? know_316759
      Q: HEAR PRO 禁忌症有哪些?
      A: 如外耳/中耳發炎、嚴重耳疾、對耳塞材質過敏等族群應先經專業評估。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 禁忌症是什麼?
    A
    如外耳/中耳發炎、嚴重耳疾、對耳塞材質過敏等族群應先經專業評估。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 常見副作用有哪些? know_316758
      Q: HEAR PRO 常見副作用有哪些?
      A: 可能有耳道不適、嘯叫、悶塞、疲勞等;若持續不適應停止使用並諮詢專業人員。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 可能會導致什麼副作用?
    A
    可能有耳道不適、嘯叫、悶塞、疲勞等;若持續不適應停止使用並諮詢專業人員。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:AERO PRO 如何開機? know_316667
      Q: AERO PRO 如何開機?
      A: 從充電盒取出耳機會自動開機;也可長按觸控面板手動開機。(完整說明書:https://drive.google.com/file/d/1tWQoQBAiebkoLI1hIydAeD1oGAlaPuw1/view?usp=sharing)
    Q
    AERO PRO 耳機從充電盒取出後會自動開機嗎?
    A
    從充電盒取出耳機會自動開機;也可長按觸控面板手動開機。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:TREK 如何開機? know_316705
      Q: TREK 如何開機?
      A: 取出耳機自動開機,或長按功能鍵手動開機。(完整說明書:https://drive.google.com/file/d/1lAsUoAQHYDOjsms4IXUOTDWE0ZAXU5ms/view?usp=drive_link)
    Q
    TREK 耳機怎麼手動開機?
    A
    TREK 耳機可以長按功能鍵手動開機。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:FORGE PRO 充電注意事項? know_316690
      Q: FORGE PRO 充電注意事項?
      A: 耳機與充電接點需保持乾燥清潔;充電盒可 USB-C 充電,並支援 Qi 無線充電。(完整說明書:https://drive.google.com/file/d/1TbYBxStIg2pTBSNXUE5UnHv2_jHTGmFN/view?usp=drive_link)
    Q
    FORGE PRO 充電盒可以用 USB-C 充電嗎?
    A
    充電盒可 USB-C 充電,並支援 Qi 無線充電。
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 的耳機續航與加充電盒續航? know_316741
      Q: HEAR PRO 的耳機續航與加充電盒續航?
      A: 手冊標示約「助聽 16 小時 / 加充電盒 60 小時」(以實際模式與音量為準)。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 的耳機續航時間是多少?
    A
    手冊標示約「助聽 16 小時 / 加充電盒 60 小時」(以實際模式與音量為準)。
    原因
    • chat-realism: sku_prefix_leak (The question contains the internal SKU prefix 'HEAR PRO', which a real customer would not use.)
  • 已寫入 EvalSuite 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 的耳機續航與加充電盒續航? know_316741
      Q: HEAR PRO 的耳機續航與加充電盒續航?
      A: 手冊標示約「助聽 16 小時 / 加充電盒 60 小時」(以實際模式與音量為準)。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 耳機的續航時間是多久呢?
    A
    手冊標示約「助聽 16 小時 / 加充電盒 60 小時」(以實際模式與音量為準)。
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 配對成功會有什麼提示? know_316752
      Q: HEAR PRO 配對成功會有什麼提示?
      A: 配對完成會出現「Connected」語音提示。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 配對成功時會有什麼提示?
    A
    配對完成會出現「Connected」語音提示。
    原因
    • chat-realism: sku_prefix_leak (The question contains an internal SKU prefix 'HEAR PRO' which a real customer would not use.)
  • 其他 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 配對成功會有什麼提示? know_316752
      Q: HEAR PRO 配對成功會有什麼提示?
      A: 配對完成會出現「Connected」語音提示。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 配對成功時會有什麼提示?
    A
    配對完成會出現「Connected」語音提示。
    原因
    • duplicate (scenario, question)
  • 其他 直接問答 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 配對成功會有什麼提示? know_316752
      Q: HEAR PRO 配對成功會有什麼提示?
      A: 配對完成會出現「Connected」語音提示。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 配對成功時會有什麼提示?
    A
    配對完成會出現「Connected」語音提示。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:HEAR PRO 充電盒/耳機電量燈號如何看? know_316746
      Q: HEAR PRO 充電盒/耳機電量燈號如何看?
      A: 手冊有「白/藍/橘」等區間燈號對照,對應高/中/低電量與充電狀態。(完整說明書:https://drive.google.com/file/d/1-E7H7x63hl7ESIlKtW6Z9sfu_q1kmW3m/view?usp=drive_link)
    Q
    HEAR PRO 充電盒的橘色燈號代表什麼?
    A
    橘色燈號對應低電量。手冊有「白/藍/橘」等區間燈號對照,對應高/中/低電量與充電狀態。