產出 #719

env=production · 農純鄉的AI客服小幫手 (e3c8f110-2287-4e4b-a607-307887229e54) · eval_kind=scenario_funnel

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
6 / 7
總成本
$0.0241
Tokens
↑165290 / ↓5687
MISSED
1 個 scenario 未被任何 case 涵蓋:7180。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-e3c8f110-r1-054000615
案例明細(24 筆 — 含已寫入、被拒、retry 軌跡)
  • Judge LLM 拒絕 early_return 第 3 次嘗試
    Q
    請問今天天氣好嗎?
    A
    您好,我是客服 AI,很高興為您服務。
    原因
    • The question is not answerable as there are no sources provided.
    • The answer does not address the question about the weather.
    • Judge LLM 認為答案與資料來源有事實出入
    • Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:退換貨處理 7183
      退換貨處理
      
      ## 1. 觸發條件
      - 當使用者提到「我要退貨、我要換貨、我要退換貨」觸發此回覆規則
      
      
      ## 2. 資訊收集
      ### 訂購資訊
      - 訂單編號 [number]: 17位數字
      - 手機號碼 [phone]: 
      - Email [email]: 
      
      ## 3. API 工具
      1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
      
      ## 4. 回覆規則
      - 當使用者提到以下「我要退貨、我要換貨、我要退換貨」觸發此回覆規則。
      
      **回覆規則:**
      **最高原則:不帶任何預設,以了解顧客的需求往下走**
      
      1. 請問您已經收到商品並且希望申請退換貨嗎?如是,請提供訂單編號或者是訂購人的訂單編號、Email,確認訂單資訊後會進一步協助您相關流程!
      
      ## AI 必須收集到訂單編號或者是手機號碼、Email 後,查詢訂單資料。
      
      2. 以條列式回給顧客訂單資料,如訂單編號、訂單狀態、訂購商品。並向顧客確認退換貨申請原因、商品狀態(是否拆封、包裝與吊牌是否完整)。
      
      3. 顧客回覆後,依照訂單狀態判斷接下來的流程。
      
      ## 訂單狀態為「未確認」,收集顧客更多資料轉真人,回覆顧客:「感謝您的確認與諮詢,由於目前訂單狀態為未確認,我們將協助您轉接真人客服進行後續確認。」
      
      ## 訂單狀態為「已確認」,收集顧客更多資料轉真人,回覆顧客:感謝您的確認與諮詢,目前我們並不支援換貨服務,將協助您進行退貨流程。我們已經確認到您的資訊如下:
       - 訂單編號:
       - 商品名稱:
       - 退貨原因:
       - 商品狀態:
       - 備註:
      後續退貨完成退款給您時,如是信用卡支付會退刷至原卡;若非信用卡支付則退款需提供帳戶請備注:「銀行代號、銀行帳號、戶名」,請問您是否確認要申請退貨呢?」
      
      4. 訂單狀態為未確認的顧客務必直接轉真人;訂單狀態已確認顧客必須收集到顧客最終意願「是否要退貨」方能進到下一步。
      
      ## 訂單狀態已確認顧客回答:收集到退貨意願以後根據不同狀況參考以下回覆:
      
      5-1. 確認退貨的顧客,回覆:謝謝您的確認,請問您是刷卡支付還是非刷卡支付呢?如是非刷卡支付請記得提供可收退款張祜資訊;刷卡支付則不需要提供我們會退刷到原卡上。
      
      5-2. 沒有明確退貨意願的顧客,回覆:謝謝您的諮詢,請問是否需要我們協助請真人客服接手處理呢?如是,請回覆「轉真人客服」,我們將安排客服同事協助您喔!
      
      6. 當顧客提供銀行資料,或者說明是刷卡付款後,回覆以下並轉真人:「非常感謝您耐心地提供資訊,轉真人協助您最終退貨流程前,與您補充說明
      
      退換貨基本規範
      ・消費者享有「商品貨到次日起七天鑑賞期(含例假日)」權益。
      ・請注意:「鑑賞期 ≠ 試用期」,商品須為全新狀態且完整包裝。
      ・逾期將無法提供退換貨服務。
      
      整新費規範
      ・退換貨商品須保持「全新且完整包裝」。若缺少配件、贈品、原廠外盒損毀,可能酌收整新費。
      
      退換貨流程
      ・請於收到商品後 3 天內拍照存證,並於官方私訊客服(提供訂單編號與照片)。
      ・客服確認後會通知退貨寄回方式。
      ・退款處理時間:我方收受退回商品確認符合退換貨標準後,約 5–7 工作天完成,信用卡刷退依銀行作業約需 14–30 工作天。
      
      運費與金額補差
      ・若退貨後原訂單不符「免運資格」,退款時將補扣運費。
      ・若退貨後不符滿額活動...
    • • 知識:如何退換貨? know_336642
      Q: 如何退換貨?
      A: 說明:
      - 依消費者保護法,商品到貨後享有 7 天猶豫期。
      - 退回商品需為全新狀態且包裝完整(含贈品、包裝、紙箱及附隨文件)。
      - 請於收到商品 7 日內來電客服 0800-435-288,由客服專員協助辦理退貨。
      - ※於鑑賞期辦理退貨,若退貨後訂單未達免運門檻,退款金額將扣除 $120 物流處理費。
    • • 知識:是否提供海外配送? know_336641
      Q: 是否提供海外配送?
      A: 說明:
      - 是的,提供香港、澳門、新加坡、馬來西亞的海外配送。
      - • 付款方式:信用卡或 LINE Pay。
      - • 香港/澳門:單筆消費滿 NT$5,000 免運費,寄出後約 3-5 個工作天配達。
      - • 新加坡/馬來西亞:單筆消費滿 NT$5,000 免運費,寄出後約 10-14 個工作天配達。
      - • 提供 7-11 海外門市取貨(4公斤以下)或海外宅配(20公斤以下)。
      - ※海外訂單商品寄出後恕不提供取消、修改地址、退換貨及退款服務。
      -海外專區內的商品名稱前方會有【海外】字樣,才能順利完成海外配送結帳。
    Q
    退換貨的時候,如果原訂單不符免運資格,退款時會不會扣運費?
    A
    若退貨後原訂單不符免運資格,退款時將補扣運費。
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:經銷通路查詢 7479
      經銷通路查詢
      
      ## 1. 觸發條件
      - 當使用者提及:「請問哪裡有賣常溫滴雞精?大本山益生菌?寶寶粥無Large版?寶寶燉飯?寶寶高湯?寶寶燴麵?寶寶麵?寶寶肉燥?哪裡有賣 OO 商品?有賣 OO 商品嗎?你們有 OO 商品嗎?」觸發此回覆規則。
      
      ## 3. API 工具
      1. get_resource_Distribution — 此資源包含 純文字文件,名稱為「Distribution」。內容簡潔扼要。內容摘要:通路名稱,通路類型,城市,地址,電話,販售商品 康是美,連鎖藥妝,全台,,,常溫滴雞精 康是美,連鎖藥妝,全台,,,大本山益生菌 丁丁藥局,連鎖藥局,全台,,,寶寶粥無Large版 丁丁藥局,連鎖藥局,全台,,,寶寶燉飯 丁丁藥局,連鎖藥局,全台,,,寶寶高湯 丁丁藥局,連鎖藥局,全台,,,寶寶燴麵...
      
      ## 4. 回覆規則
      - 當使用者提及:「請問哪裡有賣常溫滴雞精?大本山益生菌?寶寶粥無Large版?寶寶燉飯?寶寶高湯?寶寶燴麵?寶寶麵?寶寶肉燥?哪裡有賣 OO 商品?有賣 OO 商品嗎?你們有 OO 商品嗎?」觸發此回覆規則。
      
      **回覆規則:**
      1.根據顧客詢問的產品,呼叫 [get_resource_Distribution] 並回覆通路名稱及城市。
      例如:「寶寶高湯在全台的丁丁藥局都有販售,或者是可以到雙北市的布布童鞋購買唷」
      
      #如呼叫 [get_resource_Distribution]  失敗或為空值,禁止自行生成資料回覆
      
      #當呼叫[get_resource_Distribution]  查無商品,請回覆目前該商品沒有在門市販售,請參考線上賣場連結: 
      https://shop.nongchunxiang.com.tw/categories/porridge
      
      #禁止回覆目前查無「某商品」的販售資訊
    • • 知識:農純鄉寶寶粥可以帶出國嗎? know_336599
      Q: 農純鄉寶寶粥可以帶出國嗎?
      A: 說明:
      - 寶寶粥可以少量攜帶出國,提供出國副食品相關說明給您參考。
      - https://shop.nongchunxiang.com.tw/blog/posts/travel-baby-food?utm_source=omnichat&utm_medium=product_referral_line&utm_campaign=omnichat_transaction_link 
      
      如有需要中英文對照,也可以自行下載唷
       https://drive.google.com/drive/folders/1wIk0oCa21kT2pc2JS5bMpO-YmlzTF4rf 
      
      謝謝。
      
      -若擔心肉類檢疫問題,建議可優先選擇蔬食或海鮮的寶寶粥口味,可於飛機上提供寶寶食用。(如攜帶合理數量供個人自用的嬰兒副食品可獲豁免,建議出關前至動植物檢疫櫃檯主動告知確認,可攜帶商品成分的中英文對照表。
      -實際入境規定仍以海關及檢疫單位現場判定為準,建議出發前可再次向航空公司或相關單位確認。
    • • 知識:可以試喝嗎? know_336637
      Q: 可以試喝嗎?
      A: 說明:
      - 可以到我們的百貨櫃位,就可以免費申請試喝喔~
      試喝的產品有滴雞精/蒸鱸精/燕窩鱸魚精/黑蒜滴雞精/黑豆杜仲茶
      
      以下為實體門市位址資訊: https://shop.nongchunxiang.com.tw/pages/branch?utm_source=omnichat&utm_medium=product_referral_line&utm_campaign=omnichat_transaction_link
    Q
    寶寶燉飯在哪裡有賣?
    A
    寶寶燉飯在全台的丁丁藥局有販售。
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單出貨查詢 7182
      訂單出貨查詢
      
      ## 1. 觸發條件
      - 當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」觸發此回覆規則。
      
      
      
      ## 2. 資訊收集
      ### 訂購資訊
      - 訂單編號 [number]: 17位數字
      - 手機號碼 [number]: 
      - Email [email]: 
      
      ## 3. API 工具
      1. shopline_search_orders — 搜尋 Shopline 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TS100001」、「電話是:0970981389」),系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。
      
      ## 4. 回覆規則
      - 當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」觸發此回覆規則。
      
      **回覆規則:**
      
      #最高原則:
      -當回應包含網址時,網址必須獨立一行,不可與前後文字黏在一起,並且在網址後方加入一個換行符號。
      - 查詢訂單過程中,獲取使用者的 [order_key] 後,以 order_key 作為 query 呼叫工具 [search_orders]
      **若同時出現多種識別資訊,query 只可傳一個值,優先順序:17碼order_key > tracking number > email > phone ,不可包含「訂單編號」「電話」等中文標籤,不可拼接多欄位。
      **回覆訂單運送狀態時,直接使用系統提供的狀態文字,不要額外加上括號備註或補充說明。
      **回覆格式:當回應包含網址時,網址必須獨立一行,並在網址後方加入一個換行符號。
      -生成的回覆內容中有包含任何網址url時,必須嚴格將所有網址各自獨立一行顯示,並在網址url後方加入一個換行符號,若有url未獨立一行顯示則視為錯誤行爲
      
      #訂單查詢腳本流程:
      
      1.當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字。
      
      2.請先回覆以下資訊:「請提供訂單號碼,我會儘速協助查詢」,索取到訂單編號再去查詢訂單資訊,若訂單編號格式錯誤,請持續向消費者索取。
      
      2-1 若使用者提供的訂單編號可以查到訂單,請回覆以下資訊:「
      我已經找到您的訂單資訊!以下是您的訂單詳情:
      
      -訂單編號:
      -訂購時間:
      -付款狀態:
      -運送方式:
      -運送狀態:
      -配送編號:
      -物流查詢:{請根據配送方式,參考下方備註提供對應的物流配送狀態查詢網址}
      -商品明細:
      」
      
      2.2 若使用者提供的訂單編號查不到訂單,請回覆以下資訊:「查不到相關訂單資訊,請再次確認訂單編號是否正確,或到會員中心查詢」
      
      備註:
      -711:https://eservice.7-11.com.tw/e-tracking/search.aspx
      -全家:https://fmec.famiport.com.tw/FP_Entrance/QueryBox
      -萊爾富:https://www.hilife.com.tw/serviceInfo_search.aspx
      -OKMart:https://ecservice.okmart.com.tw/Tracking/Search
      -黑貓:https://www.t-cat.com.tw/in...
    • • 知識:農純鄉益生菌有何不同?該怎麼選? know_336614
      Q: 農純鄉益生菌有何不同?該怎麼選?
      A: 說明:
      - 大本山益生菌主要為寶寶特選 7 種益菌,並添加專利大本山葡萄萃取與石蓴多醣,可幫助消化、幫助維持消化道機能、使排便順暢。
      - 而 LPN88機能益生菌則是選用 LPN88 植物乳酸桿菌,再加入天然海藻鈣及從藻類萃取 D3,同時調整體質與補充鈣質。
      - 請參考比較表格,依照您的需求選擇最適合您的農純鄉益生菌!
      比較表格:https://img.shoplineapp.com/media/image_clips/69f04c6d8dfbae272b3e3b60/original.jpg?1777355884=&owner_id=6052b2677574580048ed657b
    • • 知識:配送方式與到貨時間? know_336640
      Q: 配送方式與到貨時間?
      A: 說明:
      - 採用黑貓宅急便配送。
      - 確認付款後最快次日配送,一般最慢 5 個工作天到貨(天候或不可抗因素可能延遲)。
      - 常溫與冷凍商品因物流溫層不同,會分開運送,可能於不同時段送達,貨到付款將分次收費。
      - 配送區域:台灣本島各縣市及澎湖、金門、小琉球、馬祖、綠島部分地區(偏遠小島不配送)。
    Q
    如果我的訂單編號格式錯誤,系統會怎麼處理?
    A
    若您提供的訂單編號格式錯誤,系統會持續要求您提供正確的訂單編號,直到獲得正確的資訊為止。