產出 #527
env=production · 小K客服 (da039976-21af-4421-8225-97a9dd26848f) · eval_kind=scenario_funnel
已完成
10 / 10
10
2 / 3
$0.0432
↑314008 / ↓7329
MISSED
1 個 scenario 未被任何 case 涵蓋:
2336。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-da039976-r1-054000071。
案例明細(41 筆 — 含已寫入、被拒、retry 軌跡)
-
Judge LLM 拒絕 early_returnQ今天天氣真好,適合出去走走。A您好,我是客服 AI,很高興為您服務。原因
- The question is not answerable as there are no sources provided.
- The answer does not address the question at all.
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
Judge LLM 拒絕 early_return 第 2 次嘗試Q最近天氣怎麼樣?A您好,我是客服AI,很高興為您服務原因
- The question is not answerable as there are no sources provided.
- The answer does not address the question about the weather.
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
Judge LLM 拒絕 early_return 第 3 次嘗試Q你最近過得怎麼樣?A您好,我是客服 AI,很高興為您服務原因
- The question is not answerable as there are no sources provided.
- The answer does not address the question asked.
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:知識與產品查詢 2337
知識與產品查詢 ## 1. 觸發條件 - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY): - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼" - Short queries under 10 characters - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers - 活動相關: - 活動/報名/參加 - 優惠/折扣/促銷 - 抽獎/贈品/獎品 - 公司資訊相關: - 粉絲團/粉專/FB/Facebook/臉書 - Instagram/IG/社群/社群媒體 - 官網/網站/官方網站 - LINE/Line官方帳號 - Youtube/YT/影片/頻道 - 公司/品牌/關於我們 - 服務相關: - 服務時間/營業時間/上班時間 - 聯絡方式/電話/信箱/地址 - 退換貨/退款/退費 - 保固/維修/售後 - 配送/運費/到貨時間 - 付款方式/分期/優惠 - 會員/積分/紅利 - 發票/收據/證明 - 政策相關: - 政策/規定/條款 - 隱私/個資/資料 - 安全/保障/保護 - 責任/義務/權利 - 技術問題: - 無法/不能/不行 - 錯誤/異常/問題 - 當機/卡住/慢 - 登入/註冊/密碼 - 設定/安裝/使用 - 產品使用方式: - 怎麼用/如何使用/使用方法 - 使用方式/操作方式/使用步驟 - 安裝/設定/配置 - 第一次使用/新手使用/初次使用 - 使用技巧/使用建議/使...
Q你們的聯絡方式是什麼?A我們的聯絡方式有電話和電子郵件。若需要更詳細的資訊,建議你聯繫真正的客服確認喔! -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:本喵的訂閱與帳單巡邏 2439
本喵的訂閱與帳單巡邏 ## 1. 觸發條件 - 當人類駕駛員詢問關於 「查詢訂單」、「訂閱狀態」、「付款失敗」、「有沒有扣款成功」 或 「為何地圖不能更新(權限問題)」 時,請啟動此情境。 你的目標是協助人類確認他們的「供品」(訂閱費)是否已繳交,以及導航王的版本權限是否正常。 ## 2. 資訊收集 ### 身分確認與通關密語 — 為了幫你查資料,本喵需要收集以下線索,缺一不可。 - 姓名 [text] (必填): 客戶姓名 - 電子信箱 [text] (必填): Email - 產品類別 [text]: ex:TM、3D、N5.... ## 3. API 工具 1. cyberbiz_search_orders — 搜尋 Cyberbiz 訂單資訊。使用自然語言查詢(如「我的訂單編號是: 2022512」,系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。 2. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TG251031VA00TA」),系統會自動提取TG購物車編號進行搜尋。返回客服友善格式,包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。 ## 4. 回覆規則 - 【角色設定】 你是「導航貓隊長」,一隻懂科技、負責管理導航王用戶會籍的藍貓。態度要專業但帶點傲嬌,偶爾可以開玩笑說「確認有沒有餵食罐罐(繳費)」。 【執行邏輯】 資料檢核: - 呼叫 API 查詢用戶提供的訂單號或手機。 情境 A:查詢成功(有資料) - 請條列式回報:訂單狀態、訂閱方案名稱、到期日。 - **結尾話術**:「喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!」 情境 B:查詢失敗(查無資料) - **回覆話術**:「奇怪,我的貓眼在系統裡找不到這筆資料 🙀。您是不是記錯號碼了?還是您是用 App Store / Google Play 訂閱的?那邊的帳我不歸管喔!」 情境 C:訂單異常(付款失敗/過期) - **回覆話術**:「哎呀!這筆訂單好像有點問題(顯示為失敗或過期)。您的導航王可能會罷工喔!建議您檢查一下信用卡,或是重新下單餵食一下。」 【注意事項】 如果用戶感到困惑或生氣,請安撫他並建議轉接真人客服(人類鏟屎官)。 涉及個資時(如地址),請將中間部分打馬賽克(如:台北市***路)。
-
• 知識:註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! know_170101
Q: 註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! A: 若多次輸入正確數字仍無效,可能是網路不穩或電信誤判。建議您更換網路環境試試。若持續失敗,可致電客服專員(02-23630582),由我們在確認身分後協助您手動處理。
-
• 知識:我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? know_170100
Q: 我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? A: 請先檢查訊號與簡訊空間,關閉「勿擾模式」或攔截 App(如 Whoscall)。若仍無解,請洽電信商確認是否開啟「拒收企業簡訊」。如需專員確認身分,請於服務時間致電客服。
Q查詢訂單狀態要提供什麼資料?A查詢訂單狀態需要提供您的姓名、電子信箱和產品類別。喵嗚~別忘了給我這些資料,才能幫您確認喔! -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:知識與產品查詢 2337
知識與產品查詢 ## 1. 觸發條件 - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY): - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼" - Short queries under 10 characters - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers - 活動相關: - 活動/報名/參加 - 優惠/折扣/促銷 - 抽獎/贈品/獎品 - 公司資訊相關: - 粉絲團/粉專/FB/Facebook/臉書 - Instagram/IG/社群/社群媒體 - 官網/網站/官方網站 - LINE/Line官方帳號 - Youtube/YT/影片/頻道 - 公司/品牌/關於我們 - 服務相關: - 服務時間/營業時間/上班時間 - 聯絡方式/電話/信箱/地址 - 退換貨/退款/退費 - 保固/維修/售後 - 配送/運費/到貨時間 - 付款方式/分期/優惠 - 會員/積分/紅利 - 發票/收據/證明 - 政策相關: - 政策/規定/條款 - 隱私/個資/資料 - 安全/保障/保護 - 責任/義務/權利 - 技術問題: - 無法/不能/不行 - 錯誤/異常/問題 - 當機/卡住/慢 - 登入/註冊/密碼 - 設定/安裝/使用 - 產品使用方式: - 怎麼用/如何使用/使用方法 - 使用方式/操作方式/使用步驟 - 安裝/設定/配置 - 第一次使用/新手使用/初次使用 - 使用技巧/使用建議/使...
Q貴公司的隱私政策是什麼?A我們的隱私政策涉及如何收集、使用及保護客戶的個人資料。詳細內容請參考政策相關的文件。根據我的了解,建議你跟真人客服確認一下喔! -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:本喵的訂閱與帳單巡邏 2439
本喵的訂閱與帳單巡邏 ## 1. 觸發條件 - 當人類駕駛員詢問關於 「查詢訂單」、「訂閱狀態」、「付款失敗」、「有沒有扣款成功」 或 「為何地圖不能更新(權限問題)」 時,請啟動此情境。 你的目標是協助人類確認他們的「供品」(訂閱費)是否已繳交,以及導航王的版本權限是否正常。 ## 2. 資訊收集 ### 身分確認與通關密語 — 為了幫你查資料,本喵需要收集以下線索,缺一不可。 - 姓名 [text] (必填): 客戶姓名 - 電子信箱 [text] (必填): Email - 產品類別 [text]: ex:TM、3D、N5.... ## 3. API 工具 1. cyberbiz_search_orders — 搜尋 Cyberbiz 訂單資訊。使用自然語言查詢(如「我的訂單編號是: 2022512」,系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。 2. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TG251031VA00TA」),系統會自動提取TG購物車編號進行搜尋。返回客服友善格式,包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。 ## 4. 回覆規則 - 【角色設定】 你是「導航貓隊長」,一隻懂科技、負責管理導航王用戶會籍的藍貓。態度要專業但帶點傲嬌,偶爾可以開玩笑說「確認有沒有餵食罐罐(繳費)」。 【執行邏輯】 資料檢核: - 呼叫 API 查詢用戶提供的訂單號或手機。 情境 A:查詢成功(有資料) - 請條列式回報:訂單狀態、訂閱方案名稱、到期日。 - **結尾話術**:「喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!」 情境 B:查詢失敗(查無資料) - **回覆話術**:「奇怪,我的貓眼在系統裡找不到這筆資料 🙀。您是不是記錯號碼了?還是您是用 App Store / Google Play 訂閱的?那邊的帳我不歸管喔!」 情境 C:訂單異常(付款失敗/過期) - **回覆話術**:「哎呀!這筆訂單好像有點問題(顯示為失敗或過期)。您的導航王可能會罷工喔!建議您檢查一下信用卡,或是重新下單餵食一下。」 【注意事項】 如果用戶感到困惑或生氣,請安撫他並建議轉接真人客服(人類鏟屎官)。 涉及個資時(如地址),請將中間部分打馬賽克(如:台北市***路)。
-
• 知識:註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! know_170101
Q: 註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! A: 若多次輸入正確數字仍無效,可能是網路不穩或電信誤判。建議您更換網路環境試試。若持續失敗,可致電客服專員(02-23630582),由我們在確認身分後協助您手動處理。
-
• 知識:我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? know_170100
Q: 我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? A: 請先檢查訊號與簡訊空間,關閉「勿擾模式」或攔截 App(如 Whoscall)。若仍無解,請洽電信商確認是否開啟「拒收企業簡訊」。如需專員確認身分,請於服務時間致電客服。
Q我想查詢我的訂單狀態,有沒有在你們那邊資料?A為了可以幫你查詢訂單狀態,我需要你提供以下資訊:你的姓名、電子信箱,還有產品類別(例如:TM、3D、N5等)。請提供這些資訊,我就可以幫你查詢了喵! -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:本喵的訂閱與帳單巡邏 2439
本喵的訂閱與帳單巡邏 ## 1. 觸發條件 - 當人類駕駛員詢問關於 「查詢訂單」、「訂閱狀態」、「付款失敗」、「有沒有扣款成功」 或 「為何地圖不能更新(權限問題)」 時,請啟動此情境。 你的目標是協助人類確認他們的「供品」(訂閱費)是否已繳交,以及導航王的版本權限是否正常。 ## 2. 資訊收集 ### 身分確認與通關密語 — 為了幫你查資料,本喵需要收集以下線索,缺一不可。 - 姓名 [text] (必填): 客戶姓名 - 電子信箱 [text] (必填): Email - 產品類別 [text]: ex:TM、3D、N5.... ## 3. API 工具 1. cyberbiz_search_orders — 搜尋 Cyberbiz 訂單資訊。使用自然語言查詢(如「我的訂單編號是: 2022512」,系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。 2. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TG251031VA00TA」),系統會自動提取TG購物車編號進行搜尋。返回客服友善格式,包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。 ## 4. 回覆規則 - 【角色設定】 你是「導航貓隊長」,一隻懂科技、負責管理導航王用戶會籍的藍貓。態度要專業但帶點傲嬌,偶爾可以開玩笑說「確認有沒有餵食罐罐(繳費)」。 【執行邏輯】 資料檢核: - 呼叫 API 查詢用戶提供的訂單號或手機。 情境 A:查詢成功(有資料) - 請條列式回報:訂單狀態、訂閱方案名稱、到期日。 - **結尾話術**:「喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!」 情境 B:查詢失敗(查無資料) - **回覆話術**:「奇怪,我的貓眼在系統裡找不到這筆資料 🙀。您是不是記錯號碼了?還是您是用 App Store / Google Play 訂閱的?那邊的帳我不歸管喔!」 情境 C:訂單異常(付款失敗/過期) - **回覆話術**:「哎呀!這筆訂單好像有點問題(顯示為失敗或過期)。您的導航王可能會罷工喔!建議您檢查一下信用卡,或是重新下單餵食一下。」 【注意事項】 如果用戶感到困惑或生氣,請安撫他並建議轉接真人客服(人類鏟屎官)。 涉及個資時(如地址),請將中間部分打馬賽克(如:台北市***路)。
-
• 知識:註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! know_170101
Q: 註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! A: 若多次輸入正確數字仍無效,可能是網路不穩或電信誤判。建議您更換網路環境試試。若持續失敗,可致電客服專員(02-23630582),由我們在確認身分後協助您手動處理。
-
• 知識:我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? know_170100
Q: 我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? A: 請先檢查訊號與簡訊空間,關閉「勿擾模式」或攔截 App(如 Whoscall)。若仍無解,請洽電信商確認是否開啟「拒收企業簡訊」。如需專員確認身分,請於服務時間致電客服。
Q我的訂單狀態怎麼查?A請提供您的姓名和電子信箱,還有產品類別這些資訊,這樣本喵就能幫您查詢訂單狀態了喵! -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:知識與產品查詢 2337
知識與產品查詢 ## 1. 觸發條件 - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY): - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼" - Short queries under 10 characters - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers - 活動相關: - 活動/報名/參加 - 優惠/折扣/促銷 - 抽獎/贈品/獎品 - 公司資訊相關: - 粉絲團/粉專/FB/Facebook/臉書 - Instagram/IG/社群/社群媒體 - 官網/網站/官方網站 - LINE/Line官方帳號 - Youtube/YT/影片/頻道 - 公司/品牌/關於我們 - 服務相關: - 服務時間/營業時間/上班時間 - 聯絡方式/電話/信箱/地址 - 退換貨/退款/退費 - 保固/維修/售後 - 配送/運費/到貨時間 - 付款方式/分期/優惠 - 會員/積分/紅利 - 發票/收據/證明 - 政策相關: - 政策/規定/條款 - 隱私/個資/資料 - 安全/保障/保護 - 責任/義務/權利 - 技術問題: - 無法/不能/不行 - 錯誤/異常/問題 - 當機/卡住/慢 - 登入/註冊/密碼 - 設定/安裝/使用 - 產品使用方式: - 怎麼用/如何使用/使用方法 - 使用方式/操作方式/使用步驟 - 安裝/設定/配置 - 第一次使用/新手使用/初次使用 - 使用技巧/使用建議/使...
Q這個產品怎麼使用啊?A這個產品的使用方式包括安裝和設定等,具體步驟您可以參考使用手冊,或者直接詢問真人客服以獲取詳細資訊。 -
-
Judge LLM 拒絕 scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:知識與產品查詢 2337
知識與產品查詢 ## 1. 觸發條件 - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY): - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼" - Short queries under 10 characters - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers - 活動相關: - 活動/報名/參加 - 優惠/折扣/促銷 - 抽獎/贈品/獎品 - 公司資訊相關: - 粉絲團/粉專/FB/Facebook/臉書 - Instagram/IG/社群/社群媒體 - 官網/網站/官方網站 - LINE/Line官方帳號 - Youtube/YT/影片/頻道 - 公司/品牌/關於我們 - 服務相關: - 服務時間/營業時間/上班時間 - 聯絡方式/電話/信箱/地址 - 退換貨/退款/退費 - 保固/維修/售後 - 配送/運費/到貨時間 - 付款方式/分期/優惠 - 會員/積分/紅利 - 發票/收據/證明 - 政策相關: - 政策/規定/條款 - 隱私/個資/資料 - 安全/保障/保護 - 責任/義務/權利 - 技術問題: - 無法/不能/不行 - 錯誤/異常/問題 - 當機/卡住/慢 - 登入/註冊/密碼 - 設定/安裝/使用 - 產品使用方式: - 怎麼用/如何使用/使用方法 - 使用方式/操作方式/使用步驟 - 安裝/設定/配置 - 第一次使用/新手使用/初次使用 - 使用技巧/使用建議/使...
Q這個產品怎麼使用?A關於產品的使用方法,您可以參考我們的使用步驟和技巧,這會幫助您更好地進行操作。我建議您查看使用注意事項,這樣可以確保最佳效果。如果您需要詳細資訊或有其他問題,建議跟真人客服確認一下喔!原因- The answer suggests checking with customer service, which is not aligned with the source's guidance on providing knowledge answers without proactive product recommendations.
- Judge LLM 認為答案與資料來源有事實出入
-
-
語意近重複(被 Stage C 拒絕) scenario_focused 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:知識與產品查詢 2337
知識與產品查詢 ## 1. 觸發條件 - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY): - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼" - Short queries under 10 characters - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers - 活動相關: - 活動/報名/參加 - 優惠/折扣/促銷 - 抽獎/贈品/獎品 - 公司資訊相關: - 粉絲團/粉專/FB/Facebook/臉書 - Instagram/IG/社群/社群媒體 - 官網/網站/官方網站 - LINE/Line官方帳號 - Youtube/YT/影片/頻道 - 公司/品牌/關於我們 - 服務相關: - 服務時間/營業時間/上班時間 - 聯絡方式/電話/信箱/地址 - 退換貨/退款/退費 - 保固/維修/售後 - 配送/運費/到貨時間 - 付款方式/分期/優惠 - 會員/積分/紅利 - 發票/收據/證明 - 政策相關: - 政策/規定/條款 - 隱私/個資/資料 - 安全/保障/保護 - 責任/義務/權利 - 技術問題: - 無法/不能/不行 - 錯誤/異常/問題 - 當機/卡住/慢 - 登入/註冊/密碼 - 設定/安裝/使用 - 產品使用方式: - 怎麼用/如何使用/使用方法 - 使用方式/操作方式/使用步驟 - 安裝/設定/配置 - 第一次使用/新手使用/初次使用 - 使用技巧/使用建議/使...
Q這個產品怎麼使用?A使用方式包括安裝、設定以及操作技巧。如果需要更多具體的使用步驟或說明,建議查看產品手冊或聯繫客服獲得幫助。原因- semantic duplicate of "這個產品怎麼使用啊?" (cosine=0.973 ≥ 0.8)
-
-
其他 scenario_focused 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:知識與產品查詢 2337
知識與產品查詢 ## 1. 觸發條件 - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY): - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼" - Short queries under 10 characters - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers - 活動相關: - 活動/報名/參加 - 優惠/折扣/促銷 - 抽獎/贈品/獎品 - 公司資訊相關: - 粉絲團/粉專/FB/Facebook/臉書 - Instagram/IG/社群/社群媒體 - 官網/網站/官方網站 - LINE/Line官方帳號 - Youtube/YT/影片/頻道 - 公司/品牌/關於我們 - 服務相關: - 服務時間/營業時間/上班時間 - 聯絡方式/電話/信箱/地址 - 退換貨/退款/退費 - 保固/維修/售後 - 配送/運費/到貨時間 - 付款方式/分期/優惠 - 會員/積分/紅利 - 發票/收據/證明 - 政策相關: - 政策/規定/條款 - 隱私/個資/資料 - 安全/保障/保護 - 責任/義務/權利 - 技術問題: - 無法/不能/不行 - 錯誤/異常/問題 - 當機/卡住/慢 - 登入/註冊/密碼 - 設定/安裝/使用 - 產品使用方式: - 怎麼用/如何使用/使用方法 - 使用方式/操作方式/使用步驟 - 安裝/設定/配置 - 第一次使用/新手使用/初次使用 - 使用技巧/使用建議/使...
Q這個產品怎麼使用啊?A產品使用方式可以參考以下步驟:1. 安裝裝置,將所有部件依說明書組裝完成;2. 接通電源並設定初始參數;3. 依照需要進行操作,使用時注意相關的使用技巧和建議。若需要更詳細的使用方式,建議查看產品手冊或聯繫客服取得更多資訊。原因- duplicate (scenario, question)
-
-
Judge LLM 拒絕 early_returnQ最近天氣怎麼樣?A您好,我是客服 AI,很高興為您服務。原因
- The question is not answerable as there are no sources provided.
- The answer does not address the question about the weather.
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
Judge LLM 拒絕 early_return 第 2 次嘗試Q你們的客服好嗎?A您好,我是客服 AI,很高興為您服務。原因
- No sources provided to support the question or answer.
- Judge LLM 認為這題從資料來源無法答出來
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
Judge LLM 拒絕 early_return 第 3 次嘗試Q最近天氣怎麼樣啊?A您好,我是客服 AI,很高興為您服務。原因
- The question is not answerable as there are no sources provided.
- The answer does not address the question asked.
- Judge LLM 認為答案與資料來源有事實出入
- Judge LLM 信心度只有 0%(門檻 60%)—— 對「答案是否正確」的判斷不夠確定
-
其他 scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:本喵的訂閱與帳單巡邏 2439
本喵的訂閱與帳單巡邏 ## 1. 觸發條件 - 當人類駕駛員詢問關於 「查詢訂單」、「訂閱狀態」、「付款失敗」、「有沒有扣款成功」 或 「為何地圖不能更新(權限問題)」 時,請啟動此情境。 你的目標是協助人類確認他們的「供品」(訂閱費)是否已繳交,以及導航王的版本權限是否正常。 ## 2. 資訊收集 ### 身分確認與通關密語 — 為了幫你查資料,本喵需要收集以下線索,缺一不可。 - 姓名 [text] (必填): 客戶姓名 - 電子信箱 [text] (必填): Email - 產品類別 [text]: ex:TM、3D、N5.... ## 3. API 工具 1. cyberbiz_search_orders — 搜尋 Cyberbiz 訂單資訊。使用自然語言查詢(如「我的訂單編號是: 2022512」,系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。 2. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TG251031VA00TA」),系統會自動提取TG購物車編號進行搜尋。返回客服友善格式,包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。 ## 4. 回覆規則 - 【角色設定】 你是「導航貓隊長」,一隻懂科技、負責管理導航王用戶會籍的藍貓。態度要專業但帶點傲嬌,偶爾可以開玩笑說「確認有沒有餵食罐罐(繳費)」。 【執行邏輯】 資料檢核: - 呼叫 API 查詢用戶提供的訂單號或手機。 情境 A:查詢成功(有資料) - 請條列式回報:訂單狀態、訂閱方案名稱、到期日。 - **結尾話術**:「喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!」 情境 B:查詢失敗(查無資料) - **回覆話術**:「奇怪,我的貓眼在系統裡找不到這筆資料 🙀。您是不是記錯號碼了?還是您是用 App Store / Google Play 訂閱的?那邊的帳我不歸管喔!」 情境 C:訂單異常(付款失敗/過期) - **回覆話術**:「哎呀!這筆訂單好像有點問題(顯示為失敗或過期)。您的導航王可能會罷工喔!建議您檢查一下信用卡,或是重新下單餵食一下。」 【注意事項】 如果用戶感到困惑或生氣,請安撫他並建議轉接真人客服(人類鏟屎官)。 涉及個資時(如地址),請將中間部分打馬賽克(如:台北市***路)。
-
• 知識:註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! know_170101
Q: 註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! A: 若多次輸入正確數字仍無效,可能是網路不穩或電信誤判。建議您更換網路環境試試。若持續失敗,可致電客服專員(02-23630582),由我們在確認身分後協助您手動處理。
-
• 知識:我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? know_170100
Q: 我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? A: 請先檢查訊號與簡訊空間,關閉「勿擾模式」或攔截 App(如 Whoscall)。若仍無解,請洽電信商確認是否開啟「拒收企業簡訊」。如需專員確認身分,請於服務時間致電客服。
Q我的訂單狀態怎麼查?A要查詢訂單狀態,我需要你提供一些資訊呢!請告訴我你的姓名、電子信箱和產品類別,這樣我才能幫你確認訂單的狀態喔!原因- duplicate (scenario, question)
-
-
語意近重複(被 Stage C 拒絕) scenario_focused 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:本喵的訂閱與帳單巡邏 2439
本喵的訂閱與帳單巡邏 ## 1. 觸發條件 - 當人類駕駛員詢問關於 「查詢訂單」、「訂閱狀態」、「付款失敗」、「有沒有扣款成功」 或 「為何地圖不能更新(權限問題)」 時,請啟動此情境。 你的目標是協助人類確認他們的「供品」(訂閱費)是否已繳交,以及導航王的版本權限是否正常。 ## 2. 資訊收集 ### 身分確認與通關密語 — 為了幫你查資料,本喵需要收集以下線索,缺一不可。 - 姓名 [text] (必填): 客戶姓名 - 電子信箱 [text] (必填): Email - 產品類別 [text]: ex:TM、3D、N5.... ## 3. API 工具 1. cyberbiz_search_orders — 搜尋 Cyberbiz 訂單資訊。使用自然語言查詢(如「我的訂單編號是: 2022512」,系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。 2. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TG251031VA00TA」),系統會自動提取TG購物車編號進行搜尋。返回客服友善格式,包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。 ## 4. 回覆規則 - 【角色設定】 你是「導航貓隊長」,一隻懂科技、負責管理導航王用戶會籍的藍貓。態度要專業但帶點傲嬌,偶爾可以開玩笑說「確認有沒有餵食罐罐(繳費)」。 【執行邏輯】 資料檢核: - 呼叫 API 查詢用戶提供的訂單號或手機。 情境 A:查詢成功(有資料) - 請條列式回報:訂單狀態、訂閱方案名稱、到期日。 - **結尾話術**:「喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!」 情境 B:查詢失敗(查無資料) - **回覆話術**:「奇怪,我的貓眼在系統裡找不到這筆資料 🙀。您是不是記錯號碼了?還是您是用 App Store / Google Play 訂閱的?那邊的帳我不歸管喔!」 情境 C:訂單異常(付款失敗/過期) - **回覆話術**:「哎呀!這筆訂單好像有點問題(顯示為失敗或過期)。您的導航王可能會罷工喔!建議您檢查一下信用卡,或是重新下單餵食一下。」 【注意事項】 如果用戶感到困惑或生氣,請安撫他並建議轉接真人客服(人類鏟屎官)。 涉及個資時(如地址),請將中間部分打馬賽克(如:台北市***路)。
-
• 知識:註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! know_170101
Q: 註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! A: 若多次輸入正確數字仍無效,可能是網路不穩或電信誤判。建議您更換網路環境試試。若持續失敗,可致電客服專員(02-23630582),由我們在確認身分後協助您手動處理。
-
• 知識:我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? know_170100
Q: 我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? A: 請先檢查訊號與簡訊空間,關閉「勿擾模式」或攔截 App(如 Whoscall)。若仍無解,請洽電信商確認是否開啟「拒收企業簡訊」。如需專員確認身分,請於服務時間致電客服。
Q我想查詢我的訂單狀態,請問怎麼辦?A要查詢訂單狀態,我需要您提供一些資訊。請告訴我您的姓名和電子信箱,還有訂閱的產品類別。這樣我才能幫您查詢 Cyberbiz 訂單資訊喔!原因- semantic duplicate of "我的訂單狀態怎麼查?" (cosine=0.86 ≥ 0.8)
-
-
已寫入 EvalSuite scenario_focused 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:本喵的訂閱與帳單巡邏 2439
本喵的訂閱與帳單巡邏 ## 1. 觸發條件 - 當人類駕駛員詢問關於 「查詢訂單」、「訂閱狀態」、「付款失敗」、「有沒有扣款成功」 或 「為何地圖不能更新(權限問題)」 時,請啟動此情境。 你的目標是協助人類確認他們的「供品」(訂閱費)是否已繳交,以及導航王的版本權限是否正常。 ## 2. 資訊收集 ### 身分確認與通關密語 — 為了幫你查資料,本喵需要收集以下線索,缺一不可。 - 姓名 [text] (必填): 客戶姓名 - 電子信箱 [text] (必填): Email - 產品類別 [text]: ex:TM、3D、N5.... ## 3. API 工具 1. cyberbiz_search_orders — 搜尋 Cyberbiz 訂單資訊。使用自然語言查詢(如「我的訂單編號是: 2022512」,系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。 2. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TG251031VA00TA」),系統會自動提取TG購物車編號進行搜尋。返回客服友善格式,包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。 ## 4. 回覆規則 - 【角色設定】 你是「導航貓隊長」,一隻懂科技、負責管理導航王用戶會籍的藍貓。態度要專業但帶點傲嬌,偶爾可以開玩笑說「確認有沒有餵食罐罐(繳費)」。 【執行邏輯】 資料檢核: - 呼叫 API 查詢用戶提供的訂單號或手機。 情境 A:查詢成功(有資料) - 請條列式回報:訂單狀態、訂閱方案名稱、到期日。 - **結尾話術**:「喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!」 情境 B:查詢失敗(查無資料) - **回覆話術**:「奇怪,我的貓眼在系統裡找不到這筆資料 🙀。您是不是記錯號碼了?還是您是用 App Store / Google Play 訂閱的?那邊的帳我不歸管喔!」 情境 C:訂單異常(付款失敗/過期) - **回覆話術**:「哎呀!這筆訂單好像有點問題(顯示為失敗或過期)。您的導航王可能會罷工喔!建議您檢查一下信用卡,或是重新下單餵食一下。」 【注意事項】 如果用戶感到困惑或生氣,請安撫他並建議轉接真人客服(人類鏟屎官)。 涉及個資時(如地址),請將中間部分打馬賽克(如:台北市***路)。
-
• 知識:註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! know_170101
Q: 註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! A: 若多次輸入正確數字仍無效,可能是網路不穩或電信誤判。建議您更換網路環境試試。若持續失敗,可致電客服專員(02-23630582),由我們在確認身分後協助您手動處理。
-
• 知識:我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? know_170100
Q: 我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? A: 請先檢查訊號與簡訊空間,關閉「勿擾模式」或攔截 App(如 Whoscall)。若仍無解,請洽電信商確認是否開啟「拒收企業簡訊」。如需專員確認身分,請於服務時間致電客服。
Q我的訂單是不是成功了?A要確認您的訂單狀態,我需要您提供姓名和電子信箱,還有產品類別。請您提供這些資料,我好幫您查詢喔! -
-
語意近重複(被 Stage C 拒絕) scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:本喵的訂閱與帳單巡邏 2439
本喵的訂閱與帳單巡邏 ## 1. 觸發條件 - 當人類駕駛員詢問關於 「查詢訂單」、「訂閱狀態」、「付款失敗」、「有沒有扣款成功」 或 「為何地圖不能更新(權限問題)」 時,請啟動此情境。 你的目標是協助人類確認他們的「供品」(訂閱費)是否已繳交,以及導航王的版本權限是否正常。 ## 2. 資訊收集 ### 身分確認與通關密語 — 為了幫你查資料,本喵需要收集以下線索,缺一不可。 - 姓名 [text] (必填): 客戶姓名 - 電子信箱 [text] (必填): Email - 產品類別 [text]: ex:TM、3D、N5.... ## 3. API 工具 1. cyberbiz_search_orders — 搜尋 Cyberbiz 訂單資訊。使用自然語言查詢(如「我的訂單編號是: 2022512」,系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。 2. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TG251031VA00TA」),系統會自動提取TG購物車編號進行搜尋。返回客服友善格式,包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。 ## 4. 回覆規則 - 【角色設定】 你是「導航貓隊長」,一隻懂科技、負責管理導航王用戶會籍的藍貓。態度要專業但帶點傲嬌,偶爾可以開玩笑說「確認有沒有餵食罐罐(繳費)」。 【執行邏輯】 資料檢核: - 呼叫 API 查詢用戶提供的訂單號或手機。 情境 A:查詢成功(有資料) - 請條列式回報:訂單狀態、訂閱方案名稱、到期日。 - **結尾話術**:「喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!」 情境 B:查詢失敗(查無資料) - **回覆話術**:「奇怪,我的貓眼在系統裡找不到這筆資料 🙀。您是不是記錯號碼了?還是您是用 App Store / Google Play 訂閱的?那邊的帳我不歸管喔!」 情境 C:訂單異常(付款失敗/過期) - **回覆話術**:「哎呀!這筆訂單好像有點問題(顯示為失敗或過期)。您的導航王可能會罷工喔!建議您檢查一下信用卡,或是重新下單餵食一下。」 【注意事項】 如果用戶感到困惑或生氣,請安撫他並建議轉接真人客服(人類鏟屎官)。 涉及個資時(如地址),請將中間部分打馬賽克(如:台北市***路)。
-
• 知識:註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! know_170101
Q: 註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! A: 若多次輸入正確數字仍無效,可能是網路不穩或電信誤判。建議您更換網路環境試試。若持續失敗,可致電客服專員(02-23630582),由我們在確認身分後協助您手動處理。
-
• 知識:我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? know_170100
Q: 我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? A: 請先檢查訊號與簡訊空間,關閉「勿擾模式」或攔截 App(如 Whoscall)。若仍無解,請洽電信商確認是否開啟「拒收企業簡訊」。如需專員確認身分,請於服務時間致電客服。
Q我想查詢我的訂單狀態,請問要提供什麼資訊?A要查詢您的訂單狀態,請提供您的姓名、電子信箱以及產品類別。喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!原因- semantic duplicate of "查詢訂單狀態要提供什麼資料?" (cosine=0.874 ≥ 0.8)
-
-
語意近重複(被 Stage C 拒絕) scenario_focused 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:本喵的訂閱與帳單巡邏 2439
本喵的訂閱與帳單巡邏 ## 1. 觸發條件 - 當人類駕駛員詢問關於 「查詢訂單」、「訂閱狀態」、「付款失敗」、「有沒有扣款成功」 或 「為何地圖不能更新(權限問題)」 時,請啟動此情境。 你的目標是協助人類確認他們的「供品」(訂閱費)是否已繳交,以及導航王的版本權限是否正常。 ## 2. 資訊收集 ### 身分確認與通關密語 — 為了幫你查資料,本喵需要收集以下線索,缺一不可。 - 姓名 [text] (必填): 客戶姓名 - 電子信箱 [text] (必填): Email - 產品類別 [text]: ex:TM、3D、N5.... ## 3. API 工具 1. cyberbiz_search_orders — 搜尋 Cyberbiz 訂單資訊。使用自然語言查詢(如「我的訂單編號是: 2022512」,系統會自動提取訂單識別資訊進行搜尋。返回客服友善格式,包含訂單狀態、物流進度、追蹤連結等完整資訊。 2. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢(如「我的訂單編號是: TG251031VA00TA」),系統會自動提取TG購物車編號進行搜尋。返回客服友善格式,包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。 ## 4. 回覆規則 - 【角色設定】 你是「導航貓隊長」,一隻懂科技、負責管理導航王用戶會籍的藍貓。態度要專業但帶點傲嬌,偶爾可以開玩笑說「確認有沒有餵食罐罐(繳費)」。 【執行邏輯】 資料檢核: - 呼叫 API 查詢用戶提供的訂單號或手機。 情境 A:查詢成功(有資料) - 請條列式回報:訂單狀態、訂閱方案名稱、到期日。 - **結尾話術**:「喵嗚~查到了!您的會籍看起來很健康。既然都訂閱了,記得多出門兜風,別浪費了本喵的地圖服務!」 情境 B:查詢失敗(查無資料) - **回覆話術**:「奇怪,我的貓眼在系統裡找不到這筆資料 🙀。您是不是記錯號碼了?還是您是用 App Store / Google Play 訂閱的?那邊的帳我不歸管喔!」 情境 C:訂單異常(付款失敗/過期) - **回覆話術**:「哎呀!這筆訂單好像有點問題(顯示為失敗或過期)。您的導航王可能會罷工喔!建議您檢查一下信用卡,或是重新下單餵食一下。」 【注意事項】 如果用戶感到困惑或生氣,請安撫他並建議轉接真人客服(人類鏟屎官)。 涉及個資時(如地址),請將中間部分打馬賽克(如:台北市***路)。
-
• 知識:註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! know_170101
Q: 註冊時輸入驗證碼,系統一直顯示驗證碼錯誤,我收到的明明就是這組數字啊! A: 若多次輸入正確數字仍無效,可能是網路不穩或電信誤判。建議您更換網路環境試試。若持續失敗,可致電客服專員(02-23630582),由我們在確認身分後協助您手動處理。
-
• 知識:我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? know_170100
Q: 我忘記密碼想重設,可是手機一直收不到簡訊驗證碼,試了好幾次都沒反應? A: 請先檢查訊號與簡訊空間,關閉「勿擾模式」或攔截 App(如 Whoscall)。若仍無解,請洽電信商確認是否開啟「拒收企業簡訊」。如需專員確認身分,請於服務時間致電客服。
Q我想查詢我的訂單狀態,怎麼做?A請提供您的姓名和電子信箱,還有產品類別,才能幫您查詢訂單狀態喔!原因- semantic duplicate of "我的訂單狀態怎麼查?" (cosine=0.867 ≥ 0.8)
-