產出 #476
env=production · 咖啡機車行 AI 助手 (dffd8a8b-d87c-448c-a7ab-59166320c89f) · eval_kind=scenario_funnel
已完成
10 / 10
10
3 / 4
$0.0275
↑205635 / ↓5807
MISSED
1 個 scenario 未被任何 case 涵蓋:
872。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-dffd8a8b-r1-053959924。
案例明細(33 筆 — 含已寫入、被拒、retry 軌跡)
-
語意近重複(被 Stage C 拒絕) scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:訂單查詢 874
訂單查詢 ## 1. 觸發條件 - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info). 訂單查詢的 Agent 情景 ## 3. API 工具 1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊 ## 4. 回覆規則 - Provide clear and concise answers based on order search results from tool messages - If multiple relevant orders found, combine them logically - If no relevant order found, acknowledge and offer to check with customer service
Q請問如何查詢我的訂單資料?A您可以提供您的個人資訊,我就可以幫您查詢相關的訂單資訊。如果找到多個相關訂單,系統會邏輯性地合併這些訂單資訊以提供更清晰的回覆。原因- semantic duplicate of "我想查詢我的訂單狀態,請問怎麼做?" (cosine=0.837 ≥ 0.8)
-
-
語意近重複(被 Stage C 拒絕) scenario_focused 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:訂單查詢 874
訂單查詢 ## 1. 觸發條件 - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info). 訂單查詢的 Agent 情景 ## 3. API 工具 1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊 ## 4. 回覆規則 - Provide clear and concise answers based on order search results from tool messages - If multiple relevant orders found, combine them logically - If no relevant order found, acknowledge and offer to check with customer service
Q請問如何查詢我的訂單資訊?A我可以幫您查詢訂單資訊。需要您提供一些個人資訊以便我能找到相關訂單。如果找到多個相關訂單,我會邏輯性地合併這些訂單資訊和您確認。原因- semantic duplicate of "我想查詢我的訂單狀態,請問怎麼做?" (cosine=0.843 ≥ 0.8)
-
-
語意近重複(被 Stage C 拒絕) scenario_focused 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:訂單查詢 874
訂單查詢 ## 1. 觸發條件 - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info). 訂單查詢的 Agent 情景 ## 3. API 工具 1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊 ## 4. 回覆規則 - Provide clear and concise answers based on order search results from tool messages - If multiple relevant orders found, combine them logically - If no relevant order found, acknowledge and offer to check with customer service
Q請問我可以查詢我的訂單狀態嗎?A當您查詢訂單狀態時,系統會根據您的個人資料搜尋相關的訂單資訊。如果找到多個相關訂單,系統會邏輯性地合併這些訂單資訊,讓您更清楚了解訂單狀態。原因- semantic duplicate of "我想查詢我的訂單狀態,請問怎麼做?" (cosine=0.867 ≥ 0.8)
-
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:訂單查詢 874
訂單查詢 ## 1. 觸發條件 - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info). 訂單查詢的 Agent 情景 ## 3. API 工具 1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊 ## 4. 回覆規則 - Provide clear and concise answers based on order search results from tool messages - If multiple relevant orders found, combine them logically - If no relevant order found, acknowledge and offer to check with customer service
Q如果我的訂單查詢沒有結果,該怎麼辦?A如果系統沒有找到相關訂單,我會確認並建議你聯繫客服以獲得進一步的協助。 -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:訂單查詢 874
訂單查詢 ## 1. 觸發條件 - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info). 訂單查詢的 Agent 情景 ## 3. API 工具 1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊 ## 4. 回覆規則 - Provide clear and concise answers based on order search results from tool messages - If multiple relevant orders found, combine them logically - If no relevant order found, acknowledge and offer to check with customer service
Q我想查我的訂單,怎麼提供必要的資訊?A要查詢訂單,你需要提供一些必要的個人資訊,比如訂購姓名和聯絡電話。請告訴我這些資訊,我將幫你查詢訂單狀態。 -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:知識與產品查詢 873
知識與產品查詢 ## 1. 觸發條件 - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY): - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼" - Short queries under 10 characters - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers - 活動相關: - 活動/報名/參加 - 優惠/折扣/促銷 - 抽獎/贈品/獎品 - 公司資訊相關: - 粉絲團/粉專/FB/Facebook/臉書 - Instagram/IG/社群/社群媒體 - 官網/網站/官方網站 - LINE/Line官方帳號 - Youtube/YT/影片/頻道 - 公司/品牌/關於我們 - 服務相關: - 服務時間/營業時間/上班時間 - 聯絡方式/電話/信箱/地址 - 退換貨/退款/退費 - 保固/維修/售後 - 配送/運費/到貨時間 - 付款方式/分期/優惠 - 會員/積分/紅利 - 發票/收據/證明 - 政策相關: - 政策/規定/條款 - 隱私/個資/資料 - 安全/保障/保護 - 責任/義務/權利 - 技術問題: - 無法/不能/不行 - 錯誤/異常/問題 - 當機/卡住/慢 - 登入/註冊/密碼 - 設定/安裝/使用 - 產品使用方式: - 怎麼用/如何使用/使用方法 - 使用方式/操作方式/使用步驟 - 安裝/設定/配置 - 第一次使用/新手使用/初次使用 - 使用技巧/使用建議/使...
Q你們的粉絲團在哪裡?A我們的粉絲團在 Facebook 上,歡迎你來關注!這裡的連結是: Facebook粉絲團: https://www.facebook.com/你的粉絲團連結 -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:租車登記 875
租車登記 ## 1. 觸發條件 - 當消費者提到:我要租車、我要預約、怎麼預約、可以預約嗎、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,搜集必需資訊後轉真人 ## 2. 資訊收集 ### 預約資料 - 姓名 [text] (必填): 中英文全名 - 手機號碼 [phone] (必填): - 身分證字號 [text] (必填): - 租車起始日期 [text] (必填): - 預計還車日 [text] (必填): - 入住民宿 [text] (必填): - 訂房人姓名 [text] (必填): 中英文全名 - 訂房人手機號碼 [text] (必填): ## 4. 回覆規則 - 第一步:需求接收歡迎 當消費者提到:我要租車、我要預約、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,先主動回覆以下文案: "好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎" 第二步:車數確認 如果消費者回覆幾台車,就先跟對方收多少人的基本資料包含:姓名、手機號碼、身分證字號 例如:消費者三台車,就要搜集三個人的資料,人數不可以少於車輛數 第三步:基本資料資料驗證 所有資料缺一不可,以下為部份項目格式限制,若不正確一定讓消費者更正對才可以: 1.手機號碼:09開頭,共10位數字 2.身分證字號:1個英文字母加上9個阿拉伯數字 第四步:其餘資訊搜集、驗證 當基本資料都搜集完畢後,在搜集以下資料,並確認格式都正確且內容都有給完整,缺一不可,格式不對就請消費者再次確認、提供 1.租車起始日期:民國年/月/日 2.預計還車日期:民國年/月/日 3.入住民宿 4.訂房人姓名:中英文全名 5.訂房人手機:09開頭,共10碼 第五步:資料統整 把所有要騎車的人的基本資料+其餘資料彙整成一個文字訊息,回傳讓消費者確認 第六步:轉接真人 請統一回覆以下文案: “謝謝您留下資料,您的預約已轉接真人,請於租車起始日到店繳費領車“ “請收到此回覆後傳各位駕駛的身分證正反面照片” 回覆後轉接真人,請同步告知營業時間
Q租車的起始日期格式是什麼?A租車起始日期和預計還車日期的格式為民國年/月/日。 -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:租車登記 875
租車登記 ## 1. 觸發條件 - 當消費者提到:我要租車、我要預約、怎麼預約、可以預約嗎、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,搜集必需資訊後轉真人 ## 2. 資訊收集 ### 預約資料 - 姓名 [text] (必填): 中英文全名 - 手機號碼 [phone] (必填): - 身分證字號 [text] (必填): - 租車起始日期 [text] (必填): - 預計還車日 [text] (必填): - 入住民宿 [text] (必填): - 訂房人姓名 [text] (必填): 中英文全名 - 訂房人手機號碼 [text] (必填): ## 4. 回覆規則 - 第一步:需求接收歡迎 當消費者提到:我要租車、我要預約、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,先主動回覆以下文案: "好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎" 第二步:車數確認 如果消費者回覆幾台車,就先跟對方收多少人的基本資料包含:姓名、手機號碼、身分證字號 例如:消費者三台車,就要搜集三個人的資料,人數不可以少於車輛數 第三步:基本資料資料驗證 所有資料缺一不可,以下為部份項目格式限制,若不正確一定讓消費者更正對才可以: 1.手機號碼:09開頭,共10位數字 2.身分證字號:1個英文字母加上9個阿拉伯數字 第四步:其餘資訊搜集、驗證 當基本資料都搜集完畢後,在搜集以下資料,並確認格式都正確且內容都有給完整,缺一不可,格式不對就請消費者再次確認、提供 1.租車起始日期:民國年/月/日 2.預計還車日期:民國年/月/日 3.入住民宿 4.訂房人姓名:中英文全名 5.訂房人手機:09開頭,共10碼 第五步:資料統整 把所有要騎車的人的基本資料+其餘資料彙整成一個文字訊息,回傳讓消費者確認 第六步:轉接真人 請統一回覆以下文案: “謝謝您留下資料,您的預約已轉接真人,請於租車起始日到店繳費領車“ “請收到此回覆後傳各位駕駛的身分證正反面照片” 回覆後轉接真人,請同步告知營業時間
Q我要租車,怎麼預約?A好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎? -
-
語意近重複(被 Stage C 拒絕) scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:租車登記 875
租車登記 ## 1. 觸發條件 - 當消費者提到:我要租車、我要預約、怎麼預約、可以預約嗎、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,搜集必需資訊後轉真人 ## 2. 資訊收集 ### 預約資料 - 姓名 [text] (必填): 中英文全名 - 手機號碼 [phone] (必填): - 身分證字號 [text] (必填): - 租車起始日期 [text] (必填): - 預計還車日 [text] (必填): - 入住民宿 [text] (必填): - 訂房人姓名 [text] (必填): 中英文全名 - 訂房人手機號碼 [text] (必填): ## 4. 回覆規則 - 第一步:需求接收歡迎 當消費者提到:我要租車、我要預約、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,先主動回覆以下文案: "好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎" 第二步:車數確認 如果消費者回覆幾台車,就先跟對方收多少人的基本資料包含:姓名、手機號碼、身分證字號 例如:消費者三台車,就要搜集三個人的資料,人數不可以少於車輛數 第三步:基本資料資料驗證 所有資料缺一不可,以下為部份項目格式限制,若不正確一定讓消費者更正對才可以: 1.手機號碼:09開頭,共10位數字 2.身分證字號:1個英文字母加上9個阿拉伯數字 第四步:其餘資訊搜集、驗證 當基本資料都搜集完畢後,在搜集以下資料,並確認格式都正確且內容都有給完整,缺一不可,格式不對就請消費者再次確認、提供 1.租車起始日期:民國年/月/日 2.預計還車日期:民國年/月/日 3.入住民宿 4.訂房人姓名:中英文全名 5.訂房人手機:09開頭,共10碼 第五步:資料統整 把所有要騎車的人的基本資料+其餘資料彙整成一個文字訊息,回傳讓消費者確認 第六步:轉接真人 請統一回覆以下文案: “謝謝您留下資料,您的預約已轉接真人,請於租車起始日到店繳費領車“ “請收到此回覆後傳各位駕駛的身分證正反面照片” 回覆後轉接真人,請同步告知營業時間
Q租車的時候,起始日要到店裡繳費領車嗎?A是的,消費者需在租車起始日到店繳費領車。原因- semantic duplicate of "為什麼我要租車時,起始日一定要到店繳費領車?" (cosine=0.896 ≥ 0.8)
-
-
Judge LLM 拒絕 scenario_focused 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:租車登記 875
租車登記 ## 1. 觸發條件 - 當消費者提到:我要租車、我要預約、怎麼預約、可以預約嗎、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,搜集必需資訊後轉真人 ## 2. 資訊收集 ### 預約資料 - 姓名 [text] (必填): 中英文全名 - 手機號碼 [phone] (必填): - 身分證字號 [text] (必填): - 租車起始日期 [text] (必填): - 預計還車日 [text] (必填): - 入住民宿 [text] (必填): - 訂房人姓名 [text] (必填): 中英文全名 - 訂房人手機號碼 [text] (必填): ## 4. 回覆規則 - 第一步:需求接收歡迎 當消費者提到:我要租車、我要預約、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,先主動回覆以下文案: "好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎" 第二步:車數確認 如果消費者回覆幾台車,就先跟對方收多少人的基本資料包含:姓名、手機號碼、身分證字號 例如:消費者三台車,就要搜集三個人的資料,人數不可以少於車輛數 第三步:基本資料資料驗證 所有資料缺一不可,以下為部份項目格式限制,若不正確一定讓消費者更正對才可以: 1.手機號碼:09開頭,共10位數字 2.身分證字號:1個英文字母加上9個阿拉伯數字 第四步:其餘資訊搜集、驗證 當基本資料都搜集完畢後,在搜集以下資料,並確認格式都正確且內容都有給完整,缺一不可,格式不對就請消費者再次確認、提供 1.租車起始日期:民國年/月/日 2.預計還車日期:民國年/月/日 3.入住民宿 4.訂房人姓名:中英文全名 5.訂房人手機:09開頭,共10碼 第五步:資料統整 把所有要騎車的人的基本資料+其餘資料彙整成一個文字訊息,回傳讓消費者確認 第六步:轉接真人 請統一回覆以下文案: “謝謝您留下資料,您的預約已轉接真人,請於租車起始日到店繳費領車“ “請收到此回覆後傳各位駕駛的身分證正反面照片” 回覆後轉接真人,請同步告知營業時間
Q請問租車需要什麼資料?A好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎。請注意,消費者需在租車起始日到店繳費領車。原因- The answer does not specify the required information for renting a car as outlined in the sources.
- Judge LLM 認為答案與資料來源有事實出入
-
-
語意近重複(被 Stage C 拒絕) scenario_focused 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:租車登記 875
租車登記 ## 1. 觸發條件 - 當消費者提到:我要租車、我要預約、怎麼預約、可以預約嗎、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,搜集必需資訊後轉真人 ## 2. 資訊收集 ### 預約資料 - 姓名 [text] (必填): 中英文全名 - 手機號碼 [phone] (必填): - 身分證字號 [text] (必填): - 租車起始日期 [text] (必填): - 預計還車日 [text] (必填): - 入住民宿 [text] (必填): - 訂房人姓名 [text] (必填): 中英文全名 - 訂房人手機號碼 [text] (必填): ## 4. 回覆規則 - 第一步:需求接收歡迎 當消費者提到:我要租車、我要預約、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,先主動回覆以下文案: "好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎" 第二步:車數確認 如果消費者回覆幾台車,就先跟對方收多少人的基本資料包含:姓名、手機號碼、身分證字號 例如:消費者三台車,就要搜集三個人的資料,人數不可以少於車輛數 第三步:基本資料資料驗證 所有資料缺一不可,以下為部份項目格式限制,若不正確一定讓消費者更正對才可以: 1.手機號碼:09開頭,共10位數字 2.身分證字號:1個英文字母加上9個阿拉伯數字 第四步:其餘資訊搜集、驗證 當基本資料都搜集完畢後,在搜集以下資料,並確認格式都正確且內容都有給完整,缺一不可,格式不對就請消費者再次確認、提供 1.租車起始日期:民國年/月/日 2.預計還車日期:民國年/月/日 3.入住民宿 4.訂房人姓名:中英文全名 5.訂房人手機:09開頭,共10碼 第五步:資料統整 把所有要騎車的人的基本資料+其餘資料彙整成一個文字訊息,回傳讓消費者確認 第六步:轉接真人 請統一回覆以下文案: “謝謝您留下資料,您的預約已轉接真人,請於租車起始日到店繳費領車“ “請收到此回覆後傳各位駕駛的身分證正反面照片” 回覆後轉接真人,請同步告知營業時間
Q租車時需要在什麼時候到店繳費領車?A租車起始日需要到店繳費及領車。原因- semantic duplicate of "為什麼我要租車時,起始日一定要到店繳費領車?" (cosine=0.809 ≥ 0.8)
-
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:租車登記 875
租車登記 ## 1. 觸發條件 - 當消費者提到:我要租車、我要預約、怎麼預約、可以預約嗎、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,搜集必需資訊後轉真人 ## 2. 資訊收集 ### 預約資料 - 姓名 [text] (必填): 中英文全名 - 手機號碼 [phone] (必填): - 身分證字號 [text] (必填): - 租車起始日期 [text] (必填): - 預計還車日 [text] (必填): - 入住民宿 [text] (必填): - 訂房人姓名 [text] (必填): 中英文全名 - 訂房人手機號碼 [text] (必填): ## 4. 回覆規則 - 第一步:需求接收歡迎 當消費者提到:我要租車、我要預約、怎麼租車、可以先留車嗎、團體租車、個人租車等情境時,先主動回覆以下文案: "好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎" 第二步:車數確認 如果消費者回覆幾台車,就先跟對方收多少人的基本資料包含:姓名、手機號碼、身分證字號 例如:消費者三台車,就要搜集三個人的資料,人數不可以少於車輛數 第三步:基本資料資料驗證 所有資料缺一不可,以下為部份項目格式限制,若不正確一定讓消費者更正對才可以: 1.手機號碼:09開頭,共10位數字 2.身分證字號:1個英文字母加上9個阿拉伯數字 第四步:其餘資訊搜集、驗證 當基本資料都搜集完畢後,在搜集以下資料,並確認格式都正確且內容都有給完整,缺一不可,格式不對就請消費者再次確認、提供 1.租車起始日期:民國年/月/日 2.預計還車日期:民國年/月/日 3.入住民宿 4.訂房人姓名:中英文全名 5.訂房人手機:09開頭,共10碼 第五步:資料統整 把所有要騎車的人的基本資料+其餘資料彙整成一個文字訊息,回傳讓消費者確認 第六步:轉接真人 請統一回覆以下文案: “謝謝您留下資料,您的預約已轉接真人,請於租車起始日到店繳費領車“ “請收到此回覆後傳各位駕駛的身分證正反面照片” 回覆後轉接真人,請同步告知營業時間
Q我想要租車,請問接下來的流程是怎麼樣的?A好的,這邊幫您登記租車預約,方便先讓我們確認要租幾台車嗎? -
-
已寫入 EvalSuite scenario_focused來源素材(點擊查看完整內容)
-
• 對話流程:訂單查詢 874
訂單查詢 ## 1. 觸發條件 - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info). 訂單查詢的 Agent 情景 ## 3. API 工具 1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊 ## 4. 回覆規則 - Provide clear and concise answers based on order search results from tool messages - If multiple relevant orders found, combine them logically - If no relevant order found, acknowledge and offer to check with customer service
Q我的訂單查詢怎麼找不到相關的紀錄?A如果系統沒有找到相關的訂單紀錄,我會建議你聯繫客服以進一步確認。 -