產出 #498
env=production · 婦潔 VIGILL(香港) (32b6d1e5-f896-4b15-924a-3f41a91cd4ea) · eval_kind=mixed_qa
已完成
10 / 10
10
4 / 11
$0.0111
↑74891 / ↓3443
MISSED
7 個 scenario 未被任何 case 涵蓋:
2871, 2920, 2918, 2870, 2922, 2919, 2917。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-32b6d1e5-r1-053959996。
案例明細(12 筆 — 含已寫入、被拒、retry 軌跡)
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 知識:請問產品可以寄送到澳門嗎? know_289921
Q: 請問產品可以寄送到澳門嗎? A: Hello 可以啊~ 喺付款頁面中嘅送貨方式選擇返「澳門」並填寫有關資料就可以~
Q產品可以寄送到澳門嗎A可以啊~ 喺付款頁面中嘅送貨方式選擇返「澳門」並填寫有關資料就可以~ -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 工具:transfer_to_human_agent 2
transfer_to_human_agent (transfer_to_human_agent) Transfer to human customer service agent. Use when: 1. User explicitly requests human agent 2. AI cannot answer user's question repeatedly 3. User shows strong negative emotions 4. Issue is beyond AI capability
Q要轉接到人類客服嗎A可以轉接到人類客服代理,當你明確要求時。 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 對話流程:出貨前訂單修改/取消 2925
出貨前訂單修改/取消 ## 1. 觸發條件 - 當使用者提及:「想修改訂單內容、想取消訂單其中一樣商品、想取消訂單、想改地址 / 收件人、重複下單怎麼辦」觸發此回覆規則。 ## 2. 資訊收集 ### 顧客需求確認 - 請簡述您的狀況 [string] (必填): - 修改訂單內容(商品、數量、地址、收件人) - 取消整筆訂單 - 取消訂單中的部分商品 - 重複下單需協助處理 ### 訂單資料 - 訂單編號 [number] (必填): SHOPLINE:17位數字 91App:TGXXXXXXXXXXXX - Email [email] (必填): ## 3. API 工具 1. shopline_search_orders ## 4. 回覆規則 - 當使用者提及:「想修改訂單內容、想取消訂單其中一樣商品、想取消訂單、想改地址 / 收件人、重複下單怎麼辦」觸發此回覆規則。 **回覆規則** ### Step 1|確認需求類型 - 確認顧客需求是否屬於以下情境之一: - 修改訂單內容(商品、數量、地址、收件人) - 取消整筆訂單 - 取消訂單中的部分商品 - 重複下單需協助處理 - **AI 不直接進行任何訂單異動操作** ### Step 2|說明處理原則(AI 可回覆) 可以協助您確認與處理 😊 由於 **訂單修改與取消需由人工後台操作**, (91APP無法修改訂單) AI 目前無法直接為您更改或取消訂單內容, 將確認資訊後協助您轉由真人客服進一步確認。 📌 **特別提醒** - 訂單一旦進入出貨流程,可能無法修改或取消 - 是否可協助調整,需依訂單實際狀態為準 ### Step 3|收集必要訂單資訊 請您協助提供以下資訊,以便客服人員為您查詢與處理: - 訂單編號 - 手機號碼 若您是 **重複下單** 的情況, 也請一併告知 **欲保留或取消的訂單編號**(若已知)。 ** AI 透過 [shopline_serach_odedrs」 查詢訂單後,進到 Step4 ### Step 4|轉真人客服處理 - 彙整顧客提供的資訊: - 訂單編號: - Email: - 訂單狀態: - 商品資料: - 送貨狀態: - 欲修改或取消的需求說明: - 轉交真人客服協助確認與處理 📌 將於 **上班時間** 由客服人員查詢訂單狀態後回覆您, 實際是否可修改或取消,仍需依訂單進度評估,敬請見諒與體諒。
Q我想取消我的訂單,怎麼辦?A可以協助您確認與處理 😊 不過由於訂單修改與取消需由人工後台操作,AI 目前無法直接為您更改或取消訂單內容。請您提供訂單編號和手機號碼,以便客服人員為您查詢與處理。記得,訂單一旦進入出貨流程,可能無法修改或取消,實際是否可處理需依訂單狀態為準。 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 知識:唔係免運費嗎?點解順豐收我運費? know_289926
Q: 唔係免運費嗎?點解順豐收我運費? A: Hello 多謝你嘅落單!訂單本身係免運費的。因為呢張單已經到達自取點超過24小時,所以順豐收取超時未取件費。 相關費用係由順豐就逾時存放所收取,並非運費,多謝理解。
Q順豐收的超時未取件費是什麼?A訂單本身是免運費的,但如果超過24小時未取件,順豐會收取超時未取件費。這個費用是由順豐收取的,並不是運費。 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 知識:Hello多謝你嘅落單!你可以將正確嘅收件地址send俾我哋,我哋會喺後台幫你更新有關資料🥰 know_289923
Q: Hello多謝你嘅落單!你可以將正確嘅收件地址send俾我哋,我哋會喺後台幫你更新有關資料🥰 A: Hello多謝你嘅落單!你可以將正確嘅電話send俾我哋,我哋會喺後台幫你更新有關資料。
Q可以把正確的電話給你們嗎AHello多謝你嘅落單!你可以將正確嘅電話send俾我哋,我哋會喺後台幫你更新有關資料。🥰 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 對話流程:商品瑕疵 2921
商品瑕疵 ## 1. 觸發條件 - 當使用者提及:「商品瑕疵、商品收到後有問題、商品壞掉、商品破掉、商品收到後髒髒的」觸發此回覆規則。 ## 2. 資訊收集 ### 訂單資料 - 訂單編號 [number] (必填): SHOPLINE:17位數字 91App:TGXXXXXXXXXXXX - 手機號碼 [phone] (必填): ### 瑕疵資料收集 - 瑕疵照片 [string] (必填): 請提供 2-3 張細節照片 ## 4. 回覆規則 - 當使用者提及:「商品瑕疵、商品收到後有問題、商品壞掉、商品破掉、商品收到後髒髒的」觸發此回覆規則。 **回覆規則:** 1. 先向顧客表示遺憾讓他遇到這種狀況,並先說明注意事項「 - 瑕疵受理為收到商品 7 天內,請留意是否在期限內 - 以下情況非瑕疵範圍:線頭、脫線、輕微汙點、1–1.5cm 尺寸誤差、新品氣味、微色差、印染不均、0.5cm 內印染小斑點。 如您確定要申請瑕疵處理,請您回覆確認申請瑕疵處理,我們將進一步協助您。」 2. 接著以條列式跟顧客確認以下:「 - 訂單編號: - Email: 」 3. 每個資料都需收集,收集完成後,跟顧客說明以下並轉真人「 感謝您耐心並詳細提供相關資料,如確認為非人為瑕疵後,會協助安排退貨程序。」 4.告知客人接下來即將轉真人服務,務必單獨發出這句回覆:「我們已為您轉真人,真人客服將協助您,請稍侯」。
Q收到的商品有瑕疵要怎麼辦?A很抱歉讓您遇到這種狀況。首先請確認您的商品是否在收到後 7 天內。如果確定要申請瑕疵處理,請提供以下資訊: - 訂單編號: - 手機號碼: - 瑕疵照片:請提供 2-3 張細節照片。 提供資料後會協助安排退貨程序。 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 知識:想改其他付款方式 know_289925
Q: 想改其他付款方式 A: Hello多謝你嘅落單!我可以幫你取消訂單,然後你可以喺網上重新落單時選擇其他付款工具,或直接以轉數快完成付款。 轉數快: 渣打銀行(香港)有限公司 (Bank Code: 003) 帳戶名稱:ALVONA LIMITED 帳戶號碼:47411209695 完成付款後可以將付款記錄send俾我哋,我哋就幫你更新訂單狀態。
Q付款後怎麼更新訂單狀態?A完成付款後可以將付款記錄發送給我哋,我哋就幫你更新訂單狀態。 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 對話流程:優惠活動 2924
優惠活動 ## 1. 觸發條件 - 當使用者提及:「目前官網有什麼優惠?有優惠嗎?優惠代碼怎麼使用?優惠卷怎麼使用?我想要優惠代碼、優惠卷?有免運優惠嗎?門市有優惠嗎?門市有折扣嗎?有折扣嗎?」觸發此回覆規則。 *此腳本需另外建立規格表(此說明勿上傳後台) ## 2. 資訊收集 ### 諮詢方向確認 - 通路 [string]: 請問想要了解哪個通路的優惠呢? ## 3. API 工具 1. search_unified ## 4. 回覆規則 - 當使用者提及:「目前官網有什麼優惠?有優惠嗎?優惠代碼怎麼使用?優惠卷怎麼使用?我想要優惠代碼、優惠卷?有免運優惠嗎?門市有優惠嗎?門市有折扣嗎?有折扣嗎?」觸發此回覆規則。 **回覆規則** **最高原則: a. 具體了解顧客想要詢問的優惠是哪一個通路?官網、實體店(門市)、還是什麼通路後,參考 tool [其他知識_優惠活動] 資料回覆給顧客,免運是官網限定的優惠活動則不列如此問題規範。 b. 如顧客回答沒有限定通路,或者只是想要單純了解有什麼優惠活動時,請優先推薦「官網」目前的優惠活動。** 1. 請問您是詢問官網還是實體門市的優惠活動呢? 2. 了解詢問通路後,透過 tool [其他知識_優惠活動] 提供說明給顧客 3. 最終都建議顧客加入會員消費累積會員金額,可以在未來得到更多的會員優惠。 4. 官網優惠可參考: https://www.vigill.com.tw/v2/Promotion/List https://www.vigill.com.tw/v2/ECoupon/List https://www.vigill.com.tw/page/membership2026
Q會員加入後有什麼優惠嗎?A加入會員後可以累積會員金額,未來能獲得更多的會員優惠。 -
-
已寫入 EvalSuite 直接問答來源素材(點擊查看完整內容)
-
• 知識:請問可以落單後自行安排快遞嗎? know_289927
Q: 請問可以落單後自行安排快遞嗎? A: Hello 都可以啊~ 你選擇葵芳倉自取. 然後落單後再whatsapp 同我地講番就可以。
Q落單後可以自行安排快遞嗎?A可以的,你可以選擇葵芳倉自取,然後落單後再透過 WhatsApp 告訴我們即可。 -
-
Judge LLM 拒絕 直接問答來源素材(點擊查看完整內容)
-
• 對話流程:尺寸查詢確認 2923
尺寸查詢確認 ## 1. 觸發條件 - 當使用者提到:「請問如何挑尺寸?尺寸建議?怎麼找上衣尺寸?怎麼找下衣尺寸?尺寸推薦?尺寸表?尺寸分享?尺寸說明?胸圍尺寸?胸罩尺寸?XL 尺寸推薦?棉花糖推薦?棉花糖尺寸?」觸發此回覆規則 *此腳本需另外建立規格表(此說明勿上傳後台) ## 3. API 工具 1. search_unified ## 4. 回覆規則 - 當使用者提到:「請問如何挑尺寸?尺寸建議?怎麼找上衣尺寸?怎麼找下衣尺寸?尺寸推薦?尺寸表?尺寸分享?尺寸說明?胸圍尺寸?胸罩尺寸?XL 尺寸推薦?棉花糖推薦?棉花糖尺寸?」 1. 與使用者確認他想要得到什麼幫助,請跟他說「請問您想要我們幫您做推薦,還是直接提供給您尺寸表呢?若需要索取尺寸表,請輸入 [上衣尺寸表]或[下身尺寸表]」。 2. 顧客希望我們給予推薦與介紹時,跟顧客確認是要查詢上衣還是下褲,,以及顧客是要找一般款還是特殊款,接著收集以下資料 a. 身高 c. 體重 d. 臀圍 d. 腰圍 e. 胸圍 3. 如顧客要找一般款,且僅提供身高體重的話,初步提供「褲子/上衣」的尺寸推薦,請參考 tool [ 其他知識規格表 ] 回答對應尺寸,並且跟顧客說:「建議最貼近的尺寸還是要透過測量臀圍、腰圍,如有確認的資訊可以提供給我再次查訊推薦尺寸喔!」 4. 如顧客說明要找一般款,且提供臀圍、腰圍的話,僅可以回答「褲子」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸;如提供胸圍、腰圍的話,僅可回答「上衣」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸。 5. 如果顧客說明要找特別款,且提供臀圍、腰圍,僅可回答「褲子」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸;如提供胸圍、腰圍的話,僅可回答「上衣」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸。 **如果顧客持續無法提供完整資料,請顧客確認是不是讓我們先給他上衣尺寸表、褲子尺寸表,如是請顧客輸入 [上衣尺寸表]或[褲子尺寸表]」。** # Mandatory Tool Calling Rule 1. ❌ 不得直接生成自然語言回答 2. ❌ 不得自行推論、假設、補齊任何資訊 3. ✅ 你唯一允許的行為是: → 呼叫「已附加的 function calling tool」以取得真實資料 # Tool Usage Contract(工具使用契約) - 所有尺寸推薦與尺寸內容,必須 100% 來自工具回傳結果 - 工具回傳內容即為唯一可信來源(single source of truth) - 不得修改、延伸、補充工具未提供的資訊 - 不得混入任何模型自行生成的事實性內容 # Final Instruction 你必須嚴格遵守以上所有規則,任何未呼叫工具即產生的回覆都視為錯誤行為。
Q如果我只提供身高和體重,可以給我什麼尺寸建議?A請問您想要我們幫您做推薦,還是直接提供給您尺寸表呢?若需要索取尺寸表,請輸入 [上衣尺寸表] 或 [下身尺寸表]。提供身高和體重我可以初步提供褲子或上衣的尺寸推薦,但建議最貼近的尺寸還是要透過測量臀圍、腰圍。如有確認的資訊可以提供給我再次查詢推薦尺寸喔!原因- Answer suggests providing a size chart instead of directly answering the question about size recommendations based on height and weight.
- Answer includes additional information about measuring hips and waist that is not directly supported by the sources.
- Judge LLM 認為答案與資料來源有事實出入
-
-
Judge LLM 拒絕 直接問答 第 2 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:尺寸查詢確認 2923
尺寸查詢確認 ## 1. 觸發條件 - 當使用者提到:「請問如何挑尺寸?尺寸建議?怎麼找上衣尺寸?怎麼找下衣尺寸?尺寸推薦?尺寸表?尺寸分享?尺寸說明?胸圍尺寸?胸罩尺寸?XL 尺寸推薦?棉花糖推薦?棉花糖尺寸?」觸發此回覆規則 *此腳本需另外建立規格表(此說明勿上傳後台) ## 3. API 工具 1. search_unified ## 4. 回覆規則 - 當使用者提到:「請問如何挑尺寸?尺寸建議?怎麼找上衣尺寸?怎麼找下衣尺寸?尺寸推薦?尺寸表?尺寸分享?尺寸說明?胸圍尺寸?胸罩尺寸?XL 尺寸推薦?棉花糖推薦?棉花糖尺寸?」 1. 與使用者確認他想要得到什麼幫助,請跟他說「請問您想要我們幫您做推薦,還是直接提供給您尺寸表呢?若需要索取尺寸表,請輸入 [上衣尺寸表]或[下身尺寸表]」。 2. 顧客希望我們給予推薦與介紹時,跟顧客確認是要查詢上衣還是下褲,,以及顧客是要找一般款還是特殊款,接著收集以下資料 a. 身高 c. 體重 d. 臀圍 d. 腰圍 e. 胸圍 3. 如顧客要找一般款,且僅提供身高體重的話,初步提供「褲子/上衣」的尺寸推薦,請參考 tool [ 其他知識規格表 ] 回答對應尺寸,並且跟顧客說:「建議最貼近的尺寸還是要透過測量臀圍、腰圍,如有確認的資訊可以提供給我再次查訊推薦尺寸喔!」 4. 如顧客說明要找一般款,且提供臀圍、腰圍的話,僅可以回答「褲子」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸;如提供胸圍、腰圍的話,僅可回答「上衣」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸。 5. 如果顧客說明要找特別款,且提供臀圍、腰圍,僅可回答「褲子」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸;如提供胸圍、腰圍的話,僅可回答「上衣」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸。 **如果顧客持續無法提供完整資料,請顧客確認是不是讓我們先給他上衣尺寸表、褲子尺寸表,如是請顧客輸入 [上衣尺寸表]或[褲子尺寸表]」。** # Mandatory Tool Calling Rule 1. ❌ 不得直接生成自然語言回答 2. ❌ 不得自行推論、假設、補齊任何資訊 3. ✅ 你唯一允許的行為是: → 呼叫「已附加的 function calling tool」以取得真實資料 # Tool Usage Contract(工具使用契約) - 所有尺寸推薦與尺寸內容,必須 100% 來自工具回傳結果 - 工具回傳內容即為唯一可信來源(single source of truth) - 不得修改、延伸、補充工具未提供的資訊 - 不得混入任何模型自行生成的事實性內容 # Final Instruction 你必須嚴格遵守以上所有規則,任何未呼叫工具即產生的回覆都視為錯誤行為。
Q身高和體重可以獲得什麼尺寸推薦?A請問您想要我們幫您做推薦,還是直接提供給您尺寸表呢?若需要索取尺寸表,請輸入 [上衣尺寸表]或[下身尺寸表]。原因- The answer does not provide a direct response to the question about size recommendations based on height and weight.
- The answer suggests asking for a size chart instead of providing a size recommendation based on the user's height and weight.
- Judge LLM 認為答案與資料來源有事實出入
-
-
已寫入 EvalSuite 直接問答 第 3 次嘗試來源素材(點擊查看完整內容)
-
• 對話流程:尺寸查詢確認 2923
尺寸查詢確認 ## 1. 觸發條件 - 當使用者提到:「請問如何挑尺寸?尺寸建議?怎麼找上衣尺寸?怎麼找下衣尺寸?尺寸推薦?尺寸表?尺寸分享?尺寸說明?胸圍尺寸?胸罩尺寸?XL 尺寸推薦?棉花糖推薦?棉花糖尺寸?」觸發此回覆規則 *此腳本需另外建立規格表(此說明勿上傳後台) ## 3. API 工具 1. search_unified ## 4. 回覆規則 - 當使用者提到:「請問如何挑尺寸?尺寸建議?怎麼找上衣尺寸?怎麼找下衣尺寸?尺寸推薦?尺寸表?尺寸分享?尺寸說明?胸圍尺寸?胸罩尺寸?XL 尺寸推薦?棉花糖推薦?棉花糖尺寸?」 1. 與使用者確認他想要得到什麼幫助,請跟他說「請問您想要我們幫您做推薦,還是直接提供給您尺寸表呢?若需要索取尺寸表,請輸入 [上衣尺寸表]或[下身尺寸表]」。 2. 顧客希望我們給予推薦與介紹時,跟顧客確認是要查詢上衣還是下褲,,以及顧客是要找一般款還是特殊款,接著收集以下資料 a. 身高 c. 體重 d. 臀圍 d. 腰圍 e. 胸圍 3. 如顧客要找一般款,且僅提供身高體重的話,初步提供「褲子/上衣」的尺寸推薦,請參考 tool [ 其他知識規格表 ] 回答對應尺寸,並且跟顧客說:「建議最貼近的尺寸還是要透過測量臀圍、腰圍,如有確認的資訊可以提供給我再次查訊推薦尺寸喔!」 4. 如顧客說明要找一般款,且提供臀圍、腰圍的話,僅可以回答「褲子」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸;如提供胸圍、腰圍的話,僅可回答「上衣」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸。 5. 如果顧客說明要找特別款,且提供臀圍、腰圍,僅可回答「褲子」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸;如提供胸圍、腰圍的話,僅可回答「上衣」的尺寸推薦,參考 tool [ 其他知識規格表 ] 回答對應的尺寸。 **如果顧客持續無法提供完整資料,請顧客確認是不是讓我們先給他上衣尺寸表、褲子尺寸表,如是請顧客輸入 [上衣尺寸表]或[褲子尺寸表]」。** # Mandatory Tool Calling Rule 1. ❌ 不得直接生成自然語言回答 2. ❌ 不得自行推論、假設、補齊任何資訊 3. ✅ 你唯一允許的行為是: → 呼叫「已附加的 function calling tool」以取得真實資料 # Tool Usage Contract(工具使用契約) - 所有尺寸推薦與尺寸內容,必須 100% 來自工具回傳結果 - 工具回傳內容即為唯一可信來源(single source of truth) - 不得修改、延伸、補充工具未提供的資訊 - 不得混入任何模型自行生成的事實性內容 # Final Instruction 你必須嚴格遵守以上所有規則,任何未呼叫工具即產生的回覆都視為錯誤行為。
Q如果我只提供身高和體重,可以推薦上衣或褲子的尺寸嗎?A建議最貼近的尺寸還是要透過測量臀圍、腰圍,如有確認的資訊可以提供給我再次查詢推薦尺寸喔! -