產出 #425

env=production · YesOnline AI 小幫手 (e4fd0e56-e047-4865-b8e3-9a33fc26855b) · eval_kind=scenario_funnel

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
6 / 8
總成本
$0.0283
Tokens
↑193067 / ↓5835
MISSED
2 個 scenario 未被任何 case 涵蓋：7161, 7337。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-e4fd0e56-r1-053959751。
案例明細（27 筆 — 含已寫入、被拒、retry 軌跡）
  • Judge LLM 拒絕 early_return 第 3 次嘗試
    Q
    你們今天的天氣怎麼樣?
    A
    這個問題不在我服務範圍內。
    原因
    • The question is not answerable as there are no sources provided.
  • Judge LLM 拒絕 early_return
    Q
    天氣最近怎麼樣啊?
    A
    這個問題不在我服務範圍內。
    原因
    • No sources provided to answer the question.
    • Judge LLM 認為這題從資料來源無法答出來
  • Judge LLM 拒絕 early_return 第 2 次嘗試
    Q
    今天天氣怎麼樣啊
    A
    您好，我是客服 AI，很高興為您服務。
    原因
    • The question is not answerable as there are no sources provided.
    • The answer does not address the question about the weather.
    • Judge LLM 認為答案與資料來源有事實出入
    • Judge LLM 信心度只有 0%（門檻 60%）—— 對「答案是否正確」的判斷不夠確定
  • Judge LLM 拒絕 early_return 第 3 次嘗試
    Q
    你們的客服人員會帶什麼午餐啊？
    A
    這個問題不在我服務範圍內。
    原因
    • The question is not answerable as there are no sources provided.
  • 語意近重複（被 Stage C 拒絕） scenario_focused
    來源素材（點擊查看完整內容）
    • • 對話流程：課程費用說明 7334 
      課程費用說明

## 1. 觸發條件
- 使用者詢問與價格相關問題，包含但不限於：多少錢、費用、價格、一堂多少、怎麼收費

【流程延續識別】
當對話歷史中助理已進入資料收集階段（收集姓名、手機、LINE ID），
且用戶的回應為以下任一類型時，優先判定為此情境的流程延續，不得中斷：
- 提供或補充資料（姓名、手機號碼、LINE ID）
- 對助理確認語句給出肯定回應，包含但不限於：
  好、嗯、嗯嗯、對、是的、沒錯、可以、謝謝、好的、恩
- 語意含糊但上下文明確處於確認資料階段

判定條件：
助理前一輪已回傳「資料條列確認」內容，且用戶回應帶有肯定或禮貌語氣
→ 強制延續此情境流程，執行第八步轉真人

## 2. 資訊收集
### 顧客資訊
- 姓名 [text] (必填): 
- 手機 [phone]: 
- LINE ID [text]: 

## 3. API 工具
1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識

## 4. 回覆規則
- Intent:
回覆價格詢問並引導蒐集手機、LINE ID，完成資料確認後轉入顧問諮詢預約。

Trigger:
使用者詢問價格相關：多少錢／費用／價格／一堂多少／怎麼收費（含同義問法）。

Knowledge_Source:

FAQ資料庫（透過 search_knowledges 查詢）

Tool_Usage:

使用工具：search_knowledges

調用時機：僅當使用者詢問題時，可先確認search_knowledges內是否有關聯資料。

使用限制：必須以工具回傳結果為唯一可信資訊來源，不得自行編造或延伸未提供之內容。

Required_Data:

手機

LINE ID

Conversation_Flow:

回覆價格政策：
「課程費用會依堂數與方案不同，會由顧問提供詳細報價。」

引導體驗與方案：
「可以幫你安排體驗課，顧問也會幫你算最適合的方案。」

蒐集資料（依序詢問缺漏項）：

3.1 手機

3.2 LINE ID

資料確認：

當資料（手機、LINE ID）蒐集完畢後，將資料回傳給使用者進行最終確認。

轉真人流程：

觸發條件： 使用者確認資料無誤。

固定回覆（不可修改）： 「謝謝您的資料，接下來會轉達給顧問、真人專員協助您後續安排。」

後續動作： 轉接真人流程並轉交顧問。
    • • 知識：【科技業英文面試】 有科技業英文面試課程嗎？科技業面試英文怎麼準備？可以幫忙修改英文履歷嗎？有模擬外商面試嗎？英文面試怎麼回答問題？薪資談判英文怎麼說？ know_323718 
      Q: 【科技業英文面試】
有科技業英文面試課程嗎？科技業面試英文怎麼準備？可以幫忙修改英文履歷嗎？有模擬外商面試嗎？英文面試怎麼回答問題？薪資談判英文怎麼說？
A: 【科技業英文面試】
【是否提供】
有的，我們提供科技業與外商求職導向的英文面試訓練課程。

【課程內容】
涵蓋完整求職流程：
- 英文履歷與求職文件優化（履歷、LinkedIn、GitHub、Cover Letter）
- 面試回答訓練（行為題、技術題、STAR架構）
- 模擬面試與即時回饋
- 薪資談判與Offer比較

【面試訓練】
- 行為面試（Behavioral Interview）
- 技術面試表達
- 高壓與刁鑽問題應對
- HR 電話篩選流程

【實戰練習】
- 全英文模擬面試
- 模擬外商與科技公司情境
- 即時回饋修正表達與反應能力

【能力強化】
- 將專業經驗轉化為英文表達
- 強化邏輯敘事與說服力
- 提升面試穩定度與臨場反應

【延伸應用】
- 薪資談判與職場溝通（會議、Email、Code Review等）
- 協助銜接外商與科技業工作環境

【價格與報名】
課程費用會依求職目標與準備程度進行客製化規劃，
需由顧問評估後提供報價。

如需了解課程方案與費用，這裡幫您轉接顧問取得進一步資訊。
    • • 知識：【PTE英文】你們有PTE課程嗎？／PTE適合留學還是移民？／PTE要怎麼準備口說和寫作？／PTE有題型訓練嗎？／PTE跟雅思差在哪？ know_323715 
      Q: 【PTE英文】你們有PTE課程嗎？／PTE適合留學還是移民？／PTE要怎麼準備口說和寫作？／PTE有題型訓練嗎？／PTE跟雅思差在哪？
A: 【PTE Academic 課程】

【是否提供】
有的，我們提供專為 PTE Academic 考試設計的課程。

【課程內容】
課程包含：
- 聽、說、讀、寫整體能力訓練
- Describe Image（口說圖表題）
- Essay 寫作訓練
- Paraphrasing（句型轉換與改寫）
- 文章組織與邏輯架構
- 模擬考與即時回饋

【語言能力訓練】
重點強化：
- 詞彙與語意（搭配詞、慣用語、片語動詞、多義詞）
- 文法結構（被動語態、關係子句、條件句等）
- 句型轉換與進階表達能力
→ 降低語法錯誤，提升寫作與口說準確度

【學習方式】
- 一對一線上教學
- 全英文沉浸式環境
- 採「理解 → 應用 → 即時修正」學習流程
- 技能整合教學（Vocabulary / Grammar / Reading / Writing / Speaking）

【適合對象】
- 有留學申請需求者
- 有移民語言考試需求者
- 想在短期內提升英語能力與分數者

【課程目標】
- 提升 PTE 聽、說、讀、寫整體能力
- 強化語言整合輸出能力與考試表現
- 提升時間壓力下的答題穩定度

【能力強化】
- 提升口說流暢度與反應速度
- 強化寫作邏輯與表達結構
- 增強語言組織能力與輸出完整度

【價格與報名】
課程費用會依學習目標與程度進行客製化規劃，
需由顧問評估後提供報價。

如需了解課程方案與費用，這裡幫您轉接顧問取得進一步資訊。
    Q
    請問這些課程的費用是多少？
    A
    課程費用會依堂數與方案不同，會由顧問提供詳細報價。如果您需要，我可以幫您安排體驗課，並蒐集一些資料來為您安排。
    原因
    • semantic duplicate of "請問課程費用是多少？" (cosine=0.856 ≥ 0.8)
  • 已寫入 EvalSuite scenario_focused 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 對話流程：課程費用說明 7334 
      課程費用說明

## 1. 觸發條件
- 使用者詢問與價格相關問題，包含但不限於：多少錢、費用、價格、一堂多少、怎麼收費

【流程延續識別】
當對話歷史中助理已進入資料收集階段（收集姓名、手機、LINE ID），
且用戶的回應為以下任一類型時，優先判定為此情境的流程延續，不得中斷：
- 提供或補充資料（姓名、手機號碼、LINE ID）
- 對助理確認語句給出肯定回應，包含但不限於：
  好、嗯、嗯嗯、對、是的、沒錯、可以、謝謝、好的、恩
- 語意含糊但上下文明確處於確認資料階段

判定條件：
助理前一輪已回傳「資料條列確認」內容，且用戶回應帶有肯定或禮貌語氣
→ 強制延續此情境流程，執行第八步轉真人

## 2. 資訊收集
### 顧客資訊
- 姓名 [text] (必填): 
- 手機 [phone]: 
- LINE ID [text]: 

## 3. API 工具
1. search_knowledges — 從知識庫中搜尋與使用者查詢相關的知識

## 4. 回覆規則
- Intent:
回覆價格詢問並引導蒐集手機、LINE ID，完成資料確認後轉入顧問諮詢預約。

Trigger:
使用者詢問價格相關：多少錢／費用／價格／一堂多少／怎麼收費（含同義問法）。

Knowledge_Source:

FAQ資料庫（透過 search_knowledges 查詢）

Tool_Usage:

使用工具：search_knowledges

調用時機：僅當使用者詢問題時，可先確認search_knowledges內是否有關聯資料。

使用限制：必須以工具回傳結果為唯一可信資訊來源，不得自行編造或延伸未提供之內容。

Required_Data:

手機

LINE ID

Conversation_Flow:

回覆價格政策：
「課程費用會依堂數與方案不同，會由顧問提供詳細報價。」

引導體驗與方案：
「可以幫你安排體驗課，顧問也會幫你算最適合的方案。」

蒐集資料（依序詢問缺漏項）：

3.1 手機

3.2 LINE ID

資料確認：

當資料（手機、LINE ID）蒐集完畢後，將資料回傳給使用者進行最終確認。

轉真人流程：

觸發條件： 使用者確認資料無誤。

固定回覆（不可修改）： 「謝謝您的資料，接下來會轉達給顧問、真人專員協助您後續安排。」

後續動作： 轉接真人流程並轉交顧問。
    • • 知識：【科技業英文面試】 有科技業英文面試課程嗎？科技業面試英文怎麼準備？可以幫忙修改英文履歷嗎？有模擬外商面試嗎？英文面試怎麼回答問題？薪資談判英文怎麼說？ know_323718 
      Q: 【科技業英文面試】
有科技業英文面試課程嗎？科技業面試英文怎麼準備？可以幫忙修改英文履歷嗎？有模擬外商面試嗎？英文面試怎麼回答問題？薪資談判英文怎麼說？
A: 【科技業英文面試】
【是否提供】
有的，我們提供科技業與外商求職導向的英文面試訓練課程。

【課程內容】
涵蓋完整求職流程：
- 英文履歷與求職文件優化（履歷、LinkedIn、GitHub、Cover Letter）
- 面試回答訓練（行為題、技術題、STAR架構）
- 模擬面試與即時回饋
- 薪資談判與Offer比較

【面試訓練】
- 行為面試（Behavioral Interview）
- 技術面試表達
- 高壓與刁鑽問題應對
- HR 電話篩選流程

【實戰練習】
- 全英文模擬面試
- 模擬外商與科技公司情境
- 即時回饋修正表達與反應能力

【能力強化】
- 將專業經驗轉化為英文表達
- 強化邏輯敘事與說服力
- 提升面試穩定度與臨場反應

【延伸應用】
- 薪資談判與職場溝通（會議、Email、Code Review等）
- 協助銜接外商與科技業工作環境

【價格與報名】
課程費用會依求職目標與準備程度進行客製化規劃，
需由顧問評估後提供報價。

如需了解課程方案與費用，這裡幫您轉接顧問取得進一步資訊。
    • • 知識：【PTE英文】你們有PTE課程嗎？／PTE適合留學還是移民？／PTE要怎麼準備口說和寫作？／PTE有題型訓練嗎？／PTE跟雅思差在哪？ know_323715 
      Q: 【PTE英文】你們有PTE課程嗎？／PTE適合留學還是移民？／PTE要怎麼準備口說和寫作？／PTE有題型訓練嗎？／PTE跟雅思差在哪？
A: 【PTE Academic 課程】

【是否提供】
有的，我們提供專為 PTE Academic 考試設計的課程。

【課程內容】
課程包含：
- 聽、說、讀、寫整體能力訓練
- Describe Image（口說圖表題）
- Essay 寫作訓練
- Paraphrasing（句型轉換與改寫）
- 文章組織與邏輯架構
- 模擬考與即時回饋

【語言能力訓練】
重點強化：
- 詞彙與語意（搭配詞、慣用語、片語動詞、多義詞）
- 文法結構（被動語態、關係子句、條件句等）
- 句型轉換與進階表達能力
→ 降低語法錯誤，提升寫作與口說準確度

【學習方式】
- 一對一線上教學
- 全英文沉浸式環境
- 採「理解 → 應用 → 即時修正」學習流程
- 技能整合教學（Vocabulary / Grammar / Reading / Writing / Speaking）

【適合對象】
- 有留學申請需求者
- 有移民語言考試需求者
- 想在短期內提升英語能力與分數者

【課程目標】
- 提升 PTE 聽、說、讀、寫整體能力
- 強化語言整合輸出能力與考試表現
- 提升時間壓力下的答題穩定度

【能力強化】
- 提升口說流暢度與反應速度
- 強化寫作邏輯與表達結構
- 增強語言組織能力與輸出完整度

【價格與報名】
課程費用會依學習目標與程度進行客製化規劃，
需由顧問評估後提供報價。

如需了解課程方案與費用，這裡幫您轉接顧問取得進一步資訊。
    Q
    請問科技業英文面試課程的費用是多少呢？
    A
    課程費用會依求職目標與準備程度進行客製化規劃，需要由顧問評估後提供報價。如需了解課程方案與費用，我可以幫您轉接顧問取得進一步資訊。
  • 已寫入 EvalSuite scenario_focused
    來源素材（點擊查看完整內容）
    • • 對話流程：請假轉真人 7482 
      請假轉真人

## 1. 觸發條件
- 【觸發條件】
當消費者表達「請假、無法上課、不能出席、缺課、臨時有事、時間衝突、身體不適、改時間、調整課程」等無法或不便參與課程之意圖時，即觸發。

資料輸入識別：
當用戶直接輸入此情境所需資料時，應考慮此情境。

【流程延續識別】
當對話歷史中助理已進入資料收集階段（姓名、班級、請假日期），
且用戶的回應為以下任一類型時，優先判定為此情境的流程延續，不得中斷：
- 提供或補充資料（姓名、班級、請假日期）
- 對助理確認語句給出肯定回應，包含但不限於：
  好、嗯、嗯嗯、對、是的、沒錯、可以、謝謝、好的、恩
- 語意含糊但上下文明確處於確認資料階段

判定條件：
助理前一輪已回傳「資料條列確認」內容，且用戶回應帶有肯定或禮貌語氣
→ 強制延續此情境流程，執行第四步轉真人

## 4. 回覆規則
- Intent:
在學生臨時請假時收集必要資訊並轉接真人處理

Trigger:

使用者表示要請假
使用者提及臨時無法到課
使用者詢問請假流程

Required_Data:

姓名
班級
請假日期
請假原因
聯絡電話

Conversation_Flow:

1.詢問使用者姓名
詢問使用者班級
詢問請假日期
詢問請假原因
詢問聯絡電話
2.確認所有資訊已填寫完成
3.回覆（不可修改）：「感謝您的資訊，請假尚未完成，目前已轉接真人確認，謝謝您」
4.執行轉接真人流程

Tool_Usage:

轉接系統：於資訊收集完成後使用
所有最終處理結果以工具回傳為準

Guardrails:
【適用範圍】
適用於學生臨時請假情境之基本資訊收集與轉接流程

【資訊限制】
僅收集請假必要資料，不主動要求額外個資

【例外原則】
若使用者無法提供完整資訊，仍可先轉接真人並標註缺漏資料

【流程限制】
必須完成基本資訊詢問後才可進行轉接，除非使用者拒絕或無法配合

【輸出限制】
所有回應需為對話格式，不得輸出內部流程或系統說明

Fallback:
若使用者未回應或拒絕提供資訊，直接轉接真人並說明資訊未完整

Output_Control:
語氣簡潔、禮貌、清楚，引導式提問

Client_Customization:
無
    Q
    我臨時有事，想請假，流程是什麼?
    A
    為了幫您處理請假，我需要收集一些基本資訊，包括您的姓名、班級、請假日期、請假原因和聯絡電話。請您提供這些資訊。謝謝！