產出 #471

env=production · 台灣大企業服務 (629c82d9-b20e-4f4a-ae5f-063354cddb81) · eval_kind=mixed_qa

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 3
總成本
$0.0194
Tokens
↑143184 / ↓6153
MISSED
2 個 scenario 未被任何 case 涵蓋：603, 602。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-629c82d9-r1-053959893。
案例明細（28 筆 — 含已寫入、被拒、retry 軌跡）
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：e-Service管理者帳號怎麼簡單開通和登入？ know_53126 
      Q: e-Service管理者帳號怎麼簡單開通和登入？
A: 簡易功能登入後，僅可使用文件下載及其他系統連結功能之簡易功能。
    Q
    簡易功能登入後可以做什麼？
    A
    簡易功能登入後，僅可使用文件下載及其他系統連結功能之簡易功能。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 工具：統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） 20 
      統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） (search_unified)

Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    請問統一搜尋需要生成什麼關鍵字?
    A
    統一搜尋需要為每個地區生成 BM25 關鍵字，並且必須生成 3 個不同的向量查詢。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide reputation or quality rather than a concrete issue.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 工具：統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） 20 
      統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） (search_unified)

Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋需要每個地區生成什麼關鍵字?
    A
    統一搜尋需要每個地區生成 BM25 關鍵字。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide strategies rather than specific, concrete information.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 工具：統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） 20 
      統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） (search_unified)

Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋需要生成每個地區的BM25關鍵字嗎？
    A
    是的，統一搜尋必須為每個地區生成BM25關鍵字。
    原因
    • chat-realism: internal_role_title (The question references 'BM25' and suggests a technical internal role context that a typical customer wouldn't use.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 對話流程：轉接真人客服 601 
      轉接真人客服

## 1. 觸發條件
- 線上客服/轉線上客服
- 在線客服/轉在線客服
- 真人客服/轉真人客服
- 轉真人/找真人
- Direct transfer request
- Emotional escalation
- Resolution failure

轉接真人客服的 Agent 情景

## 4. 回覆規則
- Acknowledge situation
- Return transfer response in specified format
    Q
    轉接真人客服的回覆格式是什麼
    A
    轉接真人客服的回覆必須按照指定的格式返回。
    原因
    • chat-realism: internal_role_title (The question references '真人客服' in a way that suggests an internal understanding of roles, which a typical customer wo...)
  • 其他 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 對話流程：轉接真人客服 601 
      轉接真人客服

## 1. 觸發條件
- 線上客服/轉線上客服
- 在線客服/轉在線客服
- 真人客服/轉真人客服
- 轉真人/找真人
- Direct transfer request
- Emotional escalation
- Resolution failure

轉接真人客服的 Agent 情景

## 4. 回覆規則
- Acknowledge situation
- Return transfer response in specified format
    Q
    轉接真人客服的回覆格式是什麼?
    A
    轉接真人客服的回覆必須按照指定的格式返回。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 對話流程：轉接真人客服 601 
      轉接真人客服

## 1. 觸發條件
- 線上客服/轉線上客服
- 在線客服/轉在線客服
- 真人客服/轉真人客服
- 轉真人/找真人
- Direct transfer request
- Emotional escalation
- Resolution failure

轉接真人客服的 Agent 情景

## 4. 回覆規則
- Acknowledge situation
- Return transfer response in specified format
    Q
    轉接真人客服怎麼回覆?
    A
    轉接真人客服的回覆必須按照指定的格式返回。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：e-Service單次通話明細怎麼申請？ know_53174 
      Q: e-Service單次通話明細怎麼申請？
A: 提供用戶臨時申請通話明細資訊需求，請於服務申請後隔天中午後逕行登入查詢下載。如需取消該筆申請，請於當天進行取消。提供近一年帳單年月之通話明細資訊，每次申請最多提供三個月區間資訊。
    Q
    通話明細資訊提供多久的資料?
    A
    提供近一年帳單年月之通話明細資訊，每次申請最多提供三個月區間資訊。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：AI轉真人客服切換等待時間? know_53314 
      Q: AI轉真人客服切換等待時間?
A: 若企業端客服有宣告/宣讀內容，大約3秒；若無宣告/宣讀內容，大約1秒
    Q
    AI轉真人客服的切換等待時間是多久?
    A
    若企業端客服有宣告/宣讀內容，大約3秒；若無宣告/宣讀內容，大約1秒。
    原因
    • chat-realism: internal_role_title (The question references '客服' in a way that suggests an internal role, which a customer wouldn't typically mention.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：AI轉真人客服切換等待時間? know_53314 
      Q: AI轉真人客服切換等待時間?
A: 若企業端客服有宣告/宣讀內容，大約3秒；若無宣告/宣讀內容，大約1秒
    Q
    AI轉真人客服的等待時間是多久?
    A
    若企業端客服有宣告或宣讀內容，等待時間約為3秒；若無宣告或宣讀內容，約為1秒。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide service quality rather than a specific issue.)
  • 其他 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：AI轉真人客服切換等待時間? know_53314 
      Q: AI轉真人客服切換等待時間?
A: 若企業端客服有宣告/宣讀內容，大約3秒；若無宣告/宣讀內容，大約1秒
    Q
    AI轉真人客服的等待時間是多久?
    A
    若企業端客服有宣告/宣讀內容，大約3秒；若無宣告/宣讀內容，大約1秒。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：碳管理平台是雲端、地端部署，還是兩者皆有？ know_53229 
      Q: 碳管理平台是雲端、地端部署，還是兩者皆有？
A: 我們的平台為雲端架構。
    Q
    請問碳管理平台是雲端架構嗎?
    A
    我們的平台為雲端架構。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：我可以試用資料中心服務嗎？ know_53473 
      Q: 我可以試用資料中心服務嗎？
A: 資料中心服務因涉及機櫃空間、電力配置、網路接取及安全維護等多項專業資源，均需事先建置與專屬規劃，因此無法提供試用方案。不過，我們可安排現場參觀與技術規劃說明，讓您充分了解機房設施與服務水準，並依需求提供客製化解決方案，確保滿足企業長期營運需求。
    Q
    資料中心服務可以試用嗎？
    A
    資料中心服務因涉及機櫃空間、電力配置、網路接取及安全維護等多項專業資源，均需事先建置與專屬規劃，因此無法提供試用方案。不過，我們可安排現場參觀與技術規劃說明，讓您充分了解機房設施與服務水準，並依需求提供客製化解決方案，確保滿足企業長期營運需求。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：ASR 辨識率的計算方式是什麼？ know_53277 
      Q: ASR 辨識率的計算方式是什麼？
A: 我們使用標準化的專用系統進行 ASR（語音辨識）準確率的測試與評估。計算公式為：
辨識率 =（總字數 -（錯字數 + 漏字數 + 多字數））÷ 總字數
    Q
    ASR 辨識率的計算方式是什麼？
    A
    ASR 辨識率的計算公式為：辨識率 =（總字數 -（錯字數 + 漏字數 + 多字數））÷ 總字數。
    原因
    • chat-realism: internal_role_title (The question mentions 'ASR' which suggests a technical or internal context that a typical customer wouldn't reference.)
  • 其他 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：ASR 辨識率的計算方式是什麼？ know_53277 
      Q: ASR 辨識率的計算方式是什麼？
A: 我們使用標準化的專用系統進行 ASR（語音辨識）準確率的測試與評估。計算公式為：
辨識率 =（總字數 -（錯字數 + 漏字數 + 多字數））÷ 總字數
    Q
    ASR 辨識率的計算方式是什麼？
    A
    ASR 辨識率的計算公式為：辨識率 =（總字數 -（錯字數 + 漏字數 + 多字數））÷ 總字數。
    原因
    • duplicate (scenario, question)
  • 其他 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：ASR 辨識率的計算方式是什麼？ know_53277 
      Q: ASR 辨識率的計算方式是什麼？
A: 我們使用標準化的專用系統進行 ASR（語音辨識）準確率的測試與評估。計算公式為：
辨識率 =（總字數 -（錯字數 + 漏字數 + 多字數））÷ 總字數
    Q
    ASR 辨識率的計算方式是什麼？
    A
    ASR 辨識率的計算方式是：辨識率 =（總字數 -（錯字數 + 漏字數 + 多字數））÷ 總字數。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：報價系統可以提供潛在用戶報價單嗎 ? know_53528 
      Q: 報價系統可以提供潛在用戶報價單嗎 ?
A: 表列客戶管理規範，新增Booking 客戶需經由經規窗口審核同意後，才能成為表列客戶.營管無此權限可協助新增。
    Q
    報價系統可以提供報價單嗎
    A
    表列客戶管理規範，新增Booking 客戶需經由經規窗口審核同意後，才能成為表列客戶。營管無此權限可協助新增。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：你們提供哪些顧問服務，以協助企業進行碳管理與報告？ know_53234 
      Q: 你們提供哪些顧問服務，以協助企業進行碳管理與報告？
A: 我們作為系統整合專家，會根據每位客戶的需求量身打造顧問服務。可協助媒合顧問，提供培訓、報告撰寫指導、合規支援等多元服務。
    Q
    你們有提供什麼合規支援服務嗎
    A
    我們會根據每位客戶的需求量身打造顧問服務，合規支援是我們提供的多元服務之一。
    原因
    • chat-realism: formal_chinese (The phrase '提供什麼合規支援服務' uses a formal construction that a real customer wouldn't typically use in chat.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：你們提供哪些顧問服務，以協助企業進行碳管理與報告？ know_53234 
      Q: 你們提供哪些顧問服務，以協助企業進行碳管理與報告？
A: 我們作為系統整合專家，會根據每位客戶的需求量身打造顧問服務。可協助媒合顧問，提供培訓、報告撰寫指導、合規支援等多元服務。
    Q
    你們提供什麼合規支援服務？
    A
    我們作為系統整合專家，會根據每位客戶的需求量身打造顧問服務，包含合規支援等多元服務。
    原因
    • chat-realism: formal_chinese (The phrase '提供什麼合規支援服務' uses a formal construction that a real customer wouldn't typically use in chat.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：你們提供哪些顧問服務，以協助企業進行碳管理與報告？ know_53234 
      Q: 你們提供哪些顧問服務，以協助企業進行碳管理與報告？
A: 我們作為系統整合專家，會根據每位客戶的需求量身打造顧問服務。可協助媒合顧問，提供培訓、報告撰寫指導、合規支援等多元服務。
    Q
    你們提供哪些合規支援服務？
    A
    我們的合規支援服務能協助企業達成碳管理目標，並根據客戶的需求量身打造顧問服務，包括培訓、報告撰寫指導等多元選項。
    原因
    • chat-realism: formal_chinese (The phrase '提供的服務有哪些' is too formal for a customer chat.)