產出 #417

env=production · Whoscall 小幫手 (82c119f9-e209-4f77-9c3e-ce171b73a848) · eval_kind=mixed_qa

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 4
總成本
$0.0264
Tokens
↑197329 / ↓8663
MISSED
3 個 scenario 未被任何 case 涵蓋：357, 355, 356。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-82c119f9-r1-053959726。
案例明細（43 筆 — 含已寫入、被拒、retry 軌跡）
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：ฉันสามารถกู้คืนบัญชีและข้อมูลของฉันเมื่อทำการติดตั้ง Whoscall ใหม่อีกครั้งได้ไหม? know_231781 
      Q: ฉันสามารถกู้คืนบัญชีและข้อมูลของฉันเมื่อทำการติดตั้ง Whoscall ใหม่อีกครั้งได้ไหม?
A: Whoscall ระบุผู้ใช้ด้วยบัญชีที่ลงทะเบียนเท่านั้น ไม่ว่าคุณจะทำโทรศัพท์หาย เปลี่ยนอุปกรณ์ใหม่  เปิดใช้งานแอปบนอุปกรณ์หลายเครื่อง หรือติดตั้งแอปใหม่อีกครั้ง คุณสามารถดึงข้อมูล (รายการบล็อก แท็ก บันทึก และหมายเลขที่ชื่นชอบ) ตราบใดที่คุณลงชื่อเข้าใช้ด้วยบัญชีเดียวกัน
    Q
    請問我可以在重新安裝 Whoscall 後恢復什麼信息？
    A
    您可以恢復（列表、標籤、記錄和喜愛的號碼），只要使用相同的帳戶登錄即可。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：ฉันสามารถกู้คืนบัญชีและข้อมูลของฉันเมื่อทำการติดตั้ง Whoscall ใหม่อีกครั้งได้ไหม? know_231781 
      Q: ฉันสามารถกู้คืนบัญชีและข้อมูลของฉันเมื่อทำการติดตั้ง Whoscall ใหม่อีกครั้งได้ไหม?
A: Whoscall ระบุผู้ใช้ด้วยบัญชีที่ลงทะเบียนเท่านั้น ไม่ว่าคุณจะทำโทรศัพท์หาย เปลี่ยนอุปกรณ์ใหม่  เปิดใช้งานแอปบนอุปกรณ์หลายเครื่อง หรือติดตั้งแอปใหม่อีกครั้ง คุณสามารถดึงข้อมูล (รายการบล็อก แท็ก บันทึก และหมายเลขที่ชื่นชอบ) ตราบใดที่คุณลงชื่อเข้าใช้ด้วยบัญชีเดียวกัน
    Q
    我可以重新安裝後找回哪些信息?
    A
    您可以找回資料（列表、標籤、記錄和喜愛的號碼），只要您使用同一個帳戶登入即可。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：ฉันสามารถกู้คืนบัญชีและข้อมูลของฉันเมื่อทำการติดตั้ง Whoscall ใหม่อีกครั้งได้ไหม? know_231781 
      Q: ฉันสามารถกู้คืนบัญชีและข้อมูลของฉันเมื่อทำการติดตั้ง Whoscall ใหม่อีกครั้งได้ไหม?
A: Whoscall ระบุผู้ใช้ด้วยบัญชีที่ลงทะเบียนเท่านั้น ไม่ว่าคุณจะทำโทรศัพท์หาย เปลี่ยนอุปกรณ์ใหม่  เปิดใช้งานแอปบนอุปกรณ์หลายเครื่อง หรือติดตั้งแอปใหม่อีกครั้ง คุณสามารถดึงข้อมูล (รายการบล็อก แท็ก บันทึก และหมายเลขที่ชื่นชอบ) ตราบใดที่คุณลงชื่อเข้าใช้ด้วยบัญชีเดียวกัน
    Q
    請問我可以找回哪些資料呢？
    A
    您可以找回的資料包括：列表、標籤、日誌和喜愛的號碼，只要您使用相同的帳戶登入即可。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 工具：search_knowledges 21 
      search_knowledges (search_knowledges)

Hybrid search (BM25 + vector) across KNOWLEDGE sources only (knowledge, doc_knowledge, link, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    你們可以給我三個不同的查詢方式嗎?
    A
    我們可以生成三個多樣的向量查詢，分別可以是「世界上最高的山」、「台灣的熱門旅遊景點」、「如何提升工作效率」。這些查詢可以涵蓋不同的領域和資訊需求。
    原因
    • chat-realism: vague_meta (The question is vague and asks for general information about query methods, which is not typical for a customer inquiry.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 工具：search_knowledges 21 
      search_knowledges (search_knowledges)

Hybrid search (BM25 + vector) across KNOWLEDGE sources only (knowledge, doc_knowledge, link, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    我可以生成三個不同的查詢向量嗎？
    A
    可以，你可以生成三個多樣的向量查詢，並針對本地化使用 BM25 關鍵字進行搜尋。
    原因
    • chat-realism: vague_meta (這個問題過於模糊，顯示出對公司產品或服務的具體需求不明確。)
  • 已寫入 EvalSuite 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 工具：search_knowledges 21 
      search_knowledges (search_knowledges)

Hybrid search (BM25 + vector) across KNOWLEDGE sources only (knowledge, doc_knowledge, link, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    可以幫我找三個不同的查詢方式嗎？
    A
    你可以嘗試以下三種查詢方式：1. 使用關鍵字查詢，例如直接輸入相關問題；2. 使用向量查詢，構建多樣化的查詢向量；3. 利用主題追蹤，搜尋與特定主題相關的知識資料。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 對話流程：轉接真人客服 354 
      轉接真人客服

## 1. 觸發條件
- 線上客服/轉線上客服
- 在線客服/轉在線客服
- 真人客服/轉真人客服
- 轉真人/找真人
- Direct transfer request
- Emotional escalation
- Resolution failure

轉接真人客服的 Agent 情景

## 4. 回覆規則
- Acknowledge situation
- Return transfer response in specified format
    Q
    請問轉接真人客服的時候需要確認什麼情況？
    A
    當客戶要求轉接真人客服時，客服代理需要確認情況。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：如果用戶收到密碼外洩通知，到應對網站上去更改密碼後，回到 Whoscall 還是會看到密碼外洩警示嗎？ know_231653 
      Q: 如果用戶收到密碼外洩通知，到應對網站上去更改密碼後，回到 Whoscall 還是會看到密碼外洩警示嗎？
A: Whoscall 主要偵測用戶所輸入資料是否涉入於個資外洩的事件中，因此在您對應的網站上更改密碼後，儘管再次查詢，仍不會改變偵測的結果。
    Q
    如果更改密碼後還會有外洩警示嗎?
    A
    Whoscall 主要偵測用戶所輸入資料是否涉入於個資外洩的事件中，因此在您對應的網站上更改密碼後，儘管再次查詢，仍不會改變偵測的結果。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：我的手機或平板連上 Whoscall 象卡來市話版的 Wi-Fi 後，出現「沒有網際網路」或「沒有可用的網際網路」訊息，我該怎麼設定？ know_231618 
      Q: 我的手機或平板連上 Whoscall 象卡來市話版的 Wi-Fi 後，出現「沒有網際網路」或「沒有可用的網際網路」訊息，我該怎麼設定？
A: 看到沒有網際網路訊息時，請您直接取消或選擇繼續保持連線，再開啟瀏覽器。
    Q
    如果連上 Wi-Fi 看到沒有網際網路的訊息，該怎麼辦?
    A
    看到沒有網際網路訊息時，請您直接取消或選擇繼續保持連線，再開啟瀏覽器。
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：어떻게 보고 하나요? know_157372 
      Q: 어떻게 보고 하나요?
A: 어떤 번호에 대한 정보를 보고하기를 원한다면 정보 공유를 원하는 번호에 들어간 화면 위 "보고"기능을 통해 보고할 수 있습니다.
하지만 보고한 후에도 정보가 나타나지 않을 경우, 통계 및 확인 과정이 필요한 것으로 보고 내용이 공유되기까지 다소 시간이 걸릴 수 있다는 점 참고 부탁드립니다.
    Q
    要怎麼報告資訊?
    A
    如果想要報告某個號碼的資訊，可以使用該號碼畫面上方的「報告」功能。不過報告後，資訊有可能需要一些時間才能顯示出來。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：어떻게 보고 하나요? know_157372 
      Q: 어떻게 보고 하나요?
A: 어떤 번호에 대한 정보를 보고하기를 원한다면 정보 공유를 원하는 번호에 들어간 화면 위 "보고"기능을 통해 보고할 수 있습니다.
하지만 보고한 후에도 정보가 나타나지 않을 경우, 통계 및 확인 과정이 필요한 것으로 보고 내용이 공유되기까지 다소 시간이 걸릴 수 있다는 점 참고 부탁드립니다.
    Q
    要怎麼報告資訊？
    A
    如果想報告某個號碼的資訊，可以進入想要分享資訊的號碼畫面上方的「報告」功能來進行報告。不過報告後如果資訊沒有顯示，可能需要統計和確認的過程，分享內容可能會有些時間才會可見，請注意。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：어떻게 보고 하나요? know_157372 
      Q: 어떻게 보고 하나요?
A: 어떤 번호에 대한 정보를 보고하기를 원한다면 정보 공유를 원하는 번호에 들어간 화면 위 "보고"기능을 통해 보고할 수 있습니다.
하지만 보고한 후에도 정보가 나타나지 않을 경우, 통계 및 확인 과정이 필요한 것으로 보고 내용이 공유되기까지 다소 시간이 걸릴 수 있다는 점 참고 부탁드립니다.
    Q
    要怎麼報告資料?
    A
    如果想要報告某個號碼的資訊，可以進入想要分享資訊的號碼畫面上方的「報告」功能進行報告。不過報告完成後，資訊可能不會立即顯示，因為需要進行統計與確認，分享內容可能會有些延遲，請您參考。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：자동 웹 체커 기능이 인터넷 속도에 영향을 주나요? know_157378 
      Q: 자동 웹 체커 기능이 인터넷 속도에 영향을 주나요?
A: 자동 웹 체커를 켜도 인터넷 속도에는 거의 영향을 주지 않습니다. 부담 없이 안심하고 사용하세요.
    Q
    自動網頁檢查功能會影響網路速度嗎?
    A
    自動網頁檢查功能即使開啟，對網路速度幾乎沒有影響，可以安心使用。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：자동 웹 체커 기능이 인터넷 속도에 영향을 주나요? know_157378 
      Q: 자동 웹 체커 기능이 인터넷 속도에 영향을 주나요?
A: 자동 웹 체커를 켜도 인터넷 속도에는 거의 영향을 주지 않습니다. 부담 없이 안심하고 사용하세요.
    Q
    自動網頁檢查功能會影響網速嗎?
    A
    自動網頁檢查功能開啟時幾乎不會影響網路速度，您可以放心使用。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：자동 웹 체커 기능이 인터넷 속도에 영향을 주나요? know_157378 
      Q: 자동 웹 체커 기능이 인터넷 속도에 영향을 주나요?
A: 자동 웹 체커를 켜도 인터넷 속도에는 거의 영향을 주지 않습니다. 부담 없이 안심하고 사용하세요.
    Q
    自動網頁檢查功能會影響網速嗎?
    A
    自動網頁檢查功能開啟後，對網速幾乎沒有影響，使用時可以放心。
    原因
    • 答案與資料來源的重疊度只有 0.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：定期購入を解除するにはどうすればよいですか？ know_47658 
      Q: 定期購入を解除するにはどうすればよいですか？
A: Whoscallの定期購入サービスは、Googleにより管理されているため、 更新を解約する場合は次の手順を従ってください。
1. Googleアカウントをサインインし、Google Playにログインします。
2. 「マイアカウント」を選択します。
3.  「サブスクリプションアイテム」の中にある「Whoscallプレミアム版」の「解約」をタップします。

以上で現在の購入期間終了後に再更新されることはありません。
    Q
    怎麼解除定期購買？
    A
    Whoscall的定期購買由Google管理，解除訂閱的步驟如下：1. 登入Google帳戶，進入Google Play。2. 選擇「我的帳戶」。3. 在「訂閱項目」中找到「Whoscall Premium版」，點擊「解除訂閱」。目前的購買期間結束後將不會再自動續約。
    原因
    • 答案與資料來源的重疊度只有 24.7%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 已寫入 EvalSuite 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：定期購入を解除するにはどうすればよいですか？ know_47658 
      Q: 定期購入を解除するにはどうすればよいですか？
A: Whoscallの定期購入サービスは、Googleにより管理されているため、 更新を解約する場合は次の手順を従ってください。
1. Googleアカウントをサインインし、Google Playにログインします。
2. 「マイアカウント」を選択します。
3.  「サブスクリプションアイテム」の中にある「Whoscallプレミアム版」の「解約」をタップします。

以上で現在の購入期間終了後に再更新されることはありません。
    Q
    怎麼解除定期訂閱啊？
    A
    要解除定期訂閱，請先登入 Google 帳戶並進入 Google Play。然後選擇「我的帳戶」，在「訂閱項目」中找到「Whoscall Premium版」並點擊「解除訂閱」。
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：特定の番号で始まる着信を着信拒否できますか？ know_47700 
      Q: 特定の番号で始まる着信を着信拒否できますか？
A: iOSシステムの制限により、現時点では特定番号で始まる電話番号の着信はブロックできません。
    Q
    請問特定號碼開頭的來電可以拒接嗎？
    A
    目前因為 iOS 系統的限制，特定號碼開頭的電話號碼無法被拒接。
    原因
    • 答案與資料來源的重疊度只有 15.4%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：特定の番号で始まる着信を着信拒否できますか？ know_47700 
      Q: 特定の番号で始まる着信を着信拒否できますか？
A: iOSシステムの制限により、現時点では特定番号で始まる電話番号の着信はブロックできません。
    Q
    請問特定的號碼可以阻擋來電嗎？
    A
    iOS系統的限制，現階段不可以阻擋特定號碼開頭的來電。
    原因
    • 答案與資料來源的重疊度只有 12.5%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：特定の番号で始まる着信を着信拒否できますか？ know_47700 
      Q: 特定の番号で始まる着信を着信拒否できますか？
A: iOSシステムの制限により、現時点では特定番号で始まる電話番号の着信はブロックできません。
    Q
    請問可以拒接特定號碼開頭的來電嗎？
    A
    iOS系統的限制使得目前無法拒接特定號碼開頭的來電。
    原因
    • 答案與資料來源的重疊度只有 12.5%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險