產出 #215

env=production · HeySong (731344ba-569c-4e27-871f-4b8d52d81cb8) · eval_kind=scenario_funnel

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
2 / 4
總成本
$0.0482
Tokens
↑382251 / ↓10399
MISSED
2 個 scenario 未被任何 case 涵蓋:2379, 2233。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-731344ba-r1-053958786
案例明細(74 筆 — 含已寫入、被拒、retry 軌跡)
  • 語氣不像真人 chat(被 Stage E 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:情境 ABC 2377
      情境 ABC
      
      ## 1. 觸發條件
      - 1233211234567
    Q
    為什麼情境 ABC 的觸發條件是什麼?
    A
    情境 ABC 的觸發條件是 1233211234567。
    原因
    • chat-realism: vague_meta (The question is vague and asks about general conditions rather than specific details, which is not typical of custome...)
  • 語氣不像真人 chat(被 Stage E 拒絕) scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:情境 ABC 2377
      情境 ABC
      
      ## 1. 觸發條件
      - 1233211234567
    Q
    情境 ABC 的觸發條件是什麼?
    A
    情境 ABC 的觸發條件是 1233211234567。
    原因
    • chat-realism: vague_meta (這個問題過於模糊,涉及公司內部的情境設定,顯得不像真實顧客的提問。)
  • 其他 scenario_focused 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:情境 ABC 2377
      情境 ABC
      
      ## 1. 觸發條件
      - 1233211234567
    Q
    情境 ABC 的觸發條件是什麼?
    A
    情境 ABC 的觸發條件是 1233211234567。
    原因
    • duplicate (scenario, question)
  • 語氣不像真人 chat(被 Stage E 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    為什麼意圖2的觸發條件是什麼321?
    A
    意圖2的觸發條件是321。
    原因
    • chat-realism: vague_meta (The question is vague and asks about triggering conditions in a way that doesn't reflect a typical customer inquiry.)
  • 語氣不像真人 chat(被 Stage E 拒絕) scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    意圖2的觸發條件是什麼?
    A
    意圖2的觸發條件為321。
    原因
    • chat-realism: internal_role_title (The question references '意圖2', which suggests an internal role or concept that a typical customer would not mention.)
  • 其他 scenario_focused 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    意圖2的觸發條件是什麼?
    A
    意圖2的觸發條件為321。
    原因
    • duplicate (scenario, question)
  • 其他 scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    意圖2的觸發條件是什麼?
    A
    意圖2的觸發條件為321。
    原因
    • duplicate (scenario, question)
  • 其他 scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    意圖2的觸發條件是什麼?
    A
    意圖2的觸發條件為321。
    原因
    • duplicate (scenario, question)
  • 其他 scenario_focused 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    意圖2的觸發條件是什麼?
    A
    意圖2的觸發條件為321。
    原因
    • duplicate (scenario, question)
  • 其他 scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:情境 ABC 2377
      情境 ABC
      
      ## 1. 觸發條件
      - 1233211234567
    Q
    情境 ABC 的觸發條件是什麼?
    A
    情境 ABC 的觸發條件是 1233211234567。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:情境 ABC 2377
      情境 ABC
      
      ## 1. 觸發條件
      - 1233211234567
    Q
    情境 ABC 是什麼時候觸發的?
    A
    情境 ABC 的觸發條件是 1233211234567。
  • 語意近重複(被 Stage C 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:情境 ABC 2377
      情境 ABC
      
      ## 1. 觸發條件
      - 1233211234567
    Q
    什麼情況會觸發情境 ABC?
    A
    情境 ABC 的觸發條件是 1233211234567。
    原因
    • semantic duplicate of "情境 ABC 是什麼時候觸發的?" (cosine=0.883 ≥ 0.8)
  • 其他 scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:情境 ABC 2377
      情境 ABC
      
      ## 1. 觸發條件
      - 1233211234567
    Q
    情境 ABC 的觸發條件是什麼?
    A
    情境 ABC 的觸發條件是 1233211234567。
    原因
    • duplicate (scenario, question)
  • 語意近重複(被 Stage C 拒絕) scenario_focused 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:情境 ABC 2377
      情境 ABC
      
      ## 1. 觸發條件
      - 1233211234567
    Q
    情境 ABC 什麼時候會觸發?
    A
    情境 ABC 的觸發條件是 1233211234567。
    原因
    • semantic duplicate of "情境 ABC 是什麼時候觸發的?" (cosine=0.967 ≥ 0.8)
  • 語氣不像真人 chat(被 Stage E 拒絕) scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    請問什麼情況下會觸發意圖2?
    A
    意圖2的觸發條件為321。
    原因
    • chat-realism: vague_meta (The question is vague and asks about a general intent rather than a specific product or service inquiry.)
  • 其他 scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    請問什麼情況下會觸發意圖2?
    A
    意圖2的觸發條件為321。
    原因
    • duplicate (scenario, question)
  • 其他 scenario_focused 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    請問什麼情況下會觸發意圖2?
    A
    意圖2的觸發條件為321。
    原因
    • duplicate (scenario, question)
  • 其他 scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    意圖2的觸發條件是什麼?
    A
    意圖2的觸發條件為321。
    原因
    • duplicate (scenario, question)
  • 其他 scenario_focused 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    為什麼意圖2的觸發條件是什麼321?
    A
    意圖2的觸發條件是321。
    原因
    • duplicate (scenario, question)
  • 其他 scenario_focused 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 對話流程:意圖2 2379
      意圖2
      
      ## 1. 觸發條件
      - 321
    Q
    意圖2的觸發條件是什麼?
    A
    意圖2的觸發條件為321。
    原因
    • duplicate (scenario, question)