產出 #687

env=production · 自由自在編 (6be5701b-ee59-47d0-9e65-1eef40279afb) · eval_kind=mixed_qa

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 3
總成本
$0.0082
Tokens
↑57404 / ↓2381
MISSED
2 個 scenario 未被任何 case 涵蓋:1420, 1421。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-6be5701b-r1-054000510
案例明細(11 筆 — 含已寫入、被拒、retry 軌跡)
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:五天四夜可以安排哪些國家? know_111456
      Q: 五天四夜可以安排哪些國家?
      A: 五天四夜可安排日本、韓國或越南。
    Q
    五天四夜可以安排越南旅遊嗎?
    A
    五天四夜可安排越南旅遊。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 工具:get_history 3
      get_history (get_history)
      
      Retrieve earlier conversation traces (before the recent 7 rounds). No params = condensed summaries; with trace/end_trace = full content.
    Q
    這個檢索歷史對話的工具怎麼用?
    A
    get_history 可以用來檢索早期的對話記錄,若不帶參數則返回簡約摘要,若使用 trace 和 end_trace 則會顯示完整內容。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 對話流程:訂單查詢 1422
      訂單查詢
      
      ## 1. 觸發條件
      - When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).
      
      訂單查詢的 Agent 情景
      
      ## 3. API 工具
      1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊
      
      ## 4. 回覆規則
      - Provide clear and concise answers based on order search results from tool messages
      - If multiple relevant orders found, combine them logically
      - If no relevant order found, acknowledge and offer to check with customer service
    Q
    如果找不到訂單怎麼辦?
    A
    如果沒有找到相關訂單,系統會確認並提供聯繫客服的選項。
  • 品質檢查未通過 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:有推薦的行前準備清單嗎? know_111475
      Q: 有推薦的行前準備清單嗎?
      A: 可準備護照、保險、轉接頭、常用藥品等。
    Q
    行前準備清單要準備保險嗎
    A
    是的,建議準備保險。
    原因
    • 答案與資料來源的重疊度只有 28.6%(門檻 30%)—— LLM 寫的答案可能偏離了來源,有 hallucination 風險
  • 已寫入 EvalSuite 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:有推薦的行前準備清單嗎? know_111475
      Q: 有推薦的行前準備清單嗎?
      A: 可準備護照、保險、轉接頭、常用藥品等。
    Q
    行前準備清單建議準備保險嗎?
    A
    建議準備保險、護照、轉接頭、常用藥品等。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:十天行程推薦怎麼規劃? know_111457
      Q: 十天行程推薦怎麼規劃?
      A: 十天可考慮歐洲單國深度旅遊或雙城路線。
    Q
    十天的行程可以考慮什麼旅遊方式?
    A
    十天可考慮歐洲單國深度旅遊或雙城路線。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:五天四夜預算有限該怎麼選國家? know_111451
      Q: 五天四夜預算有限該怎麼選國家?
      A: 建議選擇航程較短的亞洲國家,能節省交通成本。
    Q
    預算有限選國家要怎麼選?
    A
    建議選擇航程較短的亞洲國家,能節省交通成本。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:什麼時候適合去日本旅遊? know_111452
      Q: 什麼時候適合去日本旅遊?
      A: 春季(櫻花季)與秋季(楓葉季)是日本最熱門的旅遊季節。
    Q
    櫻花季是在什麼時候?
    A
    櫻花季是在春季。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:哪些國家旅遊安全性高? know_111467
      Q: 哪些國家旅遊安全性高?
      A: 日本、新加坡與北歐國家安全性普遍較高。
    Q
    北歐國家旅遊安全性高嗎
    A
    北歐國家的旅遊安全性普遍較高。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:想找放鬆又不趕行程的旅遊地點? know_111447
      Q: 想找放鬆又不趕行程的旅遊地點?
      A: 可以考慮峇里島、沖繩或清邁,步調悠閒、適合放鬆。
    Q
    清邁的旅遊步調如何?
    A
    清邁的旅遊步調悠閒,適合放鬆。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:親子旅遊適合自由行還是跟團? know_111459
      Q: 親子旅遊適合自由行還是跟團?
      A: 若是第一次帶小孩出國,建議選擇跟團較輕鬆。
    Q
    親子旅遊為什麼跟團較輕鬆?
    A
    若是第一次帶小孩出國,建議選擇跟團較輕鬆。