產出 #705

env=production · 蘑菇農場 小幫手 Web (3743c712-86b9-4dde-9a5e-8980e93371ab) · eval_kind=mixed_qa

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 4
總成本
$0.0080
Tokens
↑58492 / ↓2154
MISSED
3 個 scenario 未被任何 case 涵蓋：1265, 1272, 1264。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-3743c712-r1-054000554。
案例明細（11 筆 — 含已寫入、被拒、retry 軌跡）
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：可以客製植栽組合嗎？ know_169159 
      Q: 可以客製植栽組合嗎？
A: 可以，我們提供客製化植栽搭配服務。
    Q
    可以客製植栽組合嗎？
    A
    可以，我們提供客製化植栽搭配服務。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 工具：統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） 20 
      統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） (search_unified)

Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋需要生成什麼關鍵字?
    A
    統一搜尋必須生成每個地區的 BM25 關鍵字。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide reputation or quality rather than a concrete issue.)
  • 已寫入 EvalSuite 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 工具：統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） 20 
      統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） (search_unified)

Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋要生成什麼關鍵字？
    A
    統一搜尋必須生成每個地區的 BM25 關鍵字。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 對話流程：訂單查詢 1266 
      訂單查詢

## 1. 觸發條件
- When user has questions about specific order details, shipping status, or purchase history (only after user provides required personal info).

訂單查詢的 Agent 情景

## 3. API 工具
1. shopline_search_orders — 根據聊天記錄搜尋相關訂單資訊

## 4. 回覆規則
- Provide clear and concise answers based on order search results from tool messages
- If multiple relevant orders found, combine them logically
- If no relevant order found, acknowledge and offer to check with customer service
    Q
    我可以查詢我的訂單狀態嗎?
    A
    請提供您的訂購姓名或聯絡電話，我才能幫您查詢訂單狀態。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：可以養在辦公室嗎？ know_169153 
      Q: 可以養在辦公室嗎？
A: 可以，許多植物非常適合室內與辦公室環境。
    Q
    請問有哪些植物適合辦公室養嗎？
    A
    可以，許多植物非常適合室內與辦公室環境。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：可以幫忙換盆嗎？ know_169145 
      Q: 可以幫忙換盆嗎？
A: 可以的，我們提供付費換盆服務。
    Q
    可以幫忙換盆嗎？
    A
    可以的，我們提供付費換盆服務。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：收到植物狀況不佳怎麼辦？ know_169150 
      Q: 收到植物狀況不佳怎麼辦？
A: 請於 24 小時內拍照聯繫客服，我們會協助處理。
    Q
    植物狀況不佳的時候需要幹嘛？
    A
    請於 24 小時內拍照聯繫客服，我們會協助處理。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：植物多久需要施肥？ know_169146 
      Q: 植物多久需要施肥？
A: 一般建議每 1–2 個月施肥一次。
    Q
    植物多久需要施肥？
    A
    一般建議每 1–2 個月施肥一次。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：植物可以宅配嗎？ know_169149 
      Q: 植物可以宅配嗎？
A: 可以，我們會使用專用包裝確保運送安全。
    Q
    植物可以宅配嗎
    A
    可以，我們會使用專用包裝確保運送安全。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：可以指定送達日期嗎？ know_169148 
      Q: 可以指定送達日期嗎？
A: 可以，在結帳時備註期望到貨日。
    Q
    可以指定到貨日期嗎
    A
    可以，在結帳時備註期望到貨日。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：多久會長大或開花？ know_169155 
      Q: 多久會長大或開花？
A: 視植物品種而定，商品頁會提供大致生長說明。
    Q
    植物大概要多久會長大或開花？
    A
    植物的生長或開花時間視品種而定，商品頁會提供大致生長說明。