產出 #682

env=production · 肯媒AI by DC (077ecc09-41af-4627-9aec-bac5c718736a) · eval_kind=kb_accuracy

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 4
總成本
$0.0106
Tokens
↑80061 / ↓2789
MISSED
3 個 scenario 未被任何 case 涵蓋：999, 1001, 1002。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-077ecc09-r1-054000503。
案例明細（16 筆 — 含已寫入、被拒、retry 軌跡）
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：商品購買次數是什麼？ know_91321 
      Q: 商品購買次數是什麼？
A: total_item_purchase，代表商品被成功購買的次數。
    Q
    商品購買次數是什麼？
    A
    total_item_purchase，代表商品被成功購買的次數。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：廣告費用是什麼？ know_91330 
      Q: 廣告費用是什麼？
A: cost，代表廣告在該期間內的花費。
    Q
    廣告費用是什麼意思？
    A
    廣告費用是用來衡量廣告支出的金額，代表廣告在該期間內的花費。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：轉換率怎麼算？ know_91318 
      Q: 轉換率怎麼算？
A: conversion_rate = 購買次數 / 工作階段數，代表訪客轉換為訂單的比例。
    Q
    請問轉換率代表什麼意思？
    A
    轉換率代表訪客轉換為訂單的比例。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：CTR 是什麼？ know_91332 
      Q: CTR 是什麼？
A: CTR = 點擊數 / 曝光數，代表點擊率。
    Q
    CTR 是什麼意思？
    A
    CTR = 點擊數 / 曝光數，代表點擊率。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：官網訂單數是什麼？ know_91316 
      Q: 官網訂單數是什麼？
A: 訂單數對應欄位為 total_orders，代表期間內的訂單總數。
    Q
    請問官網訂單數是什麼意思？
    A
    訂單數對應欄位為 total_orders，代表期間內的訂單總數。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：短網址使用者數是什麼？ know_91324 
      Q: 短網址使用者數是什麼？
A: unique_clicks，代表不同使用者點擊該短網址的數量。
    Q
    短網址使用者數是什麼？
    A
    短網址使用者數是指不同使用者點擊該短網址的數量。
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：廣告轉換數是什麼？ know_91328 
      Q: 廣告轉換數是什麼？
A: conversion，代表廣告帶來的轉換事件數。
    Q
    廣告轉換事件是什麼？
    A
    廣告轉換事件是指用戶在看到廣告後所進行的特定行為。
    原因
    • 答案與資料來源的重疊度只有 22.7%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：廣告轉換數是什麼？ know_91328 
      Q: 廣告轉換數是什麼？
A: conversion，代表廣告帶來的轉換事件數。
    Q
    廣告轉換事件是指什麼?
    A
    轉換事件是指用戶在看到廣告後所進行的特定行為。
    原因
    • 答案與資料來源的重疊度只有 19.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：廣告轉換數是什麼？ know_91328 
      Q: 廣告轉換數是什麼？
A: conversion，代表廣告帶來的轉換事件數。
    Q
    廣告的轉換事件是什麼？
    A
    轉換事件指的是用戶在看到廣告後所進行的特定行為。
    原因
    • 答案與資料來源的重疊度只有 18.2%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：商品加入購物車次數是什麼？ know_91320 
      Q: 商品加入購物車次數是什麼？
A: total_add_to_cart，代表使用者將商品加入購物車的次數。
    Q
    商品加入購物車次數是什麼?
    A
    total_add_to_cart，代表使用者將商品加入購物車的次數。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：商品收益是什麼？ know_91322 
      Q: 商品收益是什麼？
A: total_item_revenue，代表該商品的總收入。
    Q
    商品收益的英文名稱是什麼？
    A
    商品收益的英文名稱是 total_item_revenue，代表該商品的總收入。
    原因
    • chat-realism: vague_meta (The question is vague and asks about a general term rather than a specific product or service.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：商品收益是什麼？ know_91322 
      Q: 商品收益是什麼？
A: total_item_revenue，代表該商品的總收入。
    Q
    請問商品收益的英文名稱是什麼？
    A
    商品收益的英文名稱是 total_item_revenue，代表該商品的總收入。
    原因
    • chat-realism: internal_role_title (The question references '商品收益', which suggests an internal company context that a typical customer wouldn't use.)
  • 其他 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：商品收益是什麼？ know_91322 
      Q: 商品收益是什麼？
A: total_item_revenue，代表該商品的總收入。
    Q
    商品收益的英文名稱是什麼？
    A
    商品收益的英文名稱是 total_item_revenue，代表該商品的總收入。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：平均客單價怎麼算？ know_91317 
      Q: 平均客單價怎麼算？
A: avg_purchase_revenue = 收益 / 購買次數，代表平均每筆訂單的金額。
    Q
    平均客單價怎麼算？
    A
    平均客單價的計算公式為收益除以購買次數，代表平均每筆訂單的金額。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：廣告點擊數是什麼？ know_91327 
      Q: 廣告點擊數是什麼？
A: clicks，代表使用者點擊廣告的次數。
    Q
    廣告點擊數是什麼意思?
    A
    廣告點擊數是指使用者點擊廣告的次數。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：官網訂單金額是什麼？ know_91314 
      Q: 官網訂單金額是什麼？
A: 訂單金額對應欄位為 total_revenue，代表選定期間的總銷售金額。
    Q
    請問官網訂單金額是什麼？
    A
    訂單金額對應欄位為 total_revenue，代表選定期間的總銷售金額。