產出 #670

env=production · 維肯 AI 小助手 (3d62a53d-1bee-4f40-aef2-3c9894afe9f1) · eval_kind=kb_accuracy

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 5
總成本
$0.0134
Tokens
↑100214 / ↓3488
MISSED
4 個 scenario 未被任何 case 涵蓋：817, 816, 649, 651。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-3d62a53d-r1-054000470。
案例明細（20 筆 — 含已寫入、被拒、retry 軌跡）
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：上週官網訂單金額是多少？ know_72571 
      Q: 上週官網訂單金額是多少？
A: total_revenue：訂單金額。
    Q
    上週官網訂單金額是多少？
    A
    上週官網訂單金額是 total_revenue：訂單金額。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：官網訂單數是什麼？ know_72572 
      Q: 官網訂單數是什麼？
A: 訂單數對應欄位為 total_orders，代表期間內的訂單總數。
    Q
    官網訂單數對應的欄位是什麼?
    A
    訂單數對應欄位為 total_orders，代表期間內的訂單總數。
    原因
    • chat-realism: internal_role_title (The question references '官網訂單數' in a way that suggests an internal understanding of company operations, which a typic...)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：官網訂單數是什麼？ know_72572 
      Q: 官網訂單數是什麼？
A: 訂單數對應欄位為 total_orders，代表期間內的訂單總數。
    Q
    官網訂單數是什麼？
    A
    訂單數對應欄位為 total_orders，代表期間內的訂單總數。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide metrics rather than a specific product or service.)
  • 其他 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：官網訂單數是什麼？ know_72572 
      Q: 官網訂單數是什麼？
A: 訂單數對應欄位為 total_orders，代表期間內的訂單總數。
    Q
    官網訂單數對應的欄位是什麼?
    A
    訂單數對應欄位為 total_orders，代表期間內的訂單總數。
    原因
    • duplicate (scenario, question)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：廣告曝光數是什麼？ know_72582 
      Q: 廣告曝光數是什麼？
A: impressions，代表廣告被看到的次數。
    Q
    廣告曝光數代表什麼?
    A
    廣告曝光數代表廣告被看到的次數。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide reputation or value, which is not typical for a customer inquiry.)
  • 已寫入 EvalSuite 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：廣告曝光數是什麼？ know_72582 
      Q: 廣告曝光數是什麼？
A: impressions，代表廣告被看到的次數。
    Q
    廣告曝光數是什麼意思?
    A
    廣告曝光數代表廣告被看到的次數。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：廣告轉換數是什麼？ know_72584 
      Q: 廣告轉換數是什麼？
A: conversion，代表廣告帶來的轉換事件數。
    Q
    請問廣告轉換數是什麼呢？
    A
    廣告轉換數指的是廣告帶來的轉換事件數。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：廣告點擊數是什麼？ know_72583 
      Q: 廣告點擊數是什麼？
A: clicks，代表使用者點擊廣告的次數。
    Q
    廣告點擊數是什麼意思?
    A
    廣告點擊數是指使用者點擊廣告的次數。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：轉換率怎麼算？ know_72574 
      Q: 轉換率怎麼算？
A: conversion_rate = 購買次數 / 工作階段數，代表訪客轉換為訂單的比例。
    Q
    轉換率是怎麼計算的？
    A
    轉換率 = 購買次數 / 工作階段數，代表訪客轉換為訂單的比例。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：商品購買次數是什麼？ know_72577 
      Q: 商品購買次數是什麼？
A: total_item_purchase，代表商品被成功購買的次數。
    Q
    請問商品購買次數是什麼意思？
    A
    商品購買次數代表商品被成功購買的次數。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：商品瀏覽次數是什麼？ know_72575 
      Q: 商品瀏覽次數是什麼？
A: total_item_view，代表商品頁被瀏覽的次數。
    Q
    商品瀏覽次數是什麼啊？
    A
    商品瀏覽次數是 total_item_view，代表商品頁被瀏覽的次數。
  • 語意近重複（被 Stage C 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：廣告轉換價值是什麼？ know_72585 
      Q: 廣告轉換價值是什麼？
A: conversion_value，代表這些轉換產生的價值或收益。
    Q
    廣告轉換價值是什麼？
    A
    廣告轉換價值是 conversion_value，代表這些轉換產生的價值或收益。
    原因
    • semantic duplicate of "請問廣告轉換數是什麼呢？" (cosine=0.846 ≥ 0.8)
  • 其他 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：廣告轉換價值是什麼？ know_72585 
      Q: 廣告轉換價值是什麼？
A: conversion_value，代表這些轉換產生的價值或收益。
    Q
    廣告轉換價值是什麼？
    A
    廣告轉換價值是 conversion_value，代表這些轉換產生的價值或收益。
    原因
    • duplicate (scenario, question)
  • 其他 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：廣告轉換價值是什麼？ know_72585 
      Q: 廣告轉換價值是什麼？
A: conversion_value，代表這些轉換產生的價值或收益。
    Q
    廣告轉換價值是什麼？
    A
    廣告轉換價值是 conversion_value，代表這些轉換產生的價值或收益。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：CTR 是什麼？ know_72588 
      Q: CTR 是什麼？
A: CTR = 點擊數 / 曝光數，代表點擊率。
    Q
    請問 CTR 的計算公式是什麼？
    A
    CTR 的計算公式為點擊數除以曝光數。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：短網址轉換數是什麼？ know_72581 
      Q: 短網址轉換數是什麼？
A: conversions，代表短網址帶來的轉換事件總數。
    Q
    短網址轉換數是什麼啊
    A
    短網址轉換數是 conversions，代表短網址帶來的轉換事件總數。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：官網流量是什麼？ know_72568 
      Q: 官網流量是什麼？
A: 官網流量對應欄位為 total_users，代表特定期間內造訪網站的使用者總數。
    Q
    官網流量對應的欄位是什麼?
    A
    官網流量對應欄位為 total_users，代表特定期間內造訪網站的使用者總數。
    原因
    • chat-realism: internal_role_title (The question references '官網流量' in a way that suggests an internal company context, which a typical customer wouldn't ...)
  • 其他 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：官網流量是什麼？ know_72568 
      Q: 官網流量是什麼？
A: 官網流量對應欄位為 total_users，代表特定期間內造訪網站的使用者總數。
    Q
    官網流量對應的欄位是什麼?
    A
    官網流量對應欄位為 total_users，代表特定期間內造訪網站的使用者總數。
    原因
    • duplicate (scenario, question)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 知識：官網流量是什麼？ know_72568 
      Q: 官網流量是什麼？
A: 官網流量對應欄位為 total_users，代表特定期間內造訪網站的使用者總數。
    Q
    官網流量的定義是什麼?
    A
    官網流量對應欄位為 total_users，代表特定期間內造訪網站的使用者總數。
    原因
    • chat-realism: vague_meta (The question is vague and asks about a general definition related to company reputation rather than a concrete produc...)
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 知識：短網址使用者數是什麼？ know_72580 
      Q: 短網址使用者數是什麼？
A: unique_clicks，代表不同使用者點擊該短網址的數量。
    Q
    短網址的使用者數是什麼？
    A
    短網址使用者數是 unique_clicks，代表不同使用者點擊該短網址的數量。