產出 #684

env=production · 肯媒AI by DC (077ecc09-41af-4627-9aec-bac5c718736a) · eval_kind=mixed_qa

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
0 / 4
總成本
$0.0228
Tokens
↑174246 / ↓6151
MISSED
4 個 scenario 未被任何 case 涵蓋:999, 1001, 1000, 1002。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-077ecc09-r1-054000503
案例明細(35 筆 — 含已寫入、被拒、retry 軌跡)
  • 其他 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:商品購買次數是什麼? know_91321
      Q: 商品購買次數是什麼?
      A: total_item_purchase,代表商品被成功購買的次數。
    Q
    商品購買次數是什麼?
    A
    total_item_purchase,代表商品被成功購買的次數。
    原因
    • duplicate (scenario, question)
  • 其他 直接問答 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:商品購買次數是什麼? know_91321
      Q: 商品購買次數是什麼?
      A: total_item_purchase,代表商品被成功購買的次數。
    Q
    商品購買次數是什麼?
    A
    total_item_purchase,代表商品被成功購買的次數。
    原因
    • duplicate (scenario, question)
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:廣告曝光數是什麼? know_91326
      Q: 廣告曝光數是什麼?
      A: impressions,代表廣告被看到的次數。
    Q
    廣告曝光數是什麼?
    A
    廣告曝光數是指廣告被看到的次數。
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:官網訂單數是什麼? know_91316
      Q: 官網訂單數是什麼?
      A: 訂單數對應欄位為 total_orders,代表期間內的訂單總數。
    Q
    官網訂單數是什麼?
    A
    訂單數對應欄位為 total_orders,代表期間內的訂單總數。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide metrics rather than a specific product or service.)
  • 已寫入 EvalSuite 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:官網訂單數是什麼? know_91316
      Q: 官網訂單數是什麼?
      A: 訂單數對應欄位為 total_orders,代表期間內的訂單總數。
    Q
    請問官網訂單數是什麼意思?
    A
    訂單數對應欄位為 total_orders,代表期間內的訂單總數。
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:上週官網流量是多少? know_91313
      Q: 上週官網流量是多少?
      A: total_users:使用者數。
    Q
    上週官網流量是以什麼來表示的?
    A
    上週官網流量的數據是以使用者數來表示。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide metrics, which customers typically do not inquire about.)
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:上週官網流量是多少? know_91313
      Q: 上週官網流量是多少?
      A: total_users:使用者數。
    Q
    上週官網流量是以什麼表示的?
    A
    上週官網流量的數據是以使用者數來表示。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide metrics, which customers typically do not inquire about.)
  • 其他 直接問答 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:上週官網流量是多少? know_91313
      Q: 上週官網流量是多少?
      A: total_users:使用者數。
    Q
    上週官網流量是以什麼表示的?
    A
    上週官網流量是以使用者數來表示。
    原因
    • duplicate (scenario, question)
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:商品收益是什麼? know_91322
      Q: 商品收益是什麼?
      A: total_item_revenue,代表該商品的總收入。
    Q
    商品收益是什麼啊?
    A
    商品收益代表該商品的總收入。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide reputation or value, which is not typical for a real customer inquiry.)
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:商品收益是什麼? know_91322
      Q: 商品收益是什麼?
      A: total_item_revenue,代表該商品的總收入。
    Q
    商品收益是什麼?
    A
    商品收益代表該商品的總收入。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide reputation or value rather than a concrete product inquiry.)
  • 其他 直接問答 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:商品收益是什麼? know_91322
      Q: 商品收益是什麼?
      A: total_item_revenue,代表該商品的總收入。
    Q
    商品收益是什麼?
    A
    商品收益代表該商品的總收入。
    原因
    • duplicate (scenario, question)
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:廣告轉換價值是什麼? know_91329
      Q: 廣告轉換價值是什麼?
      A: conversion_value,代表這些轉換產生的價值或收益。
    Q
    請問廣告轉換價值是什麼?
    A
    廣告轉換價值是指轉換所產生的價值或收益。
    原因
    • chat-realism: vague_meta (這個問題涉及到公司整體的價值評估,顯得過於模糊,不符合真實顧客的提問方式。)
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:廣告轉換價值是什麼? know_91329
      Q: 廣告轉換價值是什麼?
      A: conversion_value,代表這些轉換產生的價值或收益。
    Q
    請問廣告轉換價值是什麼呢?
    A
    廣告轉換價值是指這些轉換所產生的價值或收益。
    原因
    • chat-realism: vague_meta (這個問題涉及對公司整體價值的模糊詢問,顯得不夠具體。)
  • 語氣不像真人 chat(被 Stage E 拒絕) 直接問答 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:廣告轉換價值是什麼? know_91329
      Q: 廣告轉換價值是什麼?
      A: conversion_value,代表這些轉換產生的價值或收益。
    Q
    廣告轉換價值是什麼?
    A
    廣告轉換價值是指轉換所產生的價值或收益。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide reputation or value, which is not typical for a customer inquiry.)
  • 已寫入 EvalSuite 推理
    來源素材(點擊查看完整內容)
    • • 知識:短網址使用者數是什麼? know_91324
      Q: 短網址使用者數是什麼?
      A: unique_clicks,代表不同使用者點擊該短網址的數量。
    Q
    短網址使用者數是什麼?
    A
    短網址使用者數是 unique_clicks,代表不同使用者點擊該短網址的數量。