產出 #683

env=production · 肯媒AI by DC (077ecc09-41af-4627-9aec-bac5c718736a) · eval_kind=scenario_funnel

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
3 / 4
總成本
$0.0223
Tokens
↑156760 / ↓4426
MISSED
1 個 scenario 未被任何 case 涵蓋:999。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-077ecc09-r1-054000503
案例明細(22 筆 — 含已寫入、被拒、retry 軌跡)
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:成效查詢 1002
      成效查詢
      
      ## 1. 觸發條件
      - 當用戶詢問到以下問題:
      
      -想問過去30天哪個來源媒介帶入最多使用者
      -哪個來源媒介是主要導流來源
      -哪個媒體項目帶入最多流量
      -想問過去30天哪個來源媒介帶入最多訂單金額
      -想問哪個來源表現最佳
      -哪個渠道帶來最多的營收
      -請彙整近期官網數據表現
      -想問過去7天我的廣告成效
      -哪個媒體項目的成效最佳
      -請彙整近期廣告表現
      
      ## 3. API 工具
      1. get_resource_WebsiteAndOrder — 此資源包含 CSV 表格資料,名稱為「WebsiteAndOrder」,包含結構化表格資料。此為詳細的資料文件(約 159k 字元)。內容摘要:session_date source_medium total_sessions total_users total_revenue total_orders avg_purchase_revenue conversion_rate ...
      
      ## 4. 回覆規則
      - # 📘 Website & Order Performance Dataset --- 修正版 A v4(AI Agent 專用知識庫)
      
      本文件為 AI Agent
      回答「整體網站成效」、「官網自然流量」、「外部流量」、「其他流量」以及「來源比較」等問題所使用的最新標準知識庫(v4)。
      
      此版本新增 **防止 AI 計算錯誤的強制規則**,確保: - AI
      **必須依原始資料逐筆加總** - AI **不得憑空生成總數** - AI
      **列表內容與加總必須一致**
      
      ------------------------------------------------------------------------
      
      # 1. 來源分類(v4 統一規則)
      
      所有來源(source_medium)依下列三類分類,且在計算整體成效、期間成效時必須全部納入加總。
      
      ------------------------------------------------------------------------
      
      ## **1. 官網自然流量(Official Organic Traffic)**
      
      僅包含:
      
      -   `google / organic`
      -   `(direct) / (none)`
      
      ------------------------------------------------------------------------
      
      ## **2. 外部流量(External Traffic)**
      
      所有非官網自然流量、且非 (not set)/(not set) 的來源都屬於外部流量。
      
      包含但不限於: - LINE / easiyo - HiPP_LINE / OA - tw.search.yahoo.com /
      referral - lm.facebook.com / referral - bit.ly / referral - reurl.cc /
      referral - easiyo.site / referral - acenatural.com.tw / referral -
      weetbix.com.tw / referral - tw.unfranchise.com / referral - Facebook /
      banner - 任何 / referral - 任何合作、社群、短網址來源
      
      ------------------------------------...
    • • 知識:官網訂單金額是什麼? know_91314
      Q: 官網訂單金額是什麼?
      A: 訂單金額對應欄位為 total_revenue,代表選定期間的總銷售金額。
    • • 知識:官網流量是什麼? know_91312
      Q: 官網流量是什麼?
      A: 官網流量對應欄位為 total_users,代表特定期間內造訪網站的使用者總數。
    Q
    為什麼在做成效查詢的時候不能憑空生成數據?
    A
    在做成效查詢時,AI 必須依原始資料逐筆加總,不得憑空生成總數。這是為了確保數據的準確性與一致性,避免出現錯誤的計算結果。
  • 已寫入 EvalSuite scenario_focused
    來源素材(點擊查看完整內容)
    • • 對話流程:知識與產品查詢 1000
      知識與產品查詢
      
      ## 1. 觸發條件
      - 通用查詢觸發(優先級最高 - ABSOLUTE PRIORITY):
                          - ⚠️ CRITICAL: ANY query with "?" "嗎" "呢" "嗎?" → MUST trigger knowledge and product search immediately
                          - Question words: "如何" "怎麼" "什麼" "哪裡" "哪個" "多少" "為什麼"
                          - Short queries under 10 characters
                          - OVERRIDE RULE: Question markers ALWAYS take precedence over order triggers
      - 活動相關:
                          - 活動/報名/參加
                          - 優惠/折扣/促銷
                          - 抽獎/贈品/獎品
      - 公司資訊相關:
                          - 粉絲團/粉專/FB/Facebook/臉書
                          - Instagram/IG/社群/社群媒體
                          - 官網/網站/官方網站
                          - LINE/Line官方帳號
                          - Youtube/YT/影片/頻道
                          - 公司/品牌/關於我們
      - 服務相關:
                          - 服務時間/營業時間/上班時間
                          - 聯絡方式/電話/信箱/地址
                          - 退換貨/退款/退費
                          - 保固/維修/售後
                          - 配送/運費/到貨時間
                          - 付款方式/分期/優惠
                          - 會員/積分/紅利
                          - 發票/收據/證明
      - 政策相關:
                          - 政策/規定/條款
                          - 隱私/個資/資料
                          - 安全/保障/保護
                          - 責任/義務/權利
      - 技術問題:
                          - 無法/不能/不行
                          - 錯誤/異常/問題
                          - 當機/卡住/慢
                          - 登入/註冊/密碼
                          - 設定/安裝/使用
      - 產品使用方式:
                          - 怎麼用/如何使用/使用方法
                          - 使用方式/操作方式/使用步驟
                          - 安裝/設定/配置
                          - 第一次使用/新手使用/初次使用
                          - 使用技巧/使用建議/使...
    Q
    你們的粉絲團和 Instagram 是什麼?
    A
    你可以在我們的粉絲團尋找最新的資訊,粉絲團網址是: [粉絲團網址],Instagram 也能找到我們的最新更新,帳號是: [Instagram 帳號]。