產出 #369

env=production · SWAG Creator AI bot (34eb669a-4362-4481-8f19-6dbf611d5215) · eval_kind=mixed_qa

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 4
總成本
$0.0094
Tokens
↑65396 / ↓3094
MISSED
3 個 scenario 未被任何 case 涵蓋:961, 962, 963。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-34eb669a-r1-053959549
案例明細(12 筆 — 含已寫入、被拒、retry 軌跡)
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:怎麼參加主題直播 know_377412
      Q: 怎麼參加主題直播
      A: 這邊有詳細介紹哦~
      https://swag.run/livestream-show
    Q
    請問怎麼參加主題直播呢?
    A
    這邊有詳細介紹哦~ https://swag.run/livestream-show
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 工具:統一搜尋:multi-lane BM25+Vector RRF 融合(支援 5 種 source_type) 20
      統一搜尋:multi-lane BM25+Vector RRF 融合(支援 5 種 source_type) (search_unified)
      
      Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋是怎麼運作的?
    A
    統一搜尋使用混合搜尋技術,結合 BM25 和向量搜尋,支援 5 種 source_type。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 對話流程:Bug回報情境 1753
      Bug回報情境
      
      ## 1. 觸發條件
      - 當用戶的訊息中明確表示想要回報問題或提交錯誤/Bug時觸發。
      包含但不限於以下語意:
      「我要回報問題」
      「我要回報 bug」
      「我遇到錯誤」
      「我發現系統有問題/怪怪的」
      「功能不能用」
      「畫面出錯/跳錯誤」
      「網站壞掉了」
      「APP 壞掉了」
      「登不進去/卡住了」
      「怎麼一直 error」
      「是不是系統 bug」
      
      概念:
      只要用戶語意指向「問題回報」「系統異常」「故障」「Bug」即可視為觸發。
      
      ## 2. 資訊收集
      ### 問題回報 — 問題回報的相關資訊收集
      - 您的SWAG ID [text] (必填): 
      - 發生時間段 [number] (必填): 
      
      ## 4. 回覆規則
      - 1. 當觸發條件成立時,回覆以下{問題回報}模板,格式內文不得改寫、不需額外創意延伸:
      
       {問題回報}模板(固定格式):
      「您好,為了協助您處理問題,請提供以下資訊:
      
      - SWAG ID (例如 faifai_bebe / maymei_3652/arielbb)
      - 發生的時段(例如 16:00~16:05)
      - 狀況螢幕錄製影片/截圖
      
      並請再簡述一下您遇到的狀況,我會協助您轉交客服人員處理。」
      
      2.提供全部資訊後,在執行轉真人,若有遺漏內容,AI 需要再請用戶提供。
      
        2-1 符合以下任一即可視為「提供資訊」:
      
      - 提供 SWAG ID 資訊(例如 faifai_bebe / maymei_3652/arielbb)
      - 提供發生的時段(例如 16:00~16:05)
      - 提供狀況螢幕錄製影片/截圖
      - 敘述遇到的狀況(如「畫面卡住」「按鈕不能按」)
      
        2-2 收到任一資訊後必須回覆:
      「好的,我已將您提供的資訊轉交給客服人員,稍後將由真人客服為您協助,請您稍候一下。」
      
        2-3 之後 立即執行轉真人流程
      
      3. 若用戶提供的內容「完全無關」→ 必須重新引導
      
        3-1 當用戶回覆的內容與前述所需資訊無關,例如:
      「好的」
      「幫我處理」
      「什麼意思?」
      「你是誰?」
      「為什麼要提供?」
      廣告、貼圖、無意義字串
      
      - 不得視為資訊已提供
      - 不得轉真人
      - 必須再次清楚引導用戶提供必要資訊
        3-2 固定回覆模板:
      「為了協助您處理問題,仍需要您提供以下資訊才能轉交給客服人員:
      - 提供 SWAG ID 資訊 (例如 faifai_bebe / maymei_3652/arielbb)
      - 提供發生的時段(例如 16:00~16:05)
      - 提供狀況螢幕錄製影片/截圖
      並請再描述一下您遇到的狀況,謝謝!」
    Q
    如何回報系統的錯誤問題?
    A
    您好,為了協助您處理問題,請提供以下資訊: - SWAG ID (例如 faifai_bebe / maymei_3652/arielbb) - 發生的時段(例如 16:00~16:05) - 狀況螢幕錄製影片/截圖 並請再簡述一下您遇到的狀況,我會協助您轉交客服人員處理。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:有收到勞報單回填嗎 know_377475
      Q: 有收到勞報單回填嗎
      A: 妳好,有填寫成功的話,你的gmail信箱會收到回填成功的『感謝你填寫這份表單:xxxx勞報單』通知!
      請特別留意:裡面若有資料寫錯,下個月仍然收不到款項
      請到信箱中檢查,如果有填寫錯誤的部分,請重新填寫一次勞報單。(確認的gmail信箱,要跟表單裡的gmail相同喔)
      而如果信箱中沒有收到信,請妳重新填寫一次
    Q
    請問收到勞報單回填的gmail信箱要怎麼確認?
    A
    您好,確認的gmail信箱必須與表單中填寫的gmail相同喔。如果有填寫錯誤的部分,可以重新填寫一次勞報單。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:主動私訊用戶 know_377501
      Q: 主動私訊用戶
      A: https://public.swag.live/help-center-creator/zh-tw/articles/ed7aa55b-eb1f-4a72-9d4f-c80bae699ec9-%E4%B8%BB%E5%8B%95%E7%A7%81%E8%A8%8A%E7%94%A8%E6%88%B6/index.html
    Q
    請問我可以主動私訊其他用戶嗎?
    A
    是的,您可以主動私訊其他用戶。更多詳情請參考這篇文章: [主動私訊用戶](https://public.swag.live/help-center-creator/zh-tw/articles/ed7aa55b-eb1f-4a72-9d4f-c80bae699ec9-%E4%B8%BB%E5%8B%95%E7%A7%81%E8%A8%8A%E7%94%...
  • 品質檢查未通過 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:行為分數是什麼 know_377417
      Q: 行為分數是什麼
      A: 加扣分說明請參考以下說明
      https://reurl.cc/epknWQ
    Q
    行為分數是用來做什麼的?
    A
    行為分數是用來評估個人行為的一種分數系統。
    原因
    • 答案與資料來源的重疊度只有 23.5%(門檻 30%)—— LLM 寫的答案可能偏離了來源,有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:行為分數是什麼 know_377417
      Q: 行為分數是什麼
      A: 加扣分說明請參考以下說明
      https://reurl.cc/epknWQ
    Q
    行為分數是用來做什麼的?
    A
    行為分數是用來評估個人行為的一種分數系統。
    原因
    • 答案與資料來源的重疊度只有 23.5%(門檻 30%)—— LLM 寫的答案可能偏離了來源,有 hallucination 風險
  • 已寫入 EvalSuite 直接問答 第 3 次嘗試
    來源素材(點擊查看完整內容)
    • • 知識:行為分數是什麼 know_377417
      Q: 行為分數是什麼
      A: 加扣分說明請參考以下說明
      https://reurl.cc/epknWQ
    Q
    行為分數是什麼啊?
    A
    行為分數是用來評估個人行為的一種分數系統。加扣分說明請參考以下說明 https://reurl.cc/epknWQ。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:編輯內文(限時動態) know_377528
      Q: 編輯內文(限時動態)
      A: https://public.swag.live/help-center-creator/zh-tw/articles/c6b2c8e2-8457-48b4-9dd0-8af720145cb3-%E7%B7%A8%E8%BC%AF%E5%85%A7%E6%96%87%E9%99%90%E6%99%82%E5%8B%95%E6%85%8B/index.html
    Q
    編輯內文的詳細資訊在哪裡找?
    A
    你可以透過這個連結獲取編輯內文的詳細資訊:https://public.swag.live/help-center-creator/zh-tw/articles/c6b2c8e2-8457-48b4-9dd0-8af720145cb3-%E7%B7%A8%E8%BC%AF%E5%85%A7%E6%96%87%E9%99%90%E6%99%82%E5%8...
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:入工會 know_377447
      Q: 入工會
      A: 創作者收益為執⾏業務所得(9A、9B)
      單次⾦額≧NTD20,001 者,代扣所得稅扣繳率為10%。
      單次⾦額≧NTD20,000 者,需扣繳補充保險費,扣繳率為2.11%,若有加入⼯會且在有效期限內者(需提供入會證明)則免扣繳補充保費。
    Q
    如果我有加入工會,可以免扣補充保險費嗎?
    A
    若有加入工會且在有效期限內,則可免扣繳補充保險費,需提供入會證明。
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:上傳有什麼規則限制 know_377474
      Q: 上傳有什麼規則限制
      A: 規範可至以下網址詳讀唷~
      https://reurl.cc/vEL8Kj
    Q
    上傳有什麼規則限制?
    A
    規範可至以下網址詳讀唷~ https://reurl.cc/vEL8Kj
  • 已寫入 EvalSuite 直接問答
    來源素材(點擊查看完整內容)
    • • 知識:貼文介紹 know_377505
      Q: 貼文介紹
      A: https://public.swag.live/help-center-creator/zh-tw/articles/11fd436d-25d9-44f8-852c-d22f8aae0cf7-%E8%B2%BC%E6%96%87%E4%BB%8B%E7%B4%B9/index.html
    Q
    貼文介紹的網址是什麼?
    A
    網址是 https://public.swag.live/help-center-creator/zh-tw/articles/11fd436d-25d9-44f8-852c-d22f8aae0cf7-%E8%B2%BC%E6%96%87%E4%BB%8B%E7%B4%B9/index.html。