產出 #54

env=production · AI 客服小幫手 (344abf82-2e21-4cad-be82-7d4e06c122e3) · eval_kind=mixed_qa

已完成
已寫入
10 / 10
通過驗證
10
場景覆蓋
1 / 4
總成本
$0.0133
Tokens
↑104317 / ↓3893
MISSED
3 個 scenario 未被任何 case 涵蓋：2633, 2634, 2637。可以重新派發、增加 N 來補。
SUITE
✅ 已寫入 EvalSuite auto-344abf82-r1-053958117。
案例明細（21 筆 — 含已寫入、被拒、retry 軌跡）
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：阿趴七七 prod_72675 
      阿趴七七

Summary:
    Q
    請問阿趴七七是什麼產品呢？
    A
    阿趴七七是一種產品名稱。
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答
    來源素材（點擊查看完整內容）
    • • 工具：統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） 20 
      統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） (search_unified)

Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋會為每個地區生成什麼關鍵字?
    A
    統一搜尋會為每個地區生成 BM25 關鍵字。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide reputation or value rather than a concrete detail.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 工具：統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） 20 
      統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） (search_unified)

Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋會生成哪些關鍵字?
    A
    統一搜尋會為每個地區生成 BM25 關鍵字。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide functionality rather than a specific product or service.)
  • 語氣不像真人 chat（被 Stage E 拒絕） 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 工具：統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） 20 
      統一搜尋：multi-lane BM25+Vector RRF 融合（支援 5 種 source_type） (search_unified)

Hybrid search (BM25 + vector) with multi-lane RRF fusion across ALL source types (knowledge, product, link, doc_knowledge, doc_product, vision). MUST generate 3 diverse vector queries AND per-locale BM25 keywords.
    Q
    統一搜尋每個地區會生成什麼關鍵字?
    A
    統一搜尋會為每個地區生成 BM25 關鍵字。
    原因
    • chat-realism: vague_meta (The question is vague and asks about company-wide reputation or quality, which is not typical for a customer inquiry.)
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 對話流程：訂單查詢 2636 
      訂單查詢

## 1. 觸發條件
- 當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字，請協助查詢訂單並提供「訂單資訊和物流查詢網址」

## 3. API 工具
1. ninetyoneapp_search_orders — 搜尋 91App 訂單資訊。使用自然語言查詢（如「我的訂單編號是: TG251031VA00TA」），系統會自動提取TG購物車編號進行搜尋。返回客服友善格式，包含訂單狀態、付款方式、配送資訊等完整資訊。僅支援TG開頭的購物車編號查詢。

## 4. 回覆規則
- #最高原則：
-當回應包含網址時，網址必須獨立一行，不可與前後文字黏在一起，並且在網址後方加入一個換行符號。

#訂單查詢腳本流程：

1.當使用者提到「訂單查詢/訂單進度/出貨進度/配送進度/出貨了嗎/物流進度/貨到哪/貨物狀態/運送進度/還沒收到貨/幾天送達/包裹進度/出貨紀錄/今天會出貨」等相關配送文字。

2.請先回覆以下資訊：「請提供訂單號碼，我會儘速協助查詢」，索取到訂單編號再去查詢訂單資訊，若訂單編號格式錯誤，請持續向消費者索取。

2-1 若使用者提供的訂單編號可以查到訂單，請回覆以下資訊：「
我已經找到您的訂單資訊！以下是您的訂單詳情：

-訂單編號：

-訂購時間：

-付款狀態：

-運送方式：

-運送狀態：

-配送編號：

-物流查詢：{請根據配送方式，參考下方備註提供對應的物流配送狀態查詢網址}

-商品明細：

」

2.2 若使用者提供的訂單編號查不到訂單，請回覆以下資訊：「查不到相關訂單資訊，請再次確認訂單編號是否正確，或到會員中心查詢」

備註：

-711：https://eservice.7-11.com.tw/e-tracking/search.aspx

-全家：https://fmec.famiport.com.tw/FP_Entrance/QueryBox

-萊爾富：https://www.hilife.com.tw/serviceInfo_search.aspx

-OKMart：https://ecservice.okmart.com.tw/Tracking/Search

-黑貓：https://www.t-cat.com.tw/inquire/trace.aspx

-郵局：https://postserv.post.gov.tw/pstmail/main_mail.html

-新竹物流：https://www.hct.com.tw/Search/SearchGoods_n.aspx
    Q
    為什麼訂單查詢只能用TG開頭的編號?
    A
    訂單查詢僅支援TG開頭的購物車編號，因為系統設計只接受這種格式的訂單編號進行查詢。
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：高效保濕 prod_72665 
      高效保濕

Summary:
    Q
    這款產品真的具有高效保濕的特性嗎？
    A
    這款產品具有高效保濕的特性。
    原因
    • 答案與資料來源的重疊度只有 25.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 產品：高效保濕 prod_72665 
      高效保濕

Summary:
    Q
    這款產品真的有高效保濕的效果嗎?
    A
    這款產品具有高效保濕的特性。
    原因
    • 答案與資料來源的重疊度只有 25.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 產品：高效保濕 prod_72665 
      高效保濕

Summary:
    Q
    這款產品的保濕效果怎麼樣?
    A
    這款產品具有高效保濕的特性。
    原因
    • 答案與資料來源的重疊度只有 25.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：襯衫 prod_72660 
      襯衫

Summary:
    Q
    這件襯衫是什麼產品？
    A
    這件是襯衫產品。
    原因
    • 答案與資料來源的重疊度只有 16.7%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 產品：襯衫 prod_72660 
      襯衫

Summary:
    Q
    這個襯衫是什麼產品？
    A
    這是襯衫產品。
    原因
    • 答案與資料來源的重疊度只有 20.0%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 已寫入 EvalSuite 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 產品：襯衫 prod_72660 
      襯衫

Summary:
    Q
    這是襯衫嗎
    A
    這是襯衫。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：「師園」蒜味鹽酥雞餅乾 prod_72691 
      「師園」蒜味鹽酥雞餅乾

Summary: 

Description: 台灣夜市美食必吃鹽酥雞攻佔美食排行榜多年，堪稱台灣小吃經典代表作之一！全球食品代理商上友看準鹽酥雞魅力，攜手師大夜市代表性美食「師園鹽酥雞」研發 「師園蒜味鹽酥雞餅乾」 ，結合鄉民最愛的8種必點菜色，不僅口味吃起來相當接近，餅乾外觀與尺寸更是100%相似，半夜想吃師園鹽酥雞等不及外送在家開一包來吃超解饞！
    Q
    師園蒜味鹽酥雞餅乾裡面包含什麼?
    A
    「師園」蒜味鹽酥雞餅乾包含8種鄉民最愛的必點菜色。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：素色 V 領小可愛 prod_72658 
      素色 V 領小可愛

Summary:
    Q
    素色 V 領小可愛是什麼?
    A
    素色 V 領小可愛是一款服裝產品。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：甜心頰攻好氣色腮紅餅 prod_72670 
      甜心頰攻好氣色腮紅餅

Summary: 

Description: "甜心頰攻好氣色腮紅餅"是一款帶有可愛甜美風格的腮紅產品。它具有柔軟綿密的質地，容易上妝並且可以輕鬆打造出自然飽滿的腮紅妝效。這款腮紅餅有多種色號可供選擇，適合不同膚色和妝容風格，能夠提亮面部氣色，讓您看起來更有活力和精神。甜心頰攻好氣色腮紅餅不僅顏色持久，而且含有護膚成分，能夠滋潤肌膚，讓您的妝容更貼合肌膚，展現出健康自然的妝感
    Q
    甜心頰攻好氣色腮紅餅能不能打造自然妝效?
    A
    甜心頰攻好氣色腮紅餅可以輕鬆打造出自然飽滿的腮紅妝效。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：日本A5和牛-無SKU2 prod_72656 
      日本A5和牛-無SKU2

Summary:
    Q
    這款產品是什麼肉?
    A
    這款產品是日本A5和牛。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：「GOLDEN DUCK」鹹蛋黃炸魚皮（排程測試） prod_72692 
      「GOLDEN DUCK」鹹蛋黃炸魚皮（排程測試）

Summary: 

Description: 😍【金鴨】golden duck新加坡鹹蛋黃炸魚皮 105g 香脆魚皮搭配醃制時間長達三周的鹹蛋黃、辣椒、咖哩葉等 品名：新加坡金鴨鹹蛋黃炸魚皮 產地：新加坡 重量：105g 成分：鹹蛋黃，人造奶油，大豆卵磷脂，香料，抗氧化劑，β-胡蘿蔔素色素，檸檬酸，椰子粉，糖，L-麩酸鈉，辣椒，咖哩葉 ＊本産品含有牛奶蛋製品*
    Q
    鹹蛋黃炸魚皮的重量是多少?
    A
    鹹蛋黃炸魚皮的重量為 105g。
  • 已寫入 EvalSuite 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：溫度計 prod_72663 
      溫度計

Summary:
    Q
    這是什麼東西?
    A
    這是一款溫度計。
  • 品質檢查未通過 直接問答
    來源素材（點擊查看完整內容）
    • • 產品：LB粉撲 prod_72690 
      LB粉撲

Summary:
    Q
    LB粉撲適合什麼肌膚類型使用?
    A
    LB粉撲適合各種肌膚類型使用。
    原因
    • 答案與資料來源的重疊度只有 23.1%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 2 次嘗試
    來源素材（點擊查看完整內容）
    • • 產品：LB粉撲 prod_72690 
      LB粉撲

Summary:
    Q
    LB粉撲適合什麼肌膚類型使用?
    A
    LB粉撲適合各種肌膚類型使用。
    原因
    • 答案與資料來源的重疊度只有 23.1%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險
  • 品質檢查未通過 直接問答 第 3 次嘗試
    來源素材（點擊查看完整內容）
    • • 產品：LB粉撲 prod_72690 
      LB粉撲

Summary:
    Q
    LB粉撲適合所有肌膚類型使用嗎
    A
    LB粉撲適合各種肌膚類型使用。
    原因
    • 答案與資料來源的重疊度只有 23.1%（門檻 30%）—— LLM 寫的答案可能偏離了來源，有 hallucination 風險